Көрүү - адамдын күчтүү сезүү салымы. Ал татаал милдеттерди жана биз кабыл алган процесстерди камсыз кылат. Транспорт жана айыл чарбадан робототехникага жана медицинага чейинки ар түрдүү колдонмолордо AoT™ (Нерселердин автономиясы) көбөйүшү менен камералардын, эсептөөлөрдүн жана машинаны үйрөнүүнүн адамга окшош көрүү жана таанып-билүүнү камсыз кылуудагы ролу олуттуу болуп баратат. Компьютердик көрүнүш академиялык дисциплина катары 1960-жылдары, биринчи кезекте, жасалма интеллект (AI) жана машина үйрөнүү тармагында иштеп жаткан университеттерде пайда болгон. Жарым өткөргүч жана эсептөө технологияларында олуттуу ийгиликтерге жетишилгендиктен, ал кийинки төрт он жылдыкта кескин прогресске жетишти. Терең үйрөнүү жана жасалма интеллекттеги акыркы жетишкендиктер ар кандай тиркемелерде автономияны, коопсуздукту жана эффективдүүлүктү камсыз кылуу үчүн реалдуу убакыт режиминде, аз күтүү убактысын кабыл алууну жана айлана-чөйрөнү таанууну камсыз кылуу үчүн компьютердик көрүнүштү колдонууну андан ары тездетти. Транспорт - бул олуттуу пайда алып келген тармак.
LiDAR (Light Detection and Ranging) – объекттин айланасындагы 3D чөйрөнү аныктоо үчүн лазерлерди колдонгон активдүү оптикалык сүрөттөө ыкмасы. Бул компьютердик көрүү чечимдери (айлана-чөйрөнүн жарыгына гана таянган жана 3D кабылдоо үчүн лазерлерди колдонбогон) бузууга аракет кылып жаткан технологиялардын бири. Жалпы тема - адам айдоочуларына тереңдикти кабыл алуу үчүн LiDAR керек эмес, ошондуктан машиналар да керек эмес. Учурдагы коммерциялык L3 автономдуу айдоо өзгөчөлүктөрү (белгилүү географияларда жана аба ырайы шарттарында толук автономия, айдоочу секунданын ичинде башкарууну колго алууга даяр) бүгүнкү күндө өндүрүмдөрү LiDAR колдонуңуз. Таза көрүнүшкө негизделген ыкмалар дагы эле бул мүмкүнчүлүктү коммерциялык жактан сунуштай алган жок.
ADVERTISEMENT
Tesla
Phiar, Helm.ai жана NODAR сыяктуу башка компаниялар компьютердик көрүү проспектисин да көздөп жатышат. NODAR патенттелген машина үйрөнүү алгоритмдери аркылуу камеранын туура эмес тегиздөөсүнө жана титирөө эффекттерине тууралоону үйрөнүү менен стерео камера системаларынын сүрөттөө диапазонун жана 3D кабылдоосун олуттуу кеңейтүүнү көздөйт. Жакында 12 миллион доллар чогулткан өзүнүн флагмандык продуктусун өндүрүү үчүн Hammerhead™, ал "текчеден тышкаркы" автомобиль камераларын жана стандарттуу эсептөө платформаларын колдонот.
Баасы жана өлчөмүнөн тышкары, LiDARды колдонууга каршы көп аргумент бул камераларга салыштырмалуу чектелген диапазону жана токтому бар. Мисалы, 200 м диапазону жана 5-10 М упай/секунда (PPS резолюцияга окшош) болгон LiDARлар бүгүн жеткиликтүү. 200 м бийиктикте кирпич же дөңгөлөк сыныктары сыяктуу кичинекей тоскоолдуктар өтө аз чекиттерди каттайт (балким вертикальда 2-3 жана горизонталдуу багытта 3-5), объектти таанууну кыйындатат. Узак аралыкта нерселер ого бетер орой болот. Салыштыруу үчүн, 30 Гц жыштыкта иштеген стандарттуу мегапикселдүү камералар секундасына 30М пикселди жаратышы мүмкүн, ал тургай алыскы аралыкта да объектти мыкты таанууга мүмкүндүк берет. Өркүндөтүлгөн камералар (12 М пиксель) муну дагы да жогорулата алат. Маселе бул чоң маалыматты кантип колдонуу жана миллисекунддук деңгээлдеги кечигүү, аз энергия керектөө жана начар жарыктандыруу шарттары менен иш жүзүнө ашырууга боло турган кабылдоону түзүү болуп саналат.
ADVERTISEMENT
Recogni, Калифорнияда жайгашкан компания бул көйгөйдү чечүүгө аракет кылууда. Башкы директор Марк Болитонун айтымында, анын миссиясы "толугу менен автономдуу унаалар үчүн адамдан тышкаркы визуалдык кабылдоону камсыз кылуу.” Компания 2017-жылы негизделген, бүгүнкү күнгө чейин 75 миллион доллар чогулткан жана 70 кызматкери бар. RK Ананд, Juniper Networks компаниясынын алуму, биргелешип уюштуруучулардын бири жана Продукт боюнча башкы директор. Ал жогорку кадр ылдамдыкта иштеген > 120 дБ динамикалык диапазону бар жогорку резолюциядагы камераларды колдонуу (мисалы, OnSemi, Sony жана Omnivision) AVларды ишке ашыруу үчүн өтө маанилүү болгон жогорку резолюциядагы 3D маалыматты түзүү үчүн зарыл болгон маалыматтарды берет деп эсептейт. Бул үчүн көмөкчү болуп саналат:
- Маалыматтарды натыйжалуу иштеп чыгуу жана унаа чөйрөсүнүн так жана жогорку резолюциядагы 3D карталарын түзүү үчүн атайын иштелип чыккан ASICs. Булар TSMC 7 нм процессинде жасалган, чиптин өлчөмү 100 мм², 1 ГГц жыштыгында иштейт.
- Машыктырылган нейрон тармагын түзүү үчүн миллиондогон маалымат чекиттерин офлайн режиминде иштетүү үчүн менчик машина үйрөнүү алгоритмдери эффективдүү иштеп, тынымсыз үйрөнө алат. Бул тармак кабылдоону камсыз кылат жана объекттин классификациясын жана аныктоону, семантикалык сегментацияны, тилкелерди аныктоону, жол белгилерин жана светофорду таанууну камтыйт.
- Энергияны көп талап кылган жана жогорку күтүү убактысын жараткан чиптен тышкары сактоо жана көбөйтүү операцияларын азайтуу. Recogniдин ASIC дизайны логарифмдик математика үчүн оптималдаштырылган жана кошууну колдонот. Андан аркы эффективдүүлүк үйрөтүлгөн нейрон тармагында салмактарды оптималдуу түрдө кластерлөө аркылуу ишке ашат.
Окутуу фазасында коммерциялык LiDAR терең маалымат алуу жана аны туура эмес тегиздөө жана титирөө эффекттерине каршы бекем кылуу үчүн жогорку резолюция, жогорку динамикалык диапазондогу стерео камера маалыматтарын үйрөтүү үчүн жер чындык катары колдонулат. Ананд мырзанын айтымында, алардын машиналык үйрөнүүнү ишке ашыруусу ушунчалык натыйжалуу болгондуктан, ал LiDAR калибрлөөчүсү (100 м аралыкка жердин чындыгын камсыз кылат) берген машыгуу диапазондорунан тышкары тереңдикти экстраполяциялай алат.
ADVERTISEMENT
Жогорудагы окутуу маалыматтары күндүз 8.3 Гц кадр ылдамдыгында иштеген стерео жуп 30 мегапикселдүү камералар менен өткөрүлдү (секундасына ~ 0.5B пиксел). Бул үйрөтүлгөн тармактын 3 м аралыктан тышкары жерде 100D маалыматты алуу жөндөмүн көрсөтөт. Recogni чечими күндүзгү маалыматтар менен анын үйрөнүүсүн түнкү аткарууга экстраполяциялай алат (2-сүрөт).
ADVERTISEMENT
Ананд мырзанын айтымында, диапазондун маалыматтары 5% чегинде (узун диапазондо) жана 2% га жакын (кыска диапазондо) так. Чечим 1000 TOPS (секундасына триллион операциялар) менен камсыз кылат, 6 мс кечигүү жана 25W энергия керектөө (40 TOPS/W), бул тармакты жетектейт. Бүтүн математиканы колдонгон атаандаштар бул көрсөткүч боюнча > 10X төмөн. Recogni компаниясынын чечими учурда 1-даражадагы бир нече автомобиль жеткирүүчүлөрүндө сыналууда.
Prophesee ("Божомолдоо жана иш-аракет кайда экенин көрүү"), Францияда жайгашкан, AVs, Advanced Driver Assistance Systems (ADAS), өнөр жай автоматташтыруу, керектөө колдонмолору жана саламаттыкты сактоо үчүн окуяга негизделген камераларын колдонот. 2014-жылы негизделген компания жакында 50 миллион долларлык C раундун каржылоону жапты, жалпысынан бүгүнкү күнгө чейин 127 миллион доллар чогултулган. Инвесторлордун бири – уюлдук телефондордун алдыңкы өндүрүүчүсү Xiaomi. Prophesee максаты адамдын көрүүсүн туурап, торчодогу рецепторлор динамикалык маалыматка жооп берет. Адамдын мээси окуя болгон жердеги өзгөрүүлөрдү иштетүүгө басым жасайт (айрыкча айдоо үчүн). Негизги идея жарык интенсивдүүлүгүнүн босогодон (окуядан) жогору өзгөрүшүн аныктаган камера жана пикселдик архитектураларды колдонуу жана андан ары иштетүү үчүн эсептөө стекине ушул гана маалыматтарды берүү. Пикселдер асинхрондуу (кадимки CMOS камераларындагыдай жээктелген эмес) жана бир кыйла жогорку ылдамдыкта иштешет, анткени алар кадимки кадрга негизделген камерадагыдай фотондорду интеграциялоонун кажети жок жана маалыматтарды окууга чейин бүт кадрдын бүтүшүн күтүшпөйт. Артыкчылыктары олуттуу болуп саналат - төмөнкү маалымат өткөрүү жөндөмдүүлүгү, чечимдердин кечигүү мөөнөтү, сактоо жана энергия керектөө. Компаниянын биринчи коммерциялык деңгээлдеги VGA окуяга негизделген көрүү сенсору жогорку динамикалык диапазону (>120 дБ), аз энергия керектөөсүн (сенсордун деңгээлинде 26 мВт же 3 нВт/окуя) өзгөчөлөштүрдү. HD (High Definition) версиясы (Sony менен биргелешип иштелип чыккан), пикселдик көлөмү (<5 мкм) тармакта алдыңкы орунда.
ADVERTISEMENT
Бул сенсорлор Metavision® сенсордук платформасынын өзөгүн түзөт, ал автономия колдонмолору үчүн акылдуу жана эффективдүү кабылдоону камсыз кылуу үчүн AI колдонот жана транспорт мейкиндигинде бир нече компаниялар тарабынан бааланат. AV жана ADAS үчүн алдыга багытталган кабылдоодон тышкары, Prophesee L2 жана L3 тиркемелери үчүн айдоочунун кабинадагы мониторинги үчүн кардарлар менен жигердүү иштешет, 4-сүрөттү караңыз:
Автомобилдик мүмкүнчүлүктөр кирешелүү, бирок долбоорлоо циклдери узак. Акыркы эки жылдын ичинде Prophesee өнөр жай колдонмолору үчүн машина көрүү мейкиндигинде олуттуу кызыгуу жана тартууну көрдү. Аларга жогорку ылдамдыктагы эсептөө, жер үстүндөгү текшерүү жана титирөө мониторинги кирет.
ADVERTISEMENT
Prophesee жакында кызматташууну жарыялады өнөр жай автоматташтыруу, робототехника, автомобиль жана IoT (нерселердин Интернети) мүмкүнчүлүктөрүн пайдалануу үчүн машина көрүү системаларынын алдыңкы иштеп чыгуучулары менен. Башка дароо мүмкүнчүлүктөр - уюлдук телефондор жана AR/VR тиркемелери үчүн сүрөттөрдү бүдөмүктөө. Булар узак мөөнөттүү ADAS/AV мүмкүнчүлүктөрүнө караганда төмөн форматтагы сенсорлорду колдонушат, андан да азыраак кубат керектешет жана кыйла аз күтүү менен иштешет.
Израиль олуттуу венчурдук инвестициялары жана активдүү стартап чөйрөсү менен жогорку технологиядагы алдыңкы инноватор болуп саналат. 2015-жылдан бери технология тармагына 70 миллиард долларга жакын венчурдук инвестиция тартылды. Мунун бир бөлүгү компьютердик көрүү тармагында. Mobileye бул революцияны 1999-жылы Еврей университетинин алдыңкы AI изилдөөчүсү Амнон Шашуа ADAS жана AV'лерди камерага негизделген кабылдоого басым жасоо үчүн негиздегенде жетектеген. Компания 2014-жылы IPO үчүн арыз берип, аны Intel сатып алган
ADVERTISEMENT
Champel Capital, Иерусалимде жайгашкан, транспорт жана айыл чарбадан коопсуздукка жана коопсуздукка чейин түрдүү колдонмолор үчүн компьютердик көрүүнүн негизинде өнүмдөрдү иштеп чыгуучу компанияларга инвестиция салууда алдыңкы орунда турат. Амир Вайтман тең негиздөөчүсү жана башкаруучу өнөктөшү жана өзүнүн венчурдук компаниясын 2017-жылы баштаган. Биринчи фонд 20 компанияга 14 миллион доллар инвестиция салган. Алардын инвестицияларынын бири Innoviz болду, ал 2018-жылы SPAC биригүүсү аркылуу ачыкка чыгып, LiDAR бир мүйүздүү болуп калды. Омер Кейлаф (Израилдин Коргоо Күчтөрүнүн чалгындоо корпусунун технологиялык бөлүмүнөн чыккан) жетектеген. компания бүгүнкү күндө ADAS жана AV үчүн LiDAR жайгаштыруу боюнча лидер болуп саналат, BMW жана Volkswagen бир нече дизайн утуштары менен.
Champel Capital экинчи фонду (Impact Deep Tech Fund II) 2022-жылдын январында башталган жана бүгүнкү күнгө чейин 30 миллион доллар чогулткан (максат 100-жылдын акырына карата 2022 миллион доллар). Эң негизги көңүл компьютердик көрүнүшкө бурулуп, беш компанияга 12 миллион доллар жумшалган. Алардын үчөө транспорт жана робототехника үчүн компьютердик көрүнүштү колдонушат.
TankU, Хайфада жайгашкан, 2018-жылы ишин баштап, 10 миллион доллар каражат чогулткан. Дэн Валдхорн башкы директор болуп саналат жана Израилдин Коргоо Күчтөрүндөгү сигналдык чалгындоо жана кодду чечмелөө үчүн жооптуу болгон элиталык жогорку технологиялык топтун 8200 бөлүмүн бүтүргөн. TankU компаниясынын SaaS (Программа катары кызмат) өнүмдөрү унааларды жана айдоочуларды тейлеген татаал тышкы чөйрөлөрдө процесстерди автоматташтырат жана коопсуз кылат. Бул продуктыларды автопарктардын, жеке автоунаалардын, күйүүчү май куюучу жана электрдик заряддоо станцияларынын ээлери автоматташтырылган финансылык операцияларда уурулуктун жана алдамчылыктын алдын алуу үчүн колдонулат. Унаанын күйүүчү май кызматтары жыл сайын дүйнөлүк кирешеден ~2T $ түзөт, анын 40% же 800 миллиард долларды жеке жана коммерциялык автопарк ээлери керектешет. Чекене сатуучулар жана автопарк ээлери уурулуктан жана алдамчылыктан жылына ~100 миллиард доллар жоготот (мисалы, уруксаты жок жеке унаалар үчүн флоттун күйүүчү май картасын колдонуу). CNP (Карта жок) алдамчылык жана бурмалоо/уурдоо күйүүчү май жоготуулардын кошумча булактары болуп саналат, өзгөчө төлөмдөр үчүн мобилдик тиркемелерде уурдалган картанын реквизиттерин колдонууда.
ADVERTISEMENT
Компаниянын TUfuel продуктусу бир таптоо менен коопсуз төлөмдү жеңилдетет, алдамчылыктын көпчүлүк түрлөрүнө бөгөт коёт жана алдамчылыктан шектенгенде кардарларга эскертет. Ал муну бул объекттердеги учурдагы CCTVs маалыматтарына жана санарип транзакция маалыматтарына (анын ичинде POS жана башка арткы маалыматтар) үйрөтүлгөн AI кыймылдаткычынын негизинде жасайт. Унаанын траекториясы жана динамикасы, унаанын идентификатору, саякат убактысы, пробег, күйүүчү май куюу убактысы, күйүүчү майдын саны, күйүүчү майдын тарыхы жана айдоочунун жүрүм-туруму сыяктуу параметрлер алдамчылыкты аныктоо үчүн көзөмөлдөнүүчү кээ бир атрибуттар болуп саналат. Бул маалыматтар ошондой эле сатуучуларга сайттын ишин оптималдаштырууга, кардарлардын лоялдуулугун жогорулатууга жана көрүнүшкө негизделген маркетинг куралдарын жайылтууга жардам берет. Башкы директор Дэн Вальдхорндун айтымында, алардын чечими флоттун 70%, кредиттик картанын 90% жана бурмалоо менен байланышкан алдамчылык окуяларынын 70% аныктайт.
Сонол Израил боюнча 240 станция жана дүкөндөр тармагына ээлик кылган жана иштеткен энергетикалык кызмат көрсөтүүчү компания. TUfuel алардын сайттарында жайгаштырылган жана коопсуздукту, алдамчылыкты алдын алууну жана кардарлардын лоялдуулугун көрсөттү. АКШда май куюучу станциялардын жана дүкөн жабдууларынын алдыңкы дүйнөлүк жеткирүүчүсү менен биргеликте өнүмдөрдүн сыноолору жүрүп жатат. Ушундай эле демилгелер Африка менен Европада да жүрүп жатат.
ADVERTISEMENT
Тель-Авивде жайгашкан ITC 2019-жылы Бен-Гурион университетинин машина үйрөнүү академиктери тарабынан негизделген. ITC SaaS өнүмдөрүн жаратат "Тыгындардын агымын өлчөп, тыгынды алдын ала билиңиз жана светофорлорду акылдуу манипуляциялоо аркылуу аны азайтыңыз - тыгындар пайда боло электе." TankU сыяктуу эле, ал жандуу трафик маалыматтарын алуу үчүн даяр камералардан алынган маалыматтарды (көптөгөн жол кесилиштеринде орнотулган) колдонот. Шаар боюнча миңдеген камералардан алынган маалыматтар талданат жана транспорттун түрү, ылдамдыгы, кыймыл багыты жана транспорт түрлөрүнүн ырааттуулугу (жүк ташуучу унаалар менен жеңил унаалар) сыяктуу параметрлер AI алгоритмдерин колдонуу аркылуу чыгарылат. Симуляциялар трафиктин агымын жана мүмкүн болуучу тыгын жагдайларын 30 мүнөткө чейин алдын ала болжолдойт. Светофорлор бул жыйынтыктар аркылуу жол кыймылын жөнгө салуу жана тыгындардын алдын алуу үчүн жөнгө салынат.
AI тутумун окутуу кадимки шаар боюнча бир ай визуалдык маалыматтарды талап кылат жана көзөмөлдөнгөн жана көзөмөлсүз окутуунун айкалышын камтыйт. ITC чечими буга чейин Тель-Авивде орнотулган (25-жылы дүйнөдөгү эң тыгыны бар шаарларда 2020-орунда), миңдеген камералар светофор менен башкарылган жүздөгөн кесилиштерде орнотулган. ITC системасы учурда 75 миң унааны башкарат, анын өсүшү улана берет. Компания орнотуп жатат окшош жөндөмдүүлүгү Люксембургда жана АКШнын ири шаарларында сыноолор башталат. Дүйнөлүк деңгээлде анын чечими Израилде, АКШда, Бразилияда жана Австралияда иштеген 300,000 XNUMX унааны башкарат. Двир Кениг, CTO, бул көйгөйдү чечүүгө дилгир - адамдарга жеке убакытты кайтарып берүү, парник газдарын азайтуу, жалпы өндүрүмдүүлүктү жогорулатуу жана эң негизгиси, тыгындар болгон кесилиштердеги кырсыктарды азайтуу. Кениг мырзанын айтымында, "Биздин орнотуулар унаа тыгындарын 30% кыскартып, жемишсиз айдоо убактысын, стрессти, күйүүчү майдын керектөөсүн жана булганууну азайтат."
ADVERTISEMENT
Ички робототехника болду 2018-жылы негизделген жана жакында 18 миллион доллар каражат чогулткан. Тель-Авивдин (Израилдин) жанында жайгашкан компания имараттын ичиндеги коопсуздук, коопсуздук жана тейлөөнү көзөмөлдөө үчүн автономдуу дрон чечимдерин иштеп чыгат жана сатат. Башкы директор жана биргелешип негиздөөчүсү Дорон Бен-Дэвид, IAIда топтолгон робототехника жана аэронавтика боюнча олуттуу тажрыйбага ээ.
Офир Бар-левав — башкы ишкананын директору. Ал GPSтин жоктугу үй ичиндеги дрондорго имараттардын ичинде локалдаштырууга тоскоол болгонун түшүндүрөт (адатта GPS четке кагылган же так эмес). Кошумчалай кетсек, ыңгайлуу жана натыйжалуу док жана кубаттандыруу чечимдери жок болчу. Indoor Robotics муну дронго орнотулган төрт камера (жогорку, ылдый, сол, оң) жана ички мейкиндикти жана анын мазмунун так чагылдырган жөнөкөй диапазондук сенсорлор менен чечет. Камера маалыматтары (камералар локализация жана картага түшүрүү маалыматтарын камсыз кылат) жана жылуулук сенсорлору (ошондой эле дронго орнотулган) потенциалдуу коопсуздук, коопсуздук жана техникалык тейлөө маселелерин аныктоо жана кардарды эскертүү үчүн AI системасы тарабынан талданат. Дрондор шыпка орнотулган “док плиткасы” аркылуу кубат алат, бул полдун баалуу мейкиндигин үнөмдөйт жана кубаттоо учурунда маалыматтарды чогултууга мүмкүндүк берет. Адам эмгеги татаал жана жалдоо, кармап калуу жана окутуу жагынан кымбат болгон бул күнүмдүк процесстерди автоматташтыруунун финансылык артыкчылыктары ачык көрүнүп турат. Абадагы дрондор менен жердеги роботторду колдонуу капиталдык жана эксплуатациялык чыгымдар, полдун аянтын жакшыраак пайдалануу, тоскоолдуктарга туш болбостон кыймылдоо эркиндиги жана камера маалыматтарын тартуунун натыйжалуулугу жагынан да олуттуу артыкчылыктарга ээ. Бар-Левав мырзанын айтымында, Indoor Robotics' TAM (Total Addressable Market) ички интеллектуалдык коопсуздук системаларында 80-жылга чейин 2026 миллиард долларды түзөт. Бүгүнкү күндө негизги кардар жайгашкан жерлерге кампалар, маалымат борборлору жана алдыңкы дүйнөлүк корпорациялардын кеңсе кампустары кирет.
ADVERTISEMENT
Компьютердик көрүнүш кыймылды автоматташтырууда, коопсуздукта, акылдуу имараттарды көзөмөлдөөдө, алдамчылыкты аныктоодо жана трафикти башкарууда автономия оюнун жаңылоодо. Жарым өткөргүчтөрдүн күчү жана AI күчтүү жардамчы болуп саналат. Компьютерлер бул укмуштуудай сенсордук ыкманы масштабдуу түрдө өздөштүргөндөн кийин, мүмкүнчүлүктөр чексиз.
Булак: https://www.forbes.com/sites/sabbirrangwala/2022/10/04/advances-in-computer-vision-propel-transportation-autonomy/