лидар для камеры что это
Технология будущего. Зачем нужен LiDAR, который появился в iPad Pro
Судя по анализу железа нового iPad Pro, его главная особенность – это новый датчик расстояния LiDAR.
Apple говорит, что NASA отправит с ним людей на Марс, а многие думают, что это прокачанный Face ID. Но многие пока не понимают, как его будут использовать разработчики.
Мы разобрались, в каких индустриях лидар используют прямо сейчас, чем его датчик отличается от чёлки в iPhone, и кому на самом деле нужна эта новая версия планшета.
Спойлер: произошла революция.
Как работает обычный лидар
По принципу работы радар и лидар отличаются только в источнике энергии, которым они измеряют величины. В первом это радио-волны, во втором лазер. Чаще всего инфракрасный, невидимый человеком.
Название LiDAR идёт от аббревиатуры light detection and ranging, на русском как «обнаружение и определение дальности через свет»
Простейшая система работы такая:
- 1. Излучатель бьёт лазером со скоростью света
2. Ресивер получает его обратно
3. Компьютер рассчитывает время возвращения луча
4. Формируется информация о расстоянии до объекта
Скорость света – величина неизменная, она всегда одинакова. Считывая разницу в скорости возвращения луча, можно составить глубинную 3D-карту местности, улицы или комнаты. Масштаб и точность такой карты зависит от размера датчиков, количества лучей, их яркости и множества других факторов.
Например, вот здесь можно пощупать информацию, которая получается на выходе сенсора для автомобилей OS1 от компании OUSTER.
NASA составила огромный список того, что умеют лидеры разного типа.
В зависимости от размера и точности сенсора, можно получить следующие данные:
Излучатели отличаются размерами, мощностью, типом лучей, их количеством, статичностью и многим другим. Их цепляют на спутники, самолёты, дроны и автомобили.
Учитывая, сколько материала можно собрать и обработать, становится понятно, что лидар может быть полезен в десятке разных областей. Пройдёмся по некоторым.
Технологию применяют в автопилотах, космосе и земледелии
С помощью сенсора можно предположить, какую область зальёт при наводнении
Все сканеры работают за счёт лучей, но площадь покрытия зависит от их количества. Это может был один лазер, который сканирует плотность газа, или полоса, которая формирует карту глубины двухмерной территории, как на примере выше.
В третьем виде излучатель бьёт квадратным полем, как это сделано в iPad Pro, и формирует объёмный отпечаток помещения, здания, метеорита и так далее.
Самоуправляемые машины выглядят самым очевидным применением для LiDAR. Почти каждая компания внедряет их по несколько штук за раз в свои проекты.
С другой стороны, Элон Маск год назад агрессивно противился им и сказал, что распознавание объектов эффективнее. Директор ИИ в Tesla Андрей Карпати считает лидар ненадёжным “костылём” по той же причине.
Анализ биосферы проводят датчиками повсеместно. У NASA есть список миссий с отчётами по ним. В них исследуют состояние озонового слоя, ищут связь выбросов и климата и изучают экосистему. Для последнего иногда даже задействуют спутники.
Но в основном в самолёты или дроны встраивают лазеры с приёмником, которые как валик с краской накрывают территорию под собой. А учёные на базе этих данных строят карты материалов и грунта.
Агрикультура и городское планирование занимают первое место по применению LiDAR. Анализ земли и воздуха помогает выбрать места для плодородных полей – такие, чтобы избежать оползней и загрязнённого воздуха.
LiDAR не умеет делать то, что может Face ID. И наоборот
Разобрались, что LiDAR стреляет лазером из дронов, самолётов и спутников. В iPad Pro это работает по тому же принципу, но на “минималках”.
В iPad Pro стоит не один луч, а 1152 штук в шахматном порядке.
Расчёт сделал так. Судя по изображению в обзоре, айпэд выпускает лазеры в 9 секторов. В каждом по 8 точек на ряд, который дублируется по диагонали. Получаем 8*8*2*9=1152.
Лучи крупнее в диаметре и намного дальше друг от друга, чем в Face ID. Из-за этого планшет технически не сможет составить точную карту глубины, потому что не считывает волосы и даже крупные детали, например уши.
Вот почему портретного режима в нём нет.
Зато у LiDAR шире покрытие. В отличие от Face ID, работает это приблизительно так:
- 1. Излучатель бьёт дальше крупными точками
2. «Приёмник» их ловит
3. Процессор A12Z собирает из отметок полигоны
4. Из полигонов под разными углами составляется карта
Точный сенсор айпэда нужен везде. Развлечениям и образованию особенно
Пока система стоит в сравнительно непопулярном устройстве, ей мало кто будет пользоваться. Вот только парк AR-устройств уже огромный, компания зря время не теряли.
Всё те же люди продолжат использовать AR-приложения, просто чаще. Раньше текстуры прыгали друг на друга, а положение объектов неудачно отслеживалось.
- 1. Студенты и профессоры с приложением по анатомии
2. Дизайнеры квартир с быстрым составлением плана
3. Ритейлеры, вроде IKEA, которые удобно покажут свои товары
4. Музеи смогут рендерить в AR скульптуры, а не только картины
Это та часть, которая хоть как-то активна в дополненной реальности. Скорее всего, теперь к ней увереннее подключатся спорт и бьюти-сфера.
Apple такая же технологичная компания, как и все остальные. Бывает, что инновации не заходят в массы, как это было с 3D Touch, и их постепенно выпилывают. Но мне кажется, что LiDAR за следующие десятилетие взлетит до ключевой технологии.
В ближайшие годы сканер рискует стать стандартом из-за AR
Если у вас iPhone 7 или новее, откройте сайт Apple и активируйте режим дополненной реальности, например с iPad или MacBook Pro.
Этот опыт будет идеальным, чтобы люди начали включать игры и приложения не на один раз рад интереса, а пользовались ими постоянно.
А там и до звонков по FaceTime в стиле Звёздных Войн недалеко. Взгляните, к примеру, научились заменять на искусственный в iOS 13.
Дополненная реальность уже здесь, и у неё нет финала
То, что раньше было неудачным Kinect для XBOX, переродилось в киллер-фичу iOS
Пока я искал информацию для материала, заметил одну вещь. Большинство заголовков о развитии лидаров вышли в последние два года, и в основном в 2019-м. Видно, что индустрия плотно развивается, в ней около десятка конкурентов, и впереди много лет прогресса.
Бесконечные маски в Инстаграме, перебрасывающие сразу на сайт QR-метки, грядущие уведомления об опасных контактах от коллаборации Apple | Google.
В общем, реальности смешиваются и, как это бывает с прогрессом, незаметно для его участников. LiDAR может станет ступенью для осязания всего процесса.
Ходит много слухов о том, что грядущие iPhone 12 Pro тоже оснастят таким сенсором. С учётом потенциала и места для улучшения технологии, легко верю в то, что Apple лучше нас понимает важность лидара, а для использования AR сканер станет критичным параметром.
Лидары, радары и камеры для беспилотников. Плюсы и минусы этих датчиков
Автор: Аркадий Софрыгин, основатель сайта Беспилот.
Присоединяйтесь к обсуждению темы в Facebook
Подписывайтесь на наш телеграм-канал
Расположение сенсоров на беспилотнике Waymo: 5 лидаров, 9 камер и 6 радаров. Такое большое количество датчиков нужно для обзора в 360° вокруг робокара и для дублирования друг друга, ведь во время поездки какие-то сенсоры могут быть загрязнены, залиты дождем, а также могут выйти из строя.
Лидары
Объемная картинка вокруг беспилотника, которую строит лидар Velodyne.
Радары
Радары используют радиоволны для определения расстояния до объекта, его скорости и месторасположения. Так как стандартные радары плохо различают точные размеры и форму объектов, в беспилотниках используют датчики, работающие в частотном диапазоне 77-79 ГГц. При этом существенно увеличивается разрешение радиолокационных изображений.
Радары компании Arbe.
Камеры
Камеры нужны прежде всего для классификации объектов вокруг беспилотника. С помощью камеры можно точно понять, что за объект перед нами (дерево, автомобиль, пешеход и т.д.), а также считывать разметку, сигналы светофоров и автомобилей и дорожные знаки. То есть камера дает точную семантику объектов, качественно классифицирует их. С помощью камеры можно, например понять, что перед нами не просто грузовик, а грузовик дорожных служб со знаками объезда на нем.
У камер небольшой угол обзора, поэтому на беспилотнике их как правило много. Например Waymo ставят 9 камер на каждую машину, при этом радаров на ней 6, а лидаров 5. На беспилотах Яндекса 10 камер, 6 радаров и 4 лидара. Ну а такое количество камер требует большие вычислительные мощности и это один из недостатков использования этой технологии.
Камеры разных типов на беспилотных автомобилях.
Используя сочетание работы лидаров, радаров и камер можно не только строить 3D-сцену вокруг беспилота и определять расстояние, размеры и скорость объектов, но и планировать их дальнейшее поведение. Кроме этих датчиков, в некоторых беспилотниках используются сонары, стереокамеры (камеры с двумя и более объективами), ГНСС-навигация (GPS или ГЛОНАСС), HD-карты и инерциальная навигация. Сочетание работы (кросс-валидация) большого количества сенсоров дает наиболее точное позиционирование беспилотника и объемную сцену объектов вокруг него. Каждая беспилотная компания использует свой набор датчиков разных цен и производителей. При этом на качественную работу беспилота влияют не только сенсоры, но и, прежде всего, беспилотный софт, программное обеспечение робокара. Но это уже другая история 🙂
Смотрите все свежие новости о беспилотниках. Закажите беспилоты и роботов или консультацию по роботизации и автоматизации и да пребудет с вами беспилот!
Лидары будущего: 11 000 лазеров вместо 128
Принцип работы лидарных датчиков заключается в отражении света лазеров от окружающих объектов и создании трехмерного облака точек. Первый современный трехмерный лидар был создан для конкурса DARPA Grand Challenge 2005 года, основного конкурса среди беспилотных автомобилей. В наши дни многие эксперты продолжают рассматривать лидары в качестве ключевой технологии для беспилотных машин.
Сейчас десятки стартапов пытаются создать более дешевые лидары. Многие из них пытаются снизить цену, используя один лазерный луч, который сканируется в двухкоординатной модели.
Для ясности отметим, что новый лидар от Ibeo еще не выпущен, а потому мы не знаем насколько хорошо он будет работать, а показатели лидаров от Sense далеки от производительности лучших лидаров от Velodyne. Дальность лидаров от Sense – от 15 до 40 метров, в то время как некоторые модели Velodyne работают на расстоянии 200 метров.
Тем не менее, генеральный директор Sense Скотт Берроуз говорит, что их компания только начинает свою работу. Sense работает над новым датчиком c дальностью работы в 200 метров, который должен выйти в следующем году. Планируется, что эта модель сможет соревноваться с лидерами рынка. В свою очередь, Ibeo имеет глубокие связи с автомобильной промышленностью, что позволяет компании заключать крупные сделки с автопроизводителями-партнерами.
Микротрансферная печать
И Sense, и Ibeo используют недорогой тип лазеров – лазеры с вертикальным излучением (VCSEL). Эти лазеры могут производиться с использованием привычных полупроводниковых технологий, что позволяет разместить тысячи или даже миллионы устройств на одной пластине. Ранее мы рассказывали о другом стартапе под названием Ouster, их лидар основан на VCSEL.
В лидаре от Sense намного больше лазеров, чем в лидаре от Ouster. Чтобы добиться этого, Sense используют технологию, которая называется микротрансферная печать.
Разместить несколько тысяч VCSEL на одном чипе нетрудно. Но при изготовлении чипа, на котором плотно расположены 11 000 лазеров, у вас могут возникнуть проблемы. Лазеры в таком количестве на малой площади могут выделять большой объем тепла. Также у вас могут возникнуть проблемы с безопасностью для глаз. Лазеры с вертикальным излучением работают на частоте, которая может повредить сетчатку, а 11 000 лазеров, направленных на человеческий глаз, могут привести к необратимым травмам.
У Sense есть разумное решение этой проблемы: распределение лазеров. После установки тысяч лазеров с вертикальным излучением на пластину из арсенида галлия, Sense переносит их на новую теплопроводящую керамическую подложку, разрежая плотность установки лазеров.
В этот момент в дело вступает микротрансферная печать. В этой технологии используется резиновый штамп, на дне которого расположена сетка с резиновыми выступами. Когда один из выступов касается лазера с вертикальными излучением, он может приподнять его с помощью силы статического электричества.
Выступы расположены так, что один из каждых n чипов (отсчитывая и по горизонтали, и по вертикали) приподнимается с исходной пластины и помещается на новую подложку. Далее, штамп собирает набор чипов из идущих далее слотов для следующего лидара. Таким образом, одна кремниевая пластина может образовывать сборки на 11 000 лазеров для множества лидаров.
Sense стремится увеличить радиус действия своих лидаров
Вместо того чтобы сканировать сцену последовательно (так, как это делают большинство лидаров), лидары от Sense используют свои 11 000 лазеров чтобы осветить всю сцену за одну вспышку, после чего датчик измеряет время, за которое обратная вспышка отражается со всех направлений.
Вспышечные лидары вроде этого, как правило, имеют малую дальность действия, поскольку освещение всей сцены приводит к тому, что свет теряется в промежутках между пикселями. По сути, Sense решают эту проблему методом грубой силы, используя большое количество света для освещения сцены. Распределение лазеров помогает справляться с выделяемым теплом и вредом для человеческих глаз – проблемами, которые могли бы возникать при подобном подходе.
Тем не менее, генеральный директор Ouster Ангус Паскала отмечает, что подход Sense имеет существенный недостаток: высокое энергопотребление. “Чем больше электроэнергии, тем больше датчики” – комментарий Ангуса для Ars. “Чем больше датчики, тем выше цена и больше сложность интеграции”.
Несмотря на то, что нынешние продукты Sense потребляют больше электроэнергии, чем лидары от ведущих компаний, они имеют меньшую дальность действия. Также лидары от Ouster и Velodyne вращаются на 360 градусов, в то время как вам понадобится несколько лидаров от Sense для того, чтобы получить аналогичное покрытие.
Берроуз планирует выпустить лидар с дальностью действия в 200 метров в 2021 году. У этого лидара будет более 11 000 лазеров, хотя точное количество еще неизвестно. Основной задачей будет достижение большей дальности действия без столь же значительного увеличения энергопотребления.
Однофотонные лавинные диоды входят в моду
Один из вариантов решения этой задачи – использование массива однофотонных лавинных диодов (SPAD) для определения отраженных лазерных лучей в лидарных датчиках нового поколения. Это еще одно сходство с лидарами от Ouster, в которых используются SPAD. В интервью Ars Technica в 2018 году Пакала сказал, что его долгосрочная стратегия заключается в использовании двумерных массивов лазеров с вертикальным излучением и датчиков на однофотонных лавинных диодах, что позволит создать лидары, которые работают как камеры – продукт, который Sense планирует представить в следующем году.
Как следует из названия, датчики на однофотонных лавинных диодах достаточно чувствительны, чтобы засечь один фотон. Как и лазеры с вертикальным излучением, они могут быть изготовлены с использованием привычных технологий работы с кремнием, что позволяет им быть дешевыми в терминах масштабирования. Большая чувствительность этих датчиков может помочь Sense достичь большей дальности действия для имеющегося количества лазерного света.
Интересно, что Ibeo также планируют использовать однофотонные лавинные диоды в своих лидарах следующего поколения.
Ibeo – это не стартап. Некоторые из их лидаров участвовали в DARPA Grand Challenge 2005 года, хотя участие компании упущено из виду, потому что их лидары имели всего 4 линии сканирования, в то время как у лидаров Velodyne было 64. Ibeo совершили крупный переворот несколько лет назад, когда они получили контракт на поставку лидаров для Audi – первый случай, когда лидары были установлены в серийных автомобилях. Также миноритарным акционером Ibeo является ZF Friedrichshafen, что помогает им заключать еще больше контрактов на поставки датчиков для автомобилей.
В своем интервью, данном в четверг, операционный директор Ibeo Марио Брамм рассказал Ars, что лидар следующего поколения от Ibeo должен выйти в конце этого года и будет иметь массивы лазеров вертикального излучения и однофотонных лавинных диодов размерности 128 на 80. Ibeo стремятся к модульному дизайну, который позволит компании использовать различную оптику для создания диапазона моделей с разными возможностями – от лидаров дальнего действия с малым углом обзора, до широкоугольных лидаров с более коротким радиусом действия. Ibeo хотят сделать эти лидары достаточно дешевыми, чтобы их можно было продавать автомобильным концернам для массового производства, начиная с конца 2022 или начала 2023 года.
Очевидный вопрос заключается в том, как Ibeo будут решать проблемы с температурой и безопасностью для глаз, которые Sense решает с помощью микротрансферной печати. Одно из решений – использование высокочувствительных однофотонных лавинных диодов, благодаря чему Ibeo смогут уменьшить выходную мощность своих лазеров достаточно для того, чтобы избежать проблем с питанием и опасностью для человеческих глаз. Другим вариантом решения является использование непосредственного соединения между каждым лазером и датчиком, что приведет к уменьшению количества “потерянных” фотонов. Во время нашего разговора Брамм сказал, что низкая мощность является приоритетом для клиентов, представляющих автомобильный рынок.
С другой стороны, может оказаться, что этот подход трудно реализовать без технологии микротрансферной печати, которой пользуются Sense, в то время как Ibeo и Ouster будут пытаться создать твердотельные лидары без нее.
Поправка: сначала я заявил, что лазеры с вертикальным излучением, которыми пользуются Sense сделаны из кремния – на самом деле они основаны на арсениде галлия.
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Лидар: просто о сложном
LIDAR (Light Detection And Ranging — световая система обнаружения и измерения дальности) — технология, которая незаметно, но прочно входит в жизнь автолюбителей. Все больше автомобилей комплектуются лидар-сенсорами, а значит, пришло время рассказать, что здесь к чему. Тем более, что DENSO стоит у истоков автомобильных лидар-технологий.
В середине 1930-х годов был изобретен ЭОП — электронно-оптический преобразователь, в котором электроны, выбитые инфракрасным излучением с фотокатода, разгонялись и фокусировались электромагнитным полем на аноде, буквально рисуя видимое излучение. Технология заинтересовала военных, и на этой основе немецкие и советские конструкторы создали несколько экспериментальных систем ночного видения. Причем немецкая система к концу Второй мировой войны даже пошла в серию. Активный инфракрасный прожектор подсвечивал местность, а оптический приемник улавливал отражение ИК-волн и выводил (пусть и нечеткую) картинку ночной местности.
Приборы ночного видения, созданные на принципе улавливания отраженных в ИК-диапазоне волн, с тех пор прошли долгую эволюцию, и постепенно инфракрасные оптические технологии перестали быть военным эксклюзивом. Принцип взаимодействия с отраженными инфракрасными волнами использует и современный лидар.
Прогресс сделал возможным поместить активный источник инфракрасного излучения и его приемник в компактный корпус. Еще в начале 1990-х годов автомобильным инженерам стало понятно, что при современном росте скоростей и плотности движения необходимо создать технологию автоматического распознавания препятствий впереди машины.
В 1996 году компания DENSO показала оптический датчик, который широким горизонтальным лучом «сканировал» местность впереди машины. Еще через год, в 1997 году, DENSO разработала первый в мире оптический датчик, работающий в двух измерениях. Так компания представила первый лидар современного вида.
Лидар направляет перед собой инфракрасный свет в широком диапазоне (до 180̊) на расстояние до 400 м. Свет частично отражается от препятствий впереди, а частично рассеивается. Отраженный импульс возвращается обратно, где воспринимается фотодиодом. Ток на фотодиоде пропорционален воздействующему свету. На основании принятого цифрового сигнала процессор определяет расстояние до препятствия, а в случае с движущимся впереди автомобилем — и его скорость. Множество ИК-лучей и их одновременная обработка позволяют лидару строить 3D-изображение окружающей обстановки:
Мастер на все руки
Помимо этого, благодаря особенностям отражения, лидар «умеет» читать разметку — она отражает ИК-лучи иначе, чем асфальт. Лидару также под силу определить влажность воздуха, наличие осадков и тумана. Впрочем, при интенсивном дожде и снеге лидар пасует и не может адекватно оценить информацию — инфракрасные лучи хаотично преломляются и отражаются каплями воды в воздухе. По этой причине лидар практически всегда дублируется субмиллиметровым радаром (первенство в установке которого на автомобиль, к слову, также принадлежит DENSO).
Сегодня на основе информации, полученной от оптического датчика-лидара, функционируют многие системы безопасности автомобиля. Это и адаптивный круиз-контроль, и система аварийного торможения, и система распознавания дорожной разметки и удержания в полосе. Большим плюсом лидара по сравнению с радаром является его относительно дешевизна, а также простота и отработанный процесс производства. Лидар можно сравнить с оптической технологией, применяемой в дистанционных пультах для бытовой техники — никто уже давно не удивляется их наличию. Примерно то же ждет лидар в контексте использования в автомобильной промышленности.
Создание все более сложных, умных и надежных систем безопасности — это одна из глобальных целей DENSO. Однако не стоит забывать и о простом. К примеру, о том, что основа основ безопасности автомобиля – это нормальный обзор. Который обеспечивают качественные щетки стеклоочистителя. Подобрать подходящие щетки DENSO можно с помощью электронного каталога.