лидарный датчик что такое
Лидар: просто о сложном
LIDAR (Light Detection And Ranging — световая система обнаружения и измерения дальности) — технология, которая незаметно, но прочно входит в жизнь автолюбителей. Все больше автомобилей комплектуются лидар-сенсорами, а значит, пришло время рассказать, что здесь к чему. Тем более, что DENSO стоит у истоков автомобильных лидар-технологий.
В середине 1930-х годов был изобретен ЭОП — электронно-оптический преобразователь, в котором электроны, выбитые инфракрасным излучением с фотокатода, разгонялись и фокусировались электромагнитным полем на аноде, буквально рисуя видимое излучение. Технология заинтересовала военных, и на этой основе немецкие и советские конструкторы создали несколько экспериментальных систем ночного видения. Причем немецкая система к концу Второй мировой войны даже пошла в серию. Активный инфракрасный прожектор подсвечивал местность, а оптический приемник улавливал отражение ИК-волн и выводил (пусть и нечеткую) картинку ночной местности.
Приборы ночного видения, созданные на принципе улавливания отраженных в ИК-диапазоне волн, с тех пор прошли долгую эволюцию, и постепенно инфракрасные оптические технологии перестали быть военным эксклюзивом. Принцип взаимодействия с отраженными инфракрасными волнами использует и современный лидар.
Прогресс сделал возможным поместить активный источник инфракрасного излучения и его приемник в компактный корпус. Еще в начале 1990-х годов автомобильным инженерам стало понятно, что при современном росте скоростей и плотности движения необходимо создать технологию автоматического распознавания препятствий впереди машины.
В 1996 году компания DENSO показала оптический датчик, который широким горизонтальным лучом «сканировал» местность впереди машины. Еще через год, в 1997 году, DENSO разработала первый в мире оптический датчик, работающий в двух измерениях. Так компания представила первый лидар современного вида.
Лидар направляет перед собой инфракрасный свет в широком диапазоне (до 180̊) на расстояние до 400 м. Свет частично отражается от препятствий впереди, а частично рассеивается. Отраженный импульс возвращается обратно, где воспринимается фотодиодом. Ток на фотодиоде пропорционален воздействующему свету. На основании принятого цифрового сигнала процессор определяет расстояние до препятствия, а в случае с движущимся впереди автомобилем — и его скорость. Множество ИК-лучей и их одновременная обработка позволяют лидару строить 3D-изображение окружающей обстановки:
Мастер на все руки
Помимо этого, благодаря особенностям отражения, лидар «умеет» читать разметку — она отражает ИК-лучи иначе, чем асфальт. Лидару также под силу определить влажность воздуха, наличие осадков и тумана. Впрочем, при интенсивном дожде и снеге лидар пасует и не может адекватно оценить информацию — инфракрасные лучи хаотично преломляются и отражаются каплями воды в воздухе. По этой причине лидар практически всегда дублируется субмиллиметровым радаром (первенство в установке которого на автомобиль, к слову, также принадлежит DENSO).
Сегодня на основе информации, полученной от оптического датчика-лидара, функционируют многие системы безопасности автомобиля. Это и адаптивный круиз-контроль, и система аварийного торможения, и система распознавания дорожной разметки и удержания в полосе. Большим плюсом лидара по сравнению с радаром является его относительно дешевизна, а также простота и отработанный процесс производства. Лидар можно сравнить с оптической технологией, применяемой в дистанционных пультах для бытовой техники — никто уже давно не удивляется их наличию. Примерно то же ждет лидар в контексте использования в автомобильной промышленности.
Создание все более сложных, умных и надежных систем безопасности — это одна из глобальных целей DENSO. Однако не стоит забывать и о простом. К примеру, о том, что основа основ безопасности автомобиля – это нормальный обзор. Который обеспечивают качественные щетки стеклоочистителя. Подобрать подходящие щетки DENSO можно с помощью электронного каталога.
Технология будущего. Зачем нужен LiDAR, который появился в iPad Pro
Судя по анализу железа нового iPad Pro, его главная особенность – это новый датчик расстояния LiDAR.
Apple говорит, что NASA отправит с ним людей на Марс, а многие думают, что это прокачанный Face ID. Но многие пока не понимают, как его будут использовать разработчики.
Мы разобрались, в каких индустриях лидар используют прямо сейчас, чем его датчик отличается от чёлки в iPhone, и кому на самом деле нужна эта новая версия планшета.
Спойлер: произошла революция.
Как работает обычный лидар
По принципу работы радар и лидар отличаются только в источнике энергии, которым они измеряют величины. В первом это радио-волны, во втором лазер. Чаще всего инфракрасный, невидимый человеком.
Название LiDAR идёт от аббревиатуры light detection and ranging, на русском как «обнаружение и определение дальности через свет»
Простейшая система работы такая:
- 1. Излучатель бьёт лазером со скоростью света
2. Ресивер получает его обратно
3. Компьютер рассчитывает время возвращения луча
4. Формируется информация о расстоянии до объекта
Скорость света – величина неизменная, она всегда одинакова. Считывая разницу в скорости возвращения луча, можно составить глубинную 3D-карту местности, улицы или комнаты. Масштаб и точность такой карты зависит от размера датчиков, количества лучей, их яркости и множества других факторов.
Например, вот здесь можно пощупать информацию, которая получается на выходе сенсора для автомобилей OS1 от компании OUSTER.
NASA составила огромный список того, что умеют лидеры разного типа.
В зависимости от размера и точности сенсора, можно получить следующие данные:
Излучатели отличаются размерами, мощностью, типом лучей, их количеством, статичностью и многим другим. Их цепляют на спутники, самолёты, дроны и автомобили.
Учитывая, сколько материала можно собрать и обработать, становится понятно, что лидар может быть полезен в десятке разных областей. Пройдёмся по некоторым.
Технологию применяют в автопилотах, космосе и земледелии
С помощью сенсора можно предположить, какую область зальёт при наводнении
Все сканеры работают за счёт лучей, но площадь покрытия зависит от их количества. Это может был один лазер, который сканирует плотность газа, или полоса, которая формирует карту глубины двухмерной территории, как на примере выше.
В третьем виде излучатель бьёт квадратным полем, как это сделано в iPad Pro, и формирует объёмный отпечаток помещения, здания, метеорита и так далее.
Самоуправляемые машины выглядят самым очевидным применением для LiDAR. Почти каждая компания внедряет их по несколько штук за раз в свои проекты.
С другой стороны, Элон Маск год назад агрессивно противился им и сказал, что распознавание объектов эффективнее. Директор ИИ в Tesla Андрей Карпати считает лидар ненадёжным “костылём” по той же причине.
Анализ биосферы проводят датчиками повсеместно. У NASA есть список миссий с отчётами по ним. В них исследуют состояние озонового слоя, ищут связь выбросов и климата и изучают экосистему. Для последнего иногда даже задействуют спутники.
Но в основном в самолёты или дроны встраивают лазеры с приёмником, которые как валик с краской накрывают территорию под собой. А учёные на базе этих данных строят карты материалов и грунта.
Агрикультура и городское планирование занимают первое место по применению LiDAR. Анализ земли и воздуха помогает выбрать места для плодородных полей – такие, чтобы избежать оползней и загрязнённого воздуха.
LiDAR не умеет делать то, что может Face ID. И наоборот
Разобрались, что LiDAR стреляет лазером из дронов, самолётов и спутников. В iPad Pro это работает по тому же принципу, но на “минималках”.
В iPad Pro стоит не один луч, а 1152 штук в шахматном порядке.
Расчёт сделал так. Судя по изображению в обзоре, айпэд выпускает лазеры в 9 секторов. В каждом по 8 точек на ряд, который дублируется по диагонали. Получаем 8*8*2*9=1152.
Лучи крупнее в диаметре и намного дальше друг от друга, чем в Face ID. Из-за этого планшет технически не сможет составить точную карту глубины, потому что не считывает волосы и даже крупные детали, например уши.
Вот почему портретного режима в нём нет.
Зато у LiDAR шире покрытие. В отличие от Face ID, работает это приблизительно так:
- 1. Излучатель бьёт дальше крупными точками
2. «Приёмник» их ловит
3. Процессор A12Z собирает из отметок полигоны
4. Из полигонов под разными углами составляется карта
Точный сенсор айпэда нужен везде. Развлечениям и образованию особенно
Пока система стоит в сравнительно непопулярном устройстве, ей мало кто будет пользоваться. Вот только парк AR-устройств уже огромный, компания зря время не теряли.
Всё те же люди продолжат использовать AR-приложения, просто чаще. Раньше текстуры прыгали друг на друга, а положение объектов неудачно отслеживалось.
- 1. Студенты и профессоры с приложением по анатомии
2. Дизайнеры квартир с быстрым составлением плана
3. Ритейлеры, вроде IKEA, которые удобно покажут свои товары
4. Музеи смогут рендерить в AR скульптуры, а не только картины
Это та часть, которая хоть как-то активна в дополненной реальности. Скорее всего, теперь к ней увереннее подключатся спорт и бьюти-сфера.
Apple такая же технологичная компания, как и все остальные. Бывает, что инновации не заходят в массы, как это было с 3D Touch, и их постепенно выпилывают. Но мне кажется, что LiDAR за следующие десятилетие взлетит до ключевой технологии.
В ближайшие годы сканер рискует стать стандартом из-за AR
Если у вас iPhone 7 или новее, откройте сайт Apple и активируйте режим дополненной реальности, например с iPad или MacBook Pro.
Этот опыт будет идеальным, чтобы люди начали включать игры и приложения не на один раз рад интереса, а пользовались ими постоянно.
А там и до звонков по FaceTime в стиле Звёздных Войн недалеко. Взгляните, к примеру, научились заменять на искусственный в iOS 13.
Дополненная реальность уже здесь, и у неё нет финала
То, что раньше было неудачным Kinect для XBOX, переродилось в киллер-фичу iOS
Пока я искал информацию для материала, заметил одну вещь. Большинство заголовков о развитии лидаров вышли в последние два года, и в основном в 2019-м. Видно, что индустрия плотно развивается, в ней около десятка конкурентов, и впереди много лет прогресса.
Бесконечные маски в Инстаграме, перебрасывающие сразу на сайт QR-метки, грядущие уведомления об опасных контактах от коллаборации Apple | Google.
В общем, реальности смешиваются и, как это бывает с прогрессом, незаметно для его участников. LiDAR может станет ступенью для осязания всего процесса.
Ходит много слухов о том, что грядущие iPhone 12 Pro тоже оснастят таким сенсором. С учётом потенциала и места для улучшения технологии, легко верю в то, что Apple лучше нас понимает важность лидара, а для использования AR сканер станет критичным параметром.
Лидарные датчики ToF и 10 их потрясающих применений
Лидарные датчики, также известные как датчики ToF имеют множество применений, как в беспилотной системе, так и на земле.
Лидарные датчики Time-of-Flight могут использоваться для сканирования объектов, измерения расстояния, навигации в закрытом пространстве, обхода препятствий, распознавания жестов, отслеживания объектов, измерения объёмов, для измерения высоты, для 3D съёмки, для игр с дополненной реальностью и т.д.
Эта статья о том, что представляет из себя технология Time of flight, как она работает и в каких сферах её лучше использовать. Кроме того, мы рассмотрим некоторых производителей ToF-камер. Ниже приведена дополнительная информация о преимуществах применения лидарных датчиков ToF в той или иной сфере.
Дроны оказывают огромное влияние на многие секторы. Больше об этом вы можете прочитать в статье о наилучшем применении дронов. Реальное их преимущество заключаются в том, что установив на дрон те или иные датчики – вы расширяете спектр полезного применения устройства.
Информация, представленная здесь, включает видео о ToF, в котором рассказывается о применении технологии ToF как на земле, так в воздухе.
Что из себя представляют ToF-камеры? – Ответ
Time-of-Flight камеры имеют огромное преимущество перед другими технологиями, так как способны измерять расстояние в пределах зоны, отображаемой видеокамерой, за один снимок.
ToF является одним из многих методов, известных как Дальностное отображение. Устройство, которое используется для получения информации о расстоянии, иногда называют камерой дальности. Дальностное отображение также включает: стереотриангуляцию, триангуляцию листа света, структурированный свет, интерферометрию и кодовую апертуру.
Принцип работы датчика Time of Flight
Лидарные датчики ToF не оснащены сканером, это означает, что вся зона захватывается одним световым сигналом (вспышкой), а не поточечно лазерным лучом. Времяпролетные камеры фиксируют всю зону в трёх измерениях с помощью специального датчика изображения, и поэтому не нуждаются в движущихся деталях.
Как работает ToF-камера
Трёхмерный лазерный радар Time-of-Flight с быстрой ПЗС-камерой с усиленным пропусканием сигналов обеспечивает разрешение с точностью до миллиметра. С помощью этой техники короткий лазерный импульс освещает зону, а усиленная ПЗС-камера открывает высокоскоростной затвор всего на несколько сотен пикосекунд.
Информация 3D рассчитывается на основе серии 2D изображений, которая была собрана с увеличением задержки между лазерным импульсом и открытием затвора.
Вот видео, в котором понятно рассказывается, что такое технология Time-of-Flight.
Лидарные датчики Time of Flight или Flash LiDAR против Lidar
Времяпролетные камеры также называются Flash LiDAR или Time-of-Flight LiDAR. Между технологиями Flash-LiDAR Time-of-Flight и LiDAR существует большая разница. Чтобы объяснить все различия, вот отличное видео под названием «Датчики LiDAR и Time-of-Flight». В этом видео также рассказывается о компьютерном зрении для создания визуальных эффектов.
Вы также можете прочитать наш пост о датчиках Lidar, под названием «12 лучших лидарных датчиков для БПЛА и другие применения».
Новые решения с применением 3D ToF-камер
Новая 3D-Time-Of-Flight камера обеспечивает точную информацию при высокой частоте кадров по недорогой цене. Дополнительное третье измерение выводит стандартную обработку изображений и понимание изображений на совершенно новый уровень и может открыть множество новых способов применения в области промышленного контроля, автоматизации и логистики, а также в медицине и взаимодействия человека с компьютером.
Технология ToF с или без распознавания жестов
3D Time of Flight-камеры могут работать как с жестами, так и без них. Используя режим жестов, вы тем самым выбираете непосредственное участие человека и более высокую скорость; а работая без жестов – вы выбираете точность. Приложения для жестов преобразуют движения человека (лицо, руки, пальцы или все тело) в символьные директивы на командный пульт управления, smart-телевизор или портативное вычислительное устройство. Например, переключать каналы можно размахом руки, а листать слайды презентации можно перебирая пальцами. Эти приложения обычно требуют быструю скорость отклика, малый и средний диапазон, уровень точности до см, а также энергопотребление. Microsoft Kinect 2 использует датчики Time-of-Flight с управлением жестами.
Датчики дальности ToF 3D имеют очень много применений без управления жестами. Автоиндустрия опережает БПЛА в использовании ToF-камер. Например, ToF-камера повышает уровень безопасности в автомобиле, уведомляя водителя (даже если машина едет на автопилоте) о нахождении людей или каких-либо предметов в непосредственной близости от автомобиля. В работе с роботизированном или автоматизированном оборудованием, датчики ToF способствуют обнаружению дефектов и обеспечивает безопасность людей и роботов, работающих в непосредственной близости.
Некоторые из приложений, не использующих жестов, предназначены для сканирования объектов, навигации в замкнутом пространстве, навигации в открытом пространстве, обнаружения препятствий, предотвращения столкновений, отслеживания объектов, измерений объёмов, измерения высот, съёмки трёхмерных изображений, игр с дополненной реальностью и многого другого.
Несущие сигналы Flash Lidar Time of Flight
ToF использует различные типы сигналов (так называемые несущие сигналы), причём звуковые и световые являются наиболее распространёнными.
Несущий световой сигнал
Несущий звуковой сигнал
Ультразвуковые датчики используются для определения дальности объектов (отражателей) при навигации робота или БПЛА. Для этой задачи чаще всего используют является датчик Time-of-Flight, который вычисляет расстояние до ближайшего объекта (отражателя), используя скорость звука и время возврата испускаемого сигнала и эха.
Преимущества лидарных датчиков Time of Flight
Будучи новой технологией, Time-of-Flight или 3D Flash LIDAR имеет ряд преимуществ по сравнению с обычными точечными (однопиксельными) камерами и стереоскопическими камерами, в том числе:
В отличие от стереозрения или триангуляции, вся система очень компактна: освещение располагается рядом с объективом, тогда как другим системам требуется определённая базовая линия. В отличие от систем лазерного сканирования, здесь не нужны механические движущиеся части. Большим преимуществом камеры Time-of-Flight является то, что она способна создавать трёхмерное изображение всего за один снимок. Многие другие системы 3D-зрения требуют намного больше изображений и махинаций.
Времяпролетные 3D-камеры способны измерять расстояния в пределах всей зоны за один снимок. Поскольку камеры делают до 160 кадров в секунду, они идеально подходят для использования в приложениях реального времени.
По сравнению с другими технологиями 3D-сканирования, такими как системы камер / проекторов со структурированным светом или лазерные дальномеры, технология ToF стоит довольно недорого.
Технологические преимущества ToF Flash Lidar
• Полная информация time-of-fligh (3D-изображение), собранная с помощью одного лазерного сигнала
• Однозначный прямой расчет дальности
• Без размытия изображения, без искажения движения
• Совместная регистрация диапазона и интенсивности для каждого пикселя
• Четкость каждого пикселя в кадре
• Возможность представлять объекты, которые наклонены к камере
• Нет необходимости в точных сканирующих механизмах
• Объединение 3D Flash LIDAR с 2D камерами (EO и IR) для создания 2D текстуры
• Возможность объединения нескольких камер 3D Flash LIDAR для создания полноценной трехмерной картины.
• Меньше по размеру и легче, чем точечные системы сканирования
• Нет движущихся частей
• Способность «видеть» в затруднённых условиях (туман, дым, пар, дымка, дождь)
Стоимость камеры ToF
Что действительно впечатляет в 3D-камерах Time-of-Flight, так это то, что они стоят довольно недорого. Как правило, цены на камеры ToF стартуют примерно с 150 долларов США за такую камеру, как TeraRanger One.
В то же время, цены на камеры ToF могут доходить до тысяч долларов.
Датчики ToF имеют широкий спектр функций, спецификаций и применений, поэтому их трудно сравнивать между собой.
AMS / Heptagon: располагает большим ассортиментом лидарных датчиков Time-of-Flight для самых разных решений. 3D-датчики Time-of-Flight от Heptagon Laura и Lima используются для БПЛА и роботов.
Heptagon перешёл под юрисдикцию AMS в январе 2017 года. Уже более 20 лет Heptagon работает на рынке лидарных датчиков ToF и владеет всем арсеналом технологий ToF, включая структуру пикселей, разработку аналоговых и смешанных сигналов, разработку ASIC и разработку встроенного программного обеспечения.
Вывод трёхмерных данных используется для обеспечения автономных операций (например, сближение, удаление, посадка и т. д.).
• TeraRanger One помогает системе видеоконтроля «умных» дронов
• Обнаружение стеклянных поверхностей с помощью инфракрасных датчиков Time-of-Flight
• Используя дроны TeraRanger One нмного проще следить за состоянием виноградников
• Подключи и играй сенсорные матрицы
• Автоматическая реинициализация и восстановление после сбоя
• Возможность летать в лесу, обходя препятствия
Теперь ознакомьтесь с ToF-камерой от TeraRanger One.
В датчике AdaFruit VL53L0X ToF расположен крошечный лазер и соответствующий датчик. VL53L0X может определить «время полета» или время, необходимое для того, чтобы свет вернулся к датчику. Поскольку он использует очень узкий источник света, он подходит для определения дальности объекта, находящегося непосредственно перед ним.
В отличие от гидролокаторов, которые отражают ультразвуковые волны, сенсорное «ядро» очень узкое. В отличие от ИК-датчиков дальности, которые измеряют отраженный свет, VL53L0x намного точнее и не имеет проблем с линейностью или «двойной визуализацией», когда невозможно определить, находится ли объект очень далеко или очень близко.
VL53LoX является «старшей сестрой» лидарного датчика ToF VL6180X и способен измерять расстояние от 50 до 1200 мм. Если вам нужен более короткий/ близкий диапазон, попробуйте VL6180X, который может измерять от 5 мм до 200 мм, а также оснащён датчиком освещённости.
Комбинация датчиков Flash Lidar ToF с другими датчиками
Многие компании комбинируют камеры ToF с другими датчиками, программным обеспечением и алгоритмами для получения комплексного решения. Например, один дрон может объединять датчики Time-of-Flight, LiDAR, Stereo Vision и ультразвуковые датчики, чтобы обеспечить множество автономных режимов полёта, а также систему предотвращения столкновений. Другим примером могут служить такие продукты, как технология Microsoft Kinect 2 в XBox One или режимы жестов на дронах для съёмки селфи. Они объединяют такие технологии, как компьютерное зрение, обработка сигналов и машинное обучение, и технологию Time-of-Flight при создании продукта или функции в продукте.
Сельскохозяйственные дроны оснащены многоспектральными датчиками, среди которых также датчики ToF для наблюдения за состоянием сельскохозяйственных культур. Подробнее об этом позже.
Дронах, способные предотвращать столкновения, оснащены не только датчиками ToF, но также Vision или LiDAR, чтобы обходить препятствия. Датчики ToF способны измерять высоту. Подробнее об этом дальше в этой статье.
Вот еще одна серия потрясающих статей о дронах, оснащенных разными датчиками для расширения спектра применений.
Изображения можно просматривать в режиме реального времени. Тем не менее, их можно переместить и сохранить. Затем, с помощью специализированного программного обеспечения, генерируется трехмерное изображение, карта или фильм, где его можно анализировать и интерпретировать в полноценную информацию, с которой можно работать дальше.
Вот пример устройства Kespry для подсчета объема складских запасов (камень, гравий, породы, бумага, бревна, щепа, мульча, навоз и т.д.)
Кроме того, для расчета веса и стоимости запасов можно ввести коэффициенты плотности и стоимости, что идеально подходит для проведения инвентаризации. С помощью этого устройства ToF можно точно измерить даже запасы нестандартной формы, находящиеся у стен.
Какие бывают применения датчиков Flash Lidar ToF, установленных на дронах? – Ответ
Камеры Time-of-Flight чаще всего применяются следующим образом:
• Навигация в замкнутом пространстве
• Наблюдение за целевой зоной
• Подсчет предметов или людей
• Дополненная реальность / Виртуальная реальность
• Оценка размеров и формы объектов
Технология ToF используется не только на дронах, но и в различных областях, таких как:
• Логистика / на складах
• Наблюдение и безопасность
Дроны дополненной реальности с технологией Flash Lidar ToF 3D
Дроны дополненной реальности с технологией ToF для игр
Дрон Walkera Aibao вместе и его приложение позволят вам играть в виртуальной реальности в реальном мире. Это первый дрон, который позволяет реальному миру переплетаться с виртуальным.
Вы можете вывести этот дрон в открытый космос, летать и сражаться в космосе. В играх доступны режимы Гонок, Битвы и Коллекции. Вот короткое ознакомительное видео о дроне Aibao Game. Очень занимательно.
Дроны с технологией Flash Lidar ToF 3D для навигации в замкнутом пространстве
Достаточно непросто обеспечить, чтобы дрон или даже робот успешно и безопасно осуществлял навигацию в замкнутом пространстве. Автоматизированное картирование, одновременная локализация и картирование являются вычислительными операциями, заключающимися в построении или обновлении карты неизвестной среды, при этом с отслеживанием местоположения оператора в ней.
Давайте сформулируем еще проще. С помощью одновременной локализации и картирования, дрон создаёт карту неизвестной среды, в то же время перемещаясь по этой среде с помощью карты. Приведем пример того, как беспилотный летательный аппарат, использующий камеру дальности, перемещается в замкнутом пространстве.
Вы можете прочитать больше об этом в следующих статьях.
Камеры Flash Lidar ToF для трёхмерного сканирования
В настоящее время дроны широко используются для создания точных трёхмерных моделей сооружений и памятников. Съемки и создание 100% точных моделей древних памятников и объектов наследия сформировали свой рынок. В 2015 году с помощью дрона было успешно создано трёхмерное изображение статуи Христа-Спасителя в Бразилии. До этого точной модели этой статуи не было. При картировании статуи Христа-Спасителя использовалась 3D фотограмметрия, это значит, что дрон летал вокруг статуи, делая тысячи снимков, которые затем были объединены с помощью специальной программы для 3D картирования.
Другие технологии 3D-сканирования используют специализированные и сложные датчики, такие как камеры со структурированным светом / системы проекторов или лазерные дальномеры. Несмотря на то, что они дают данные высокого качества, стоят они довольно дорого и требуют специальных знаний.
Гарвардский университет разработал экономичное решение для 3D-сканирования с использованием камеры Time-of-Flight. На этот раз, устройство было наземным. Однако оно будет продолжать работать при установке на дрон.
С дальнейшим развитием этой отрасли, и стабильными инвестициями, камеры ToF станут экономичной альтернативой для сканирования различных крупных объектов и памятников. Больше о проекте Гарвардского университета, под названием «3D-сканирование с помощью Time-of-Flight камеры», можно прочитать здесь.
Применение дронов с технологией Flash Lidar ToF в сельском хозяйстве
В сельском хозяйстве используются дроны с мультиспектральными датчиками, позволяющие фермеру следить за урожаем и почвой. Эти сельскохозяйственные дроны с мультиспектральной визуализацией используют технологию дистанционного зондирования в зеленом, красном, красном крае спектра и ближнем инфракрасном диапазоне, чтобы захватывать как видимые, так и невидимые изображения культур и растительности. Благодаря наличию данных с мультиспектральных датчиков становится возможным предотвратить засорения и заражение инфцекциями. Они также помогают фермеру при расчетах необходимого количества воды, удобрений и растворов для опрыскивания сельскохозяйственных культур.
Камеры ToF можно использовать несколькими способами. С помощью камер Time-of-Flight можно быстро и точно измерять объемы. Они охватывают всю целевую зону всего за один снимок. 3D-датчики ToF идеально подходят для вычисления плотности посевов и сбора данных о запасах мульчи и навоза.
Чем стабильнее летает дрон, тем точнее будут данные, изображения и видео о посеве. Плавный полет способствует сбору данных, а также увеличивает длительность автономного полета.
Датчики ToF, среди которых TeraRanger One, можно использовать для измерения высоты. По сравнению с лазерными системами с очень узким полем зрения, камера TeraRanger ToF предоставляет более плавный и более стабильный показатель относительной высоты, поскольку дрон летает как над землей, так и над виноградными лозами. Вот интересное видео, в котором рассказывается о сельскохозяйственном мультиспектральном решении для виноградников во Франции от Chouette. Их дроны оснащены камерами ToF TeraRanger One ToF, которые выполняют роль прецизионного высотомера для более стабильного полета и лучшего сбора данных.
Камера дальности Flash Lidar ToF для измерения объемов
ToF-камеры Flash-lidar используются также для измерения объемов, например, пространство в ящиках на фабрике или на складах. На открытом воздухе дроны или краны, оснащённые камерами ToF, способны подсчитывать объемы запасов на складах или сырья, загруженного в грузовики.
Дрон, оснащённый камерой ToF способен частично или полностью облетать область хранения и быстро рассчитывать количество материала, хранимого на складе, или совокупную загрузку грузовика.
Узнайте, как Whitaker Contracting экономит 22% в год, на затратах, используя дроны с камерами ToF при подсчёте складских запасов. Кроме того, что компания экономит круглую сумму, они также подсчитывают свои запасы в 2 раза чаще. Вы можете сократить время, затрачиваемое на подсчёт запасов, на 75%.
Вот ещё несколько интересных статей о том, как с помощью датчиков ToF можно замерять и подсчитывать объемы.
Времяпролетная (TOF) камера измеряет объем коробки
Использование времяпролетной 3D-камеры в измерении объёма
Камера дальности Flash Lidar ToF для измерения расстояний
Датчики Time of Flight обеспечивают быстрое измерение расстояния между датчиком ToF и объектом на основе разницы во времени между излучением сигнала и его возвратом после отражения от объекта.
В следующем видео показан очень простой и экономически эффективный способ измерения расстояния с использованием датчика расстояния SODIAL ToF для Arduino. Датчик ToF очень прост в использовании особенно в работе с библиотекой Adafruit. Плата ToF очень маленького размера, и потому датчики подходят для использования на дронах.
Дроны для фотосъемки с 3D-камерами ToF
Технология 3D все больше набирает популярность в индустрии телевидения и кино. Режиссеры, фотографы и рядовые потребители ищут камеры, которые способны генерировать 3D-контент, будь то видео или фото. 3D-технология основана на датчиках ToF. В отличие от обычной камеры, используя камеры ToF вы получаете не только яркие снимки, но и карту дальности, включающую данные о расстоянии для каждого пикселя, полученные путем подсчёта времени, необходимого свету для достижения объекта и возврата к камере (принцип ToF).
Больше информации о 3D-камерах на DPReview.
Применение дронов с технологией Flash Lidar ToF для работы на складах
За последние несколько месяцев было опубликовано немало статей о компаниях, которые занимаются производством дронов для работе на складах. Вот статья о дронах, использующих технологию RFID для подсчета поддонов и инвентаря на складах. Камеры ToF можно использовать для сканирования объектов и подсчета объема.
В другой статье рассказывается об использовании лидарных датчиков ToF на дроне Eyesee от Hardis Group. Дрон Eyesee оснащен встроенной камерой и технологией геолокации в помещении, которая позволяет ему перемещаться с использованием заранее определенного плана полета и получать соответствующие данные о поддонах, хранящихся на складе. Затем дрон связывает полученное изображение с его расположением на складе и автоматически переводит свое пространственное положение в логистический адрес (место хранения).
Распознавание жестов на дронах с технологией ToF
Microsoft Kinect 2 использует датчики Time-of-Flight 3D в сочетании с компьютерным зрением, обработкой сигналов и машинным обучением. Многие смартфоны вскоре также будут выполнять больше жестовых команд, интегрированных в приложения.
На нашем рынке представлено несколько дронов с режимом жестов, который пригодиться при съемке селфи. DJI Mavic Pro и Phantom 4 Pro поддерживают режим жестов.
Последний квадрокоптер DJI Mavic Air использует расширенные функции распознавания жестов и мимики лица для полета и съемок. Больше об этом вы можете прочитать и посмотреть видео в обзоре DJI Mavic Air.
DJI не дает подробной информации о технологии, стоящей за режимом жестов. Известно, что для автономных режимов полета и предотвращения столкновений они комбинируют датчики Vision и Ultrasonic вместе со сложными алгоритмами. Так или иначе, вскоре мы увидим больше дронов с жестовыми управлением и автономными режимами полета, в которых ToF играет свою роль.
Применение дронов с технологией Flash Lidar ToF в автоиндустрии
В автомобильной промышленности разрабатывается целый ряд систем, в том числе и систем безопасности, использующих лидарные датчики Time-Of-Flight. Вот почему я считаю, что БПЛА индустрия также начнет инвестировать время и ресурсы в технологию Time-of-Flight. Приведем несколько примеров инноваций в автоиндустрии с применением технологии ToF;
• Мониторинг состояния водителя, например, определение положения головы и распознавание сонливости
• Классификация пассажиров, используемая для автономной установки заранее заданных предпочтений пассажиров, оптимизированной визуальной индикации на лобовом стекле и оптимально настроенного усилия раскрытия подушки безопасности.
• Бесконтактное управление жестами, например, информационно-развлекательные, навигационные и климатические системы
• Окружающий вид для помощи при парковке и обнаружения препятствий
Например, ToF-датчик камеры MLX75123 является полностью интегрированным сопутствующим чипом для Melexis. Он идеально подходит для использования в автоиндустрии и не только, включая, помимо прочего, распознавание жестов, мониторинг водителя, обнаружение людей или препятствий и мониторинг движения.
Вот потрясающее видео о новейшей лидарной камере Melexis, которая будет использоваться для повышения безопасности в автоиндустрии.
Дроны с системами предотвращения столкновений
Ниже приведен краткий обзор БПЛА, которые оснащены автономными системами предотвращения столкновений, и датчики, которые они используют.
Если говорить об автономности полета, DJI Matrice M200 сочетает несколько датчков для обнаружения препятствий и предотвращения столкновений. Направленная вверх лазерная сенсорная камера Time-of-Flight распознает объекты, находящиеся над M200. Matrice 200 использует датчики стереозрения для обнаружения объектов, находящихся под и перед дроном.
Датчик R200 использует статическую ИК-«точку» а также пассивную ИК-стереоскопию. Чем-то похоже на то, как работает Kinect 1. Поэтому Yuneec Typhoon H не использует технику ToF.