камера truedepth что это
TrueDepth в iPhone X — что это, принцип работы
Что такое TrueDepth в iPhone X?
Система камер TrueDepth — одна из ключевых особенностей флагмана Apple iPhone X. Что включает в себя TrueDepth и каким образом эта уникальная система работает? Рассказали подробнее о TrueDepth в iPhone X.
Что такое TrueDepth
TrueDepth — это инновационная система камер iPhone X, включающая в себя 7-мегапиксельную фронтальную камеру, инфракрасную камеру, проектор точек и инфракрасный излучатель. Что делает каждый из компонентов TrueDepth?
Проектор точек проецирует на лицо пользователя более 30 000 невидимых точек для создания его карты. В дальнейшем эта сверхточная карта используется для аутентификации владельца iPhone X.
Инфракрасная камера выполняет считывание точечной структуры лица пользователя и создает на основе полученных данных изображение в инфракрасном спектре, которое отправляется в специальный модуль Secure Enclave, встроенный в процессор A11 Bionic. В модуле Secure Enclave происходит сравнение лица пользователя с ранее сохраненной картой.
Важно отметить, что сравнение выполняется особенным образом. Фрагмент нейронного ядра микропроцессора A11 Bionic преобразует инфракрасное изображение и карту глубины в математическое представление, которое сравнивается с зарегистрированными данными лица.
Инфракрасный излучатель отвечает за возможность распознавания лица владельца iPhone X в любых условиях, даже в темноте. Излучатель направляет на лицо пользователя пучок инфракрасного света, так же невидимого.
Система камер TrueDepth и передовые технологии Apple легли в основу сканера лиц Face ID. Благодаря Face ID владельцы iPhone X могут снимать блокировку со смартфона, а также оплачивать покупки в цифровых магазинах и через Apple Pay одним лишь взглядом.
Безопасна ли технология Apple Face ID?
Как устроено распознавание лиц в новом Apple iPhone X и стоит ли им пользоваться?
Эта неделя изменила iPhone практически до неузнаваемости. Самое очевидное новшество – это отсутствие кнопки Home. Раз ее нет, значит, в новом флагманском смартфоне Apple нет и сканера отпечатков пальцев Touch ID. Его заменит новая система под названием Face ID.
Если вы смотрели презентацию Apple, то уже примерно представляете себе, что такое Face ID. Но мы в любом случае сначала разберем, как она работает, а потом уже обсудим нашу любимую тему – безопасность.
Что такое Apple Face ID и камера True Depth
Если очень кратко, то Apple Face ID – это система, которая использует распознавание лиц для разблокировки смартфона и подтверждения платежей. Она сравнивает лицо пользователя с картинкой, хранящейся в памяти айфона. А делает эти картинки Phone X при помощи специальной камеры True Depth Camera.
В верхней части передней панели iPhone X есть маленький островок, не закрытый огромным дисплеем и под завязку набитый различной электроникой и датчиками. Помимо обычного набора (фронтальная камера, микрофон, динамик, датчики приближения и освещенности), здесь есть инфракрасная камера, система подсветки (flood illuminator) и проектор точек (dot projector).
По сути, из них-то и состоит True Depth Camera. Она создает 3D-снимок вашего лица, а при входе в систему сверяет лицо со снимком. Вот как это работает.
Система подсветки нужна, чтобы камера смогла сделать фото получше в условиях слабой освещенности. Проектор точек проецирует на ваше лицо 30 тысяч невидимых инфракрасных точек, а инфракрасная камера фотографирует вас вместе с этими точками.
Они нужны, чтобы выделить характерные черты вашего лица, и в совокупности они образуют своеобразную 3D-карту. При первоначальной настройке Face ID вас попросят слегка покрутить головой, чтобы iPhone X запомнил, как выглядит ваше лицо с разных ракурсов.
После этого каждый раз, когда вы пытаетесь использовать Face ID, True Depth-камера будет делать снимок. Если черты лица окажутся достаточно похожи на 3D-карту из памяти телефона, вы будете признаны легитимным пользователем, то есть вам будет позволено войти в систему или подтвердить платеж в Apple Pay. Если же уровень совпадения будет недостаточным, вам предложат повторить попытку. Последовательность и логика работы здесь точно такие же, как в случае сканера отпечатков пальцев, правда, с одним немаловажным отличием.
Apple встроила в смартфон специальный сопроцессор, оптимизированный для алгоритмов машинного обучения. С его помощью система со временем будет знакомиться с вами все лучше – то есть, во-первых, чем дальше, тем быстрее она будет вас узнавать, а во-вторых, изменения прически, выражения лица или аксессуаров ее не смутят. Apple утверждает, что система узнает вас, даже если вы наденете шарф или отрастите бороду.
Функции безопасности Face ID
С тем, как работает Face ID, разобрались. Чем же она отличается от стандартных технологий распознавания лиц, которые, как мы писали раньше, не имеют ничего общего с безопасностью? Apple внедрила несколько улучшений, благодаря которым Face ID должна стать более надежной и защищенной по сравнению с другими системами.
Во-первых, Face ID не обманешь обычной фотографией: инфракрасные точки спроецируются на плоскую картинку совсем по-другому. Это выгодно отличает Face ID, например, от технологии Samsung Face Unlock, используемой в последних телефонах корейской компании.
Во-вторых, Apple утверждает, что испытала Face ID даже на масках, которые, в сущности, представляли собой копии лиц, и система прошла испытания, сумев отличить маску от человека и не допустив лишних людей к приватной информации. Фил Шиллер (Phil Schiller) из Apple утверждает, что шанс разблокировать iPhone X, обойдя защиту Face ID, составляет один на миллион. По сравнению с шансом 1 на 50 000 для сканера отпечатков пальцев Touch ID это очень неплохо.
Представители Apple также сообщили, что смартфон не получится разблокировать с закрытыми глазами или не глядя в камеру: Face ID требует концентрации. Насколько нам известно, камера True Depth не оснащена сканером радужных оболочек, но наверняка так или иначе опирается на какие-то данные о глазах, например о направлении взгляда, – по скорее всего, именно это используется для того, чтобы камера отличала точные слепки лиц от собственно лиц.
В-третьих, никто не украдет снимок вашего лица. Изображение, снятое камерой Face ID, хранится в зашифрованной памяти специального сопроцессора Apple под названием Secure Enclave. Фотографии обрабатываются только на устройстве и не отправляются на серверы Apple или куда-то еще. Вся обработка проходит внутри Secure Enclave, так что приложения их тоже не получат.
Однако Secure Enclave уже засветился в новостях, когда специалисты по безопасности нашли в нем уязвимость. Ее, конечно, залатали, но совсем не факт, что на этом уязвимости закончились. Возможно, следующая дыра позволит злоумышленникам получить доступ к вашим данным.
Сам Шиллер отметил в своем выступлении, что абсолютно надежных систем не бывает. Если судить по дизайну Face ID, новая система распознавания лиц будет надежнее традиционных систем с простой двухмерной фронтальной камерой, и, возможно, безопаснее сканера отпечатков пальцев Touch ID. Однако в самом ближайшем будущем исследователи со всего света начнут пробовать эту систему на прочность. Тогда-то мы и узнаем, насколько она защищена. К счастью, старый добрый PIN-код из шести цифр никуда не делся. PIN-код, конечно, не самое безопасное, что есть на свете, – но по крайней мере из-за него ваши биометрические данные не окажутся в руках у хакеров.
Apple и ее будущее в мире мобильной фотографии. Часть вторая
В предыдущей статье мы пробежались по технологии глубинного сканирования сцены, портретным функциям модели iPhone 7 Plus, а также портретному освещению, присущему камере iPhone 8 Plus и грядущего iPhone X. В этой части мы бросим взгляд на более эксклюзивную технологию TrueDepth, которая будет реализована только в iPhone X, а также на другие особенности, в том числе технологию машинного обучения, которая будет применяться на всех устройствах, использующих операционную систему iOS 11.
TrueDepth выводит селфи на новый уровень
На проходившей этим летом WWDC’17 Apple представила новый пакет инструментов разработчика Depth API под iOS 11 для использования и обработки различных слоев данных изображения, полученного с помощью двойной камеры iPhone 7 Plus. Компания также намекнула на разработку альтернативной технологии, которая сможет еще более точно создавать глубинную карту изображений, по сравнению с тем, что предлагает двойная камера iPhone 7 Plus.
Анимодзи и TrueDepth
У Android просто нет возможностей быстро внедрить те функции, которые может внедрить и уже внедрила Apple. Слишком много особенностей как в аппаратной, так и программной среде и слишком много производителей, создающих эти особенности. Даже производящиеся по спецификации Google смартфоны Pixel отстают в этом плане от Apple на несколько порядков.
В том же последнем Pixel 2 постарались «скопировать» портретный режим, представленный Apple еще в прошлом году, и Live Photos, которым уже года два. Разумеется, ни о каком аналоге того же портретного освещения здесь речи не идет, не говоря уже об анимодзи или том же реальном просчете глубины сцены на изображении, которые необходимы для поддержки данных функций.
TrueDepth и Face ID
Благодаря TrueDepth Apple решила ввести новую функцию аутентификации Face ID, сделав ее альтернативой Touch ID. Что интересно, критики и скептики уже принялись жаловаться на «кривую» работу Face ID, еще, собственно, даже ее не опробовав. Однако правда такова, что новая система предлагает еще более надежный способ оценки биометрических данных пользователя, по сравнению с крошечным сенсором Touch ID.
Face ID не просто «использует ваше лицо для авторизации». Система гораздо сложнее, чем может показаться на первый взгляд. Вы по-прежнему можете использовать обычный пароль безопасности для входа в систему и изменять его при желании. Но злоумышленники вряд ли смогут раздобыть трехмерное изображение вашего лица для авторизации. На демонстрационном стенде iPhone X попытка разблокировать телефон даже зарегистрированным пользователем не удалась ввиду того, что в кадре, помимо прочего, находилось лицо стороннего человека.
«Здесь важен аспект дистанции. Разблокировать телефон, когда его держит кто-то еще, практически невозможно», — прокомментировал человек, демонстрирующий устройство и в ту же секунду без труда его разблокировавший на обычном расстоянии согнутой руки. А как отмечают журналисты западного AppleInsider, процесс разблокировки с помощью Face ID пришлось даже снимать в слоу-мо, так как система работает настолько быстро, что руках авторизованного пользователя она сработала фактически мгновенно.
Система биометрической идентификации может быть отключена во всей системе iOS. Но важно отметить, что, несмотря на изначальные возгласы аналитиков и экспертов о том, что введенная еще со времен iPhone 5s биометрическая система идентификации повысит уровень уязвимости личных данных пользователей, статистика показала скорее серьезный спад в кражах устройств, использующих такие системы, но в то же время повысила внимание и озабоченность правоохранительных служб, которым теперь получить доступ к личным данным интересующих их лиц стало гораздо сложнее из-за повышения эффективности защиты.
Несмотря на кажущуюся сложность системы, правильная ее реализация на iOS показала, что она действительно может быть эффективной. Чего не скажешь об Android, где главные лицензиаты в лице Samsung и HTC, первыми представившие подобные системы, первыми же с ними и облажались, а затем быстрым темпом перейдя на неудобную систему лицевого распознавания, опять просчитались, так как ее эффективность и надежность оказались под большим вопросом.
Используя уникальную, специально разработанную и оптимизированную технологию камеры TrueDepth на iPhone X, Apple получила более эффективный инструмент, снижающий риск ложных срабатываний и существенно снижающий возможность обхода системы при биометрической идентификации. Конечно же, стоимость подобной системы сенсоров, скорее всего, оградит большинство Android-производителей от ее использования. Совсем недавно, например, Google отметила, что, по ее ожиданиям, 1/3 от всех проданных Android-смартфонов будут представлять собой устройства ценой до 100 долларов.
Несмотря на серьезные различия в ценовом весе, Apple ожидает, что ее смартфон стоимостью от 1000 долларов и выше купят более трети ее будущих клиентов (а возможно, и половина). И есть целый ряд причин, по которым пользователи захотят приобрести такое устройство, но важнее всего, что все они получат доступ к технологии TrueDepth, а это значит, что у сторонних разработчиков развяжутся руки при виде всей этой огромной базы пользователей в несколько десятков миллионов потенциальных клиентов.
В дополнение к сложностям адаптации полноценно функционирующих аппаратных сенсорных 3D-средств в своих смартфонах, Android-лицензиаты столкнулись с еще одной проблемой, которую Apple, в свою очередь, уже давно решила, – отсутствием полноценной экосистемы и реально качественных средств для демонстрации.
Как сообщали недавние отчеты, китайские производители столкнулись со сложностью адаптации 3D-сенсоров, построенных компаниями Qualcomm/Himax. Также отмечалось, что «производителям смартфонов потребуется больше времени для создания нужной экосистемы в виде прошивки, программного обеспечения и приложений, необходимых для эффективной производительности сенсорных 3D-модулей, предназначенных для поддержки таких функций, как сканирование отпечатков пальцев или сенсорного управления», делая из этого вывод, что «такие трудности становятся основным барьером перед интеграцией 3D-сенсорных технологий в смартфоны».
Android и отсутствие глубины
Попытки сторонних производителей заполнить рынок сенсорами 3D-камер для мобильных устройств ничем массовым так и не обернулись. Google работала с технологиями компании PrimeSense в течение нескольких лет в рамках своего проекта Tango, но сама пока так и не смогла убедить чувствительных к ценообразованию Android-лицензиатов адаптировать необходимые для работы этой системы технологии.
Как только Apple продемонстрировала инструмент для разработки дополненной реальности (АR) ARKit, Google тут же переименовала часть платформы Tango в «ARCore», видимо, таким образом пытаясь вернуть интерес к своей технологии за счет шума вокруг конкурента. Но опять же отсутствие установленной базы Android-устройств с поддержкой функций дополненной реальности и еще меньший запас возможности работы с глубинным анализом данных, собираемых будь то двойной камерой или любым типом сенсора глубины, в итоге не позволили к прийти к чему-то конкретному.
Кроме того, децентрализованная природа самой системы Android не только приводит к таким проблемам, как фрагментация и отсутствие оптимизации, но также и задает курс на производство сверхдешевых устройств, а не производительного оборудования и специализированных камер, необходимых для обработки сложных AR-данных, собираемых на базе камер с технологией глубинного анализа сцены. А вместо того, чтобы начать производить действительно мощное железо, Google долгие годы продвигала идею, что Android, Chrome и Pixel – это продукты, которые могут занять нижний ценовой сегмент и демонстрировать свою эффективность за счет подключения к мощным облачным сервисам. Но это, в свою очередь, породило среди народа предположение, что единственное, что реально нужно компании, так это данные о ее пользователях, в то время как вопрос возможности предложить лучшие варианты реализации продвинутых технологий своим клиентам для нее второстепенен.
Производительность процессора Apple A11 Bionic на фоне процессоров конкурентов
Как отмечают аналитики, Apple продолжает наращивать свой отрыв в повышении мощности устройств, а это, в свою очередь, приводит к тому, что iOS-устройства становятся все более и более способными к эффективной работе без необходимости наличия высокоскоростного соединения с облачными сервисами. Например, та же функция биометрической аутентификации работает полностью в локальном режиме, что коренным образом снижает риск перехвата пользовательских данных сторонними лицами.
Новый уровень глубины: Vision и CoreML
Наличие огромной вычислительной мощности вкупе с возможностью распознавать объекты, положение, движение и даже лица конкретных людей на фото делает возможным для Apple использование так называемого компьютерного зрения на своих устройствах – технологии, которая уже использовалась при обработке статичных фотографий, а теперь ставшая доступной и для использования в режиме непосредственной съемки.
Разумеется, Depth стала не единственной технологией, предназначающейся для обработки изображения на iOS. В дополнение к новым функциям, требующим наличия двух камер, а также новой технологии TrueDepth для iPhone X, выход iOS 11 сопроводился выпуском настоящего алгоритма машинного обучения, который будет использоваться камерами устройств на базе iOS 11.
Этим летом Apple отмечала, что CoreML уже работает в шесть раз быстрее, чем существующие аналоги на Android. При этом речь шла о работе на iPhone 7. Все функции нового фреймворка Apple пообещала предоставить сторонним разработчикам, желающим усовершенствовать свои приложения.
Айфон превратил моё лицо в 3D-модель. И ваше сможет
Ежедневно мы сотню раз разблокируем айфон взглядом через Face ID. Сам процесс скрыт от нас, кроме скупой анимации.
Тысячи инфракрасных точек мгновенно пробегают по лицу. Их невозможно заметить невооружённым взглядом. Но что видит сам айфон в этот момент?
Нашёл в App Store абсолютно бесплатное приложение, которое позволяет увидеть себя «глазами» системы TrueDepth в iPhone. Более того, оно создаёт вашу 3D-модель – и сохраняет её в формате для 3D-редактора на компьютере.
Ещё можно взять получившийся бюст и поставить его в дополненной реальности. Ладно, обо всём по-порядку.
Как называется приложение?
На прогу наткнулся на Reddit. Пользователь поделился 3D-моделью Homepod в дополненной реальности, а в комментах узнали, каким приложением он пользовался.
Это Capture: 3D Scan Anything, неприметная и не очень популярная софтина. Но зато абсолютно бесплатная.
Прежде чем установите, предупреждаю: Capture работает только на iPhone X, iPhone XR, Xs и Xs Max. Потому что в них есть фронтальная камера TrueDepth.
Как пользоваться Capture: 3D Scan Anything?
Так вас видит iPhone через камеру TrueDepth.
Приложение сканирует объекты через инфракрасный бластер в «горбике». То есть используется только фронтальная камера, задняя вообще не поддерживается.
Собственно, так вас видит айфон каждый раз, когда вы используете Face ID. Но у программы есть ещё одна фича.
Три первых попытки на разных людях.
Нажимаете на кнопку записи, и через три секунды Capture начинает сохранять показания инфракрасной камеры, постепенно формируя 3D-объект. Одновременно с этим сохраняется картинка с обычной фронтальной камеры, которая затем накладывается и превращается в текстуру.
В результате получается 3D-модель вашего лица. Зацените детали, особенно одежды – ничего себе точность.
Конечно, в App Store полно программ, которые воссоздают ваше лицо в 3D. Но Capture может то, на что другие не способны: «простреливать» даже до самых мелких деталей одежды и лица, включая малейшие складки на одежде или форму ушей.
В идеальных условиях Capture может создать невероятно детальную копию вас.
А что делать с моим лицом в 3D?
Получателю в iMessage нужно нажать на эту кнопку, чтобы увидеть ваше лицо в 3D или AR.
После съёмки 3D-объект можно покрутить, рассмотреть и расположить в дополненной реальности.
Бюст можно увеличить, переместить на любую высоту или поверхность – например, стол. Затем сделать фотку или скриншот.
Самое прикольное: 3D-лицо можно отправить кому угодно через iMessage или любой другой мессенджер. Получателю с iOS 12 не нужно устанавливать никаких программ. Они просто нажмут на файл и увидят лицо в 3D. Даже смогут расположить его в AR!
Если вы шарите в 3D-редакторах, файл можно перекинуть на компьютер и дальше уже сделать с лицом что угодно – хоть в игру свою добавить.
У меня получается какая-то жуть. Как правильно снимать?
Такая крипота будет, если подвигать головой.
Несколько советов далее для тех, у кого не получается сделать нормальную 3D-копию своего лица.
1. Попросите кого-нибудь сделать это за вас. Серьезно, так будет лучше. Объясните, что айфон надо держать экраном в сторону вашего лица и двигать его в пространстве медленно, будто снимаете панораму.
2. С момента начала записи не двигайтесь, не меняйте выражение лица и старайтесь всегда смотреть в одну точку.
3. Не ждите идеального результата сразу. С первого раза почти никогда не получается: очень странно как снимать самого себя с разных углов, так и держать айфон дисплеем вперёд и пытаться записать кого-то другого. Пробуйте (или просите других) повторить несколько раз. Спустя три-четыре попытки приноровитесь, это точно.
Кстати, вот он, IR-бластер. Его работа заметна только через другую камеру (снято на iPhone SE).
Лучше всего эта прога сканирует лица в любой форме, либо крупные объекты без фона. Но при желании можно снять и копию стола со всем содержимым. Просто это будет чуть сложнее.
Вот и всё. Это не реклама – просто интересная игрушка, которая работает.
Скачать Capture: 3D Scan Anything: бесплатно в App Store. Без рекламы и внутриигровых покупок.
Шикарная функция iPhone X, которую никто не заметил
iPhone X продолжает удивлять!
Одной из ключевых особенностей iPhone X стала система камер TrueDepth, которая легла в основу функция распознавания лиц Face ID. С помощью Face ID владельцы iPhone X смогут снимать блокировку со смартфона и оплачивать покупки просто посмотрев на экран устройства. Про Face ID все, разумеется, слышали, а вот про целый набор новых функций «Распознавание внимания» знают далеко не все. Рассказали подробнее об этих новых возможностях iPhone X.
Что такое «Распознавание внимания»
«Распознавание внимания» — новая функция iPhone X, которая позволяет системе камер TrueDepth в пассивном режиме отслеживать взгляд пользователя. Она может работать даже при условии, что владелец iPhone X не зарегистрировал свое лицо в Face ID и не вовсе не пользуется сканером для разблокировки устройства или оплаты покупок.
Какие возможности у «Распознавания внимания»
Камера TrueDepth может в автоматическом режиме изменять параметры iPhone X или некоторых стандартных приложений в зависимости от фокусировки внимания пользователя. Приведем несколько примеров работы функции «Распознавание внимания»:
Благодаря набору функций «Распознавание внимания» у пользователей iPhone X появится возможность не только сделать свой опыт работы со смартфоном более приятным, но и продлить время автономной работы устройства. iPhone X мгновенно реагирует на изменение положения вашего взгляда, поэтому пользоваться уникальными функциями действительно просто и удобно.
Как включить «Распознавание внимания»
Для активации набора функций «Распознавание внимания» перейдите в меню «Настройки» → «Основные» → «Универсальный доступ» и включите параметр «Распознавание внимания».
iPhone X поступит в продажу 3 ноября и только тогда точно выяснится активен ли набор функций «Распознавание внимания» по умолчанию. На текущий момент предполагается, что опция включена на iPhone X в его изначальном состоянии.