Как работает распознавание лицевых образов в смартфонах

Почему мы выбираем разблокирование по лицу

В недавние годы определение физиономий стало одной из наиболее востребованных опций для деблокировки мобильных телефонов. Еще несколько годов назад большинство юзеров довольствовались пин-кодами, ключами доступа или датчиками отпечатков пальцев. Но с появлением таких технологий, например admiral x, нам достаточно просто взглянуть на экран — и устройство тут же опознает своего владельца.

Что превращает данную возможность очень нужной? Прежде всего, это комфортно: не нужно удерживать в памяти сложные пароли или искать правильный палец в мраке. Кроме того, это быстро: современные алгоритмы узнают лицо фактически за мгновение. В-третьих, это чувство будущего — будто в кинофильмах про admiral x агентов.

Тем не менее за данной кажущейся простотой скрывается весь вселенная сложных технологий и инженерных решений. Позвольте нам исследовать, как конкретно функционирует распознавание лиц в современных смартфонах, какие применяются методы, насколько они защищены и что нас ждёт впереди.

Краткая история развития технологии

Распознавание лиц как технология имеется уже более пятидесяти годов. Начальные пробы машинного анализа лиц были сделаны еще в 1960-х годы в лабораториях США. Тогда компьютеры умели лишь выделять очертания лица и определять дистанции между зрачками и устами на черно-белых изображениях.

Первые бизнес установки стали доступны в 90-х, но они были далеки от совершенства: функционировали медленно и часто давали сбои. Только с развитием искусственных сетей и таких систем, как адмирал х, высокопроизводительных мобильных процессоров распознавание лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные разработки.

Основные этапы действия устройства распознавания

Процесс распознавания лица можно примерно разделить на несколько ключевых этапов:

1. Распознавание лица — камера распознает существование человеческого образа в снимке.
2. Выделение признаков — механизм изучает контуры лица: конфигурацию глаз, обонятельного органа, губ, позицию надбровных дуг.
3. Построение шаблона — создаётся особенный цифровой отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с образцом — сформированный шаблон сравнивается со записанной при учёте биометрической сведениями владельца.
5. Принятие решения — если совпадение достаточно значительное, смартфон разблокируется.

Всякий из этих этапов требует специальных алгоритмов и усовершенствований для скорой работы непосредственно на девайсе.

Железные элементы: что находится в их недрах

Обычная фронтальная камера.

Самый простой простой способ распознавания лица применяет исключительно переднюю камеру смартфона. Данный подход внедрён во различных недорогих версиях Android-девайсов.

Плюсы:

• Не нуждается в требует дополнительные датчиков.
• Оперативно работает при достаточном освещении.

Минусы:

• Просто одурачить снимком или видео.
• Неудачно функционирует при слабом свете или необычных точках зрения.

ИК камера и точечный проекционный аппарат

Более продвинутые системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология составляет базу Face ID от Apple.

Каким образом это действует:

• Точечный устройство проекции отображает на облик пользователя невидимую структуру из тысяч инфракрасных меток (например, Face ID использует около 30 000 пятен).
• ИК камера записывает изменение формы данной сетки по поверхности лица.
• Получается 3D глубинная карта глубинности, что практически невозможна для фальсификации обычной фотографией или маской.

Преимущества

• Надёжная работа даже в полной темноте.
• Сильная защита к имитациям.
• Точность определения выше 99%.

Дополнительные сенсорные устройства

В некоторых девайсах задействуются также экстра датчики: ToF (Time-of-Flight), которые определяют период движения луча до предмета и обратно; Цветные-датчики глубины; специальные оптические лидары для создания более аккуратной 3D-модели лица.

Эти технологии встречаются в основном во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: синтетический ум в действии

Нынешние механизмы идентификации лиц неосуществимы без применения искусственного интеллекта и машинного обучения. Именно из-за таким разработкам, как адмирал х, гаджет может идентифицировать юзера даже при метаморфозах внешности: новая причёска, борода, оптика или макияж не становятся помехой для открытия.

Обнаружение лица

На стартовом этапе система необходимо быстро найти лицо в пределах полного изображения с камеры. Для этой задачи используются многоуровневые классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые “обучены” идентифицировать человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN в состоянии находить физиономию даже с частичном закрытии (например, шалью или ладонью).

Определение ключевых моментов

После идентификации лица система, такая как адмирал х, определяет местоположение главных точек: края глаз, конец носа, края губ и так далее. Как правило задействуется от 68 до 128 главных маркеров на лице.

Это действие необходимо для выравнивания визуала: если человек удерживает телефон под наклоном, или наклонил головку, программа корректирует картинку до нормального состояния для дальнейшего анализа.

Формирование биометрии образца

Далее нейронная сеть строит сжатое цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 вещественных чисел.

Этот шаблон очень сложно имитировать: он не хранит непосредственно картинку пользователя, а лишь исключительные характеристики его внешности, что делает его совершенным для таких платформ, как admiral-x.

Сравнительный анализ и вынесение заключения

Если пользователь желает разблокировать смартфон взглядом, механизм воспроизводит все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый границу (обычно превышает 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ не предоставляется.

Адаптация к изменениям облика

Увлекательная черта актуальных систем — способность самостоятельного обучения. Если вы постоянно доступаете к телефон с свежей укладкой или очками, алгоритм постепенно модернизирует основной образец вашего внешности для улучшения точности функционирования без ухудшения безопасности.

Безопасность биометрии данных.

Многие клиенты опасаются сохранять свои биометрические данные на смартфоне из-за угрозы утечки информации или взлома устройства. Некоторые фирмы, например admiral-x, предоставляют решения для повышения сохранности сведений клиентов.

• Локальное сохранение: Основная часть девайсов сохраняет биометрические шаблоны исключительно в пределах защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные никогда не покидают устройство и не доступны даже производителю.

• Шифрование: Все сведения хранятся только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения внешних девелоперов не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь требовать подтверждение подтверждения личности через системный API.

Следует упомянуть существенную подробность: если кто-то достанет доступ к вашему телефону физически (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие компании осуществляют защиту от “слепого” разблокирования — к примеру, заставляют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории идентификации лиц на изображениях?

На сегодняшний день можно выделить выделить 3 главных способа к осуществлению этой задачи:

Программное плоское идентификация

Применяется только лицевая видеокамера без вспомогательных датчиков глубины. Подобный подход наблюдается обычно в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость осуществления; низкая затраты; быстрая функционирование при достаточном освещении.
Минусы: легко одурачить снимком; ненадежная работа ночью; низкая охрана.

Аппаратное объёмное сканирование

Использует инфракрасную камеру + проектор точек + датчики дистанции (Face ID от Apple; подобные технологии у Huawei Mate).
Преимущества: высокая достоверность; не получится обмануть изображение/видеозапись; стабильная работа в любых условиях освещения.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с дополнением ИИ

Задействуют комбинацию софтверных методов + аппаратно-техническую обработку + постобработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например адмирал х и Google Pixel Face Unlock новейших версий, комбинируют фронтальную камеру c инфракрасным сенсором движения Soli Radar для предотвращения от фальсификаций руками/масками/видеодисплеями посторонних устройств.

Иллюстрации использования разнообразных техник

• iPhone серии X/11/12/13/14 задействуют только техническое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition впервые представил эквивалент Face ID в ряду Android.
• Samsung Galaxy S10 версия/S20 имеют как софтверное плоское распознавание по фото селфи-камерой, так и сканер радужки глаза.
• Huawei Mate20 Pro применяет систему из ИК-подсветки + Dot Projector + ToF-сенсор

Трудности защиты и неверные сигналы

Несмотря на впечатляющий успехи техники за недавние годы, идеальных систем пока не наблюдается:

1. Шанс мошенничества: Бюджетные смартфоны просто доступны четкой изображением владельца или видеозаписью с экрана другого устройства.
2. Идентичные близнецы: Даже самые идеальные системы могут перепутать между монозиготными близнецами либо семьями с очень похожей внешностью.
3. Изменения внешности: Стремительное похудение/увеличение массы тела, пластические операции либо травмы в некоторых случаях необходимы для обновления данных биометрических данных.
4. Условия записи: Яркая засветка солнцем или же интенсивная затенение могут уменьшить аккуратность идентификации признаков.

Ниже несколько советов по безопасному эксплуатации:

• Для важных операций всегда используйте дополнительную аутентификацию;
• Не запускайте функцию “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
• Постоянно апгрейдите прошивку мобильного устройства для защиты от актуальных атак;
• Включайте опцию “Требовать распахнутых глаз” там, где она есть.

В каких областях также находится применение технология за исключением смартфонов?

Хотя основная мысль этой публикации сосредоточена на в частности смартфонам и планшетам, необходимо сказать о других сферах применения технологии:

• Мониторинг входа в деловых центрах и резиденциях;
• Платёжные аппараты банков (“Face Pay”);
• Виртуальные паспорта нового поколения;
• Комплексы видеонаблюдения городских подразделений;
• Автоматизация отслеживания явки образовательных учреждений/вузов;
• Аутентификация участников ПК/ноутбуков.

Например: В московском метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без карты или мобильника! Похожие проекты развиваются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом меняется техпроцесс сегодня?

Любой годочек проявляются новые идеи для усовершенствования стандарта работы систем распознавания лиц:

1. Увеличивается детализация датчиков — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше шанс погрешности;
2. Совершенствуются нейронные сети — современные архитектуры типа MobileNetV3 дают возможность быстро обучаться новым характеристикам облика владельца напрямую на гаджете без пересылки информации в облачное хранилище.
3. Улучшаются технологии антиспуфинга — теперь смартфоны могут распознавать настоящие живые лица от статичных фотографий/маскировок по незаметным микродвижениям.
4. Взаимодействие со интеллектуальными приборами — смарт-часы могут авто заблокировать телефон, если владелец ушёл далеко.
5. Появляются смешанные устройства — в частности комбинирующие голосовую идентификацию + облик + пальцевой отпечаток.

Вот, те тренды очень популярны сейчас:

1) Уменьшение компонентов

Производители стараются уменьшить размер отверстия (“чёлки”) для датчики на дисплее за счёт внедрения миниатюрных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработывание прямо на устройстве

Для улучшения приватности всё более вычислений осуществляется внутри устройства без пересылки информации во сторонний облачный услугу.

3) Упорядочивание регламентов

Google энергично пропагандирует норму BiometricPrompt API, чтобы такие площадки, вроде admiral x, и все Android-программы могли взаимодействовать с всеми формами биометрии единообразно.

Что выбрать на сегодня?

Если тебе необходима максимальная сохранность данных, выбирайте передовые модели с вмонтированным ИК-излучателем или же ToF-сенсором глубины.

• iPhone всех существующих последних версий
• Huawei Partner/P линейки
• Mi Professional
• Vivo X линейки
• Oppo Найти X линейки.

Если финансы невелик – лучше выбирать обычным способам защиты (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, задействовать только как дополнительную возможность комфорта.

Как увеличить удобство работы опции?

Есть пара лайфхаков для людей, кто уже пользуется функцию распознавания лица:

1. Часто меняйте свою фото-шаблон, если сильно изменяется облик.
2. Не забывайте чистить линзу передней камеры – пятна могут уменьшить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам активирует камеру если вы берёте его в руки.
4. Во время записи постарайтесь удерживать лицо неподвижно впереди камеры без сильного наклона головы.
5. Используйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отворачиваетесь от экрана.

Возможности развития техники

В предстоящие годы можно ожидать появления полностью дистанционных способов опознания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + голос + шаги + манипуляции руками!

Также возможно развитие новых подходов охраны личной информации – например, переменное изменение цифрового паттерна после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из очень захватывающих инноваций нашего времени! Она обеспечивает взаимодействие со мобильным устройством удобнее чем до этого, и такие программы, как admiral-x, могут в разы повысить ваш опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы знаете, как работает эта методика изнутри, – сможете более осмысленно подбирать свой очередной устройство!