Как функционирует распознавание лиц в смартфонах

Для чего мы выбираем разблокирование по лицу

В недавние времена определение лиц превратилось в одной из самых популярных функций для открытия мобильных телефонов. Всего пару лет назад основная часть пользователей довольствовались пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением таких технологий, как admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Какая вещь делает эту особенность очень нужной? Во-первых, это удобно: не нужно запоминать сложные пароли или отыскивать верный палец в темноте. Кроме того, это оперативно: современные алгоритмы распознают лицо фактически за мгновения ока. В-третьем пункте, это ощущение футуризма — словно в фильмах про адмирал x агентов.

Однако за этой видимой легкостью прячется целый универсум трудных методов и инженерных концепций. Попробуем понять, как именно работает распознавание лиц в новейших смартфонах, какие существуют методы, насколько они защищены и что нас ожидает в будущем.

Короткая хроника развития инноваций

Идентификация лиц как методика имеется уже более 50 годов. Первые эксперименты машинного анализа лица были предприняты еще в 1960-х годы в научных учреждениях США. Тогда вычислительные машины могли лишь выделять силуэты головы и измерять промежутки между глазами и губами на черно-белых изображениях.

Первые бизнес системы появились в девяностых годах, но они были несовершенны: работали медленно и часто давали сбои. Только с прогрессом синтетических сетей и таких платформ, как адмирал х, сильных мобильных процессоров определение лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным распознаванием лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие стали внедрять собственные решения.

Ключевые стадии работы устройства определения

Процесс идентификации лица можно ориентировочно сегментировать на несколько важных этапов:

1. Распознавание лица — аппарат определяет наличие гуманного образа в изображении.
2. Выделение признаков — механизм изучает особенности лица: конфигурацию зрительных органов, обонятельного органа, уст, положение бровей.
3. Построение шаблона — создаётся особенный цифровой отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со эталоном — полученный шаблон сравнивается с записанной при внесении биометрической информацией владельца.
5. Принятие определения — если сходство достаточно значительное, смартфон открывается.

Любой из этих шагов запрашивает специальных процедур и усовершенствований для скорой работы непосредственно на девайсе.

Технические компоненты: что прячется в их недрах

Стандартная фронтальная камера.

Самый простой вариант определения облика использует лишь фронтальную камеру смартфона мобильного устройства. Данный способ осуществлён во различных доступных версиях Android-устройств.

Достоинства:

• Не требует внешних сенсоров.
• Быстро функционирует при хорошем освещённости.

Недостатки:

• Легко одурачить снимком или видеозаписью.
• Неправильно работает при плохом освещённости или нестандартных углах обзора.

ИК камера и пунктирный проекционный аппарат

Более продвинутые системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология лежит в основе Face ID от Apple.

Каким способом это функционирует:

• Точечный проектор отображает на физиономию пользователя невидимую сетку из тысяч инфракрасных меток (например, Face ID использует около 30 000 меток).
• Инфракрасная устройство регистрирует искривление данной решетки по поверхности лица.
• Создаётся трёхмерная карта глубины глубинности, которая почти что невозможна для имитации стандартной снимком или маскировкой.

Выигрыши

• Надёжная работа даже в полной неосвещённости.
• Высокая сопротивляемость к фальсификациям.
• Точность определения более 99%.

Дополнительные датчики

В отдельных девайсах применяются также экстра сенсорные устройства: ToF (Time-of-Flight), которые определяют период прохождения света до объекта и обратно; Цветные-датчики дальности; специальные лазерные измерители расстояния для формирования более детализированной 3D-модели физиономии.

Эти технологии используются чаще всего во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искусственный разум на работе

Современные устройства идентификации физиономий невозможны без эксплуатации искусственного интеллекта и машинного обучения. Именно вследствие таким технологиям, как адмирал х, устройство способно идентифицировать пользователя даже при изменениях внешнего вида: новая укладка, щетина, линзы или макияж не становятся помехой для деблокировки.

Распознавание лиц

В первом этапе система необходимо быстро обнаружить ликовое изображение в пределах целого снимка с камеры. Для этого задействуются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые натренированы находить лица людей среди множества других объектов.

Пример: процесс MTCNN в состоянии обнаруживать физиономию даже при неполном перекрытии (например, шарфом или ладонью).

Выделение основных моментов

После распознавания лица механизм, такая как адмирал х, устанавливает положение основных точек: уголки глаз, верхушка носа, контуры губ и так далее. Как правило применяется от 68 до 128 ключевых меток на лице.

Это действие необходимо для выравнивания картинки: если пользователь находится с смартфон под наклоном, или склонил головку, программа исправляет изображение до нормального состояния для последующего изучения.

Формирование биометрического идентификатора образца

Далее нейросеть строит сжатое числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Такой шаблон весьма затруднительно подделать: он не хранит непосредственно фото юзера, а лишь уникальные черты его облика, что делает его оптимальным для таких систем, как admiral-x.

Сравнение и осуществление решения

В случае, когда юзер хочет разблокировать мобильник глазами, система осуществляет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный уровень (обычно превышает 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ запрещается.

Привыкание к трансформациям облика

Увлекательная особенность нынешних систем — способность самостоятельного обучения. Если вы постоянно доступаете к смартфон с обновленной прической или очками, программа постепенно обновляет эталонный шаблон вашего облика для улучшения точности функционирования без ухудшения безопасности.

Охрана биометрических информации.

Множество клиенты боятся хранить свои биометрические данные на мобильном устройстве из-за угрозы утечки данных или хакерской атаки. Иные организации, такие как admiral-x, предлагают варианты для повышения защиты сведений пользователей.

• Локальное сохранение: Основная часть аппаратов сохраняет био-идентификационные модели только внутрь защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не выходят из устройство и закрыты в том числе изготовителю.

• Шифрование: Все информация сберегаются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Программы сторонних разработчиков не обладают непосредственного доступа к биометрическим; они могут лишь требовать подтверждение подтверждения личности через системный API.

Стоит подчеркнуть существенную подробность: если какой-то человек получит доступ к вашему телефону физически (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие производители внедряют защиту от неосознанного разблокирования — например, требуют разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют категории идентификации лиц?

В настоящее время можно выделить выделить 3 главных подхода к реализации этой задачи:

Программное 2D распознавание

Используется только передняя камера без экстра сенсоров глубины. Подобный метод встречается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость воплощения; низкая цена; быстрая работа при хорошем освещении.
Минусы: легко одурачить снимком; нестабильная функционирование ночью; слабая охрана.

Оборудование для трёхмерное сканирование

Применяет ИК видеокамеру + проектор пикселей + датчики глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Достоинства: значительная надежность; невозможно исказить изображение/видеозапись; устойчивая функционирование при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с ИИ-дополнением

Применяют комбинацию программируемых методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, например адмирал х и Google Pixel Face Unlock последних версий, объединяют фронталку c ИК датчиком движения Soli Radar для защиты от фальсификаций жестами/масками/видеоэкранами чужих устройств.

Иллюстрации эксплуатации разных техник

• iPhone серии X/11/12/13/14 задействуют только физическое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition первый раз внедрил аналог Face ID в числе Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как программное обеспечение плоское определение по фото селфи-камерой, так и сканер глазного ириса.
• Huawei Mate20 Pro применяет систему из ИК-освещения + Dot Projector + ToF-сенсор

Проблемы безопасности и ложные сигналы

Несмотря на замечательный успехи инноваций за последние лет, безупречных механизмов пока не существует:

1. Шанс подвоха: Недорогие смартфоны без труда доступны качественной снимком хозяина либо видеозаписью с экрана другого устройства.
2. Идентичные близнецы: Даже самые безупречные системы могут перепутать между однояйцевыми близнецами либо родичами с очень схожей внешностью.
3. Метаморфозы внешности: Резкое снижение веса/набор веса, пластические операции либо повреждения в некоторых случаях требуют перерегистрации биометрических данных.
4. Условия записи: Яркая освещённость солнцем или плотная затенение могут понизить аккуратность определения признаков.

Вот пара рекомендаций по надёжному эксплуатации:

• Для значимых операций всегда используйте двухэтапную аутентификацию;
• Не активируйте возможность “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
• Систематически апгрейдите программное обеспечение телефона для обеспечения безопасности от современных угроз;
• Включайте опцию “Требовать открытых глаз” везде, где она есть.

В каких местах также применяется технологии помимо смартфонов?

Пускай основная мысль нашей публикации касается в частности портативным гаджетам, стоит упомянуть о прочих направлениях внедрения технологии:

• Контроль прохода в деловых центрах и резиденциях;
• Платёжные терминалы банков (“Face Pay”);
• Виртуальные идентификационные документы современного типа;
• Установки видеоконтроля городских подразделений;
• Механизация учёта посещаемости учебных заведений/вузов;
• Авторизация пользователей персональных компьютеров/ноутбуков.

Например: В городском метро уже испытывается система платежа проезда по лицу (“Face Pay”) — достаточно пройти через барьер без пластика или мобильника! Схожие инициативы осуществляются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким образом изменяется техпроцесс сегодня?

Каждый годик возникают свежие концепции для усовершенствования качества работы систем лицевого распознавания:

1. Увеличивается разрешение сенсорных устройств — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше шанс ошибки;
2. Совершенствуются нейронные сети — передовые архитектуры типа MobileNetV3 дают возможность скоростно адаптироваться к дополнительным характеристикам внешности обладателя прямо на устройстве без пересылки информации в облачное хранилище.
3. Улучшаются способы антиспуфинга — теперь телефоны способны различать подлинные движущиеся лица от неподвижных фотографий/маскировок по мельчайшим движениям кожи.
4. Взаимодействие со интеллектуальными приборами — интеллектуальные часы могут авто закрыть доступ к телефон, если пользователь ушёл далеко.
5. Проявляются смешанные механизмы — в частности совмещающие аудио идентификацию + лицо + отпечаток пальца.

Итак, которые тренды особенно востребованы в данный момент:

1) Уменьшение компонентов

Компании намереваются минимизировать величину прорези (“чёлки”) под сенсоры на экране за счёт внедрения маленьких ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на аппарате

Для улучшения личной безопасности всё более вычислений выполняется на месте без пересылки данных во дополнительный облачный услугу.

3) Унификация регламентов

Google энергично продвигает эталон BiometricPrompt API, с целью чтобы такие платформы, например как admiral x, и каждые Android-приложения были совместимы с всеми формами биометрии унифицированно.

Какое подобрать на сегодня?

Если вам всем важна максимальная защита данных, выбирайте передовые устройства с вмонтированным ИК-проектором или же ToF-датчиком глубины.

• iPhone каждого актуальных версий
• Huawei Mate/P линейки
• Mi Pro
• Vivo X серии
• Оппо Найти Икс серий.

Если средства невелик – лучше отдавать предпочтение классическим средствам защиты (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, применять только как второстепенную опцию комфорта.

Каким способом улучшить практичность использования возможности?

Есть некоторые хитростей для пользователей, кто уже пользуется функцию распознавания лица:

1. Регулярно обновляйте свою фотографию-шаблон, если кардинально трансформируется внешность.
2. Не пренебрегайте очищать линзу фронтальной камеры – разводы могут понизить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам запускает фотоаппарат как только вы берёте его в руки.
4. В процессе записи постарайтесь удерживать лицевую часть ровно впереди объектива не допуская значительного наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвели взгляд от экрана.

Перспективы эволюции техники

В скоро наступающие периоды можно ожидать появления полностью безконтактных способов идентификации человека сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + голос + шаги + жесты рук!

Также предполагается появление свежих подходов охраны конфиденциальности – скажем, изменяющееся модификация диджитал шаблона после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – одна из самых захватывающих техник нашего периода! Она обеспечивает интеракцию со телефоном удобнее чем когда-либо прежде, и такие аппы, как admiral-x, могут значительно оптимизировать ваш опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы осведомлены, как работает эта методика изнутри, – будете в состоянии вдумчиво выбирать свой следующий гаджет!