Каким образом работает распознавание лиц в смартфонах

Зачем мы предпочитаем разлочивание по лицевому распознаванию

В прошлые времена определение лиц превратилось в одной из наиболее востребованных опций для открытия умных телефонов. Всего несколько годов ранее основная часть юзеров довольствовались пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением таких технологий, как admiral x, нам вполне лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Что делает данную функцию очень нужной? Для начала, это удобно: не нужно помнить замысловатые пароли или находить нужный палец в мраке. Во-вторых, это оперативно: современные алгоритмы распознают лицо практически за доли секунды. В-третьих, это чувство футуризма — будто в кинофильмах про адмирал х казино шпионов.

Однако за этой видимой простотой таится полный вселенная комплексных технологий и инженерных решений. Давайте разобраться, как именно действует идентификация по лицу в новейших мобильных телефонах, какие бывают технологии, насколько они защищены и что нас ожидает в будущем.

Короткая повествование эволюции инноваций

Распознавание лиц как техника присутствует уже более пятидесяти годов. Изначальные попытки автоматизированного исследования лица были осуществлены еще в 1960-х годах в исследовательских центрах США. Тогда ЭВМ умели лишь выделять контуры лица и измерять промежутки между зрачками и ртом на монохромных фотографиях.

Начальные бизнес платформы возникли в 1990-х годах, но они были далеки от совершенства: работали медленно и часто давали сбои. Только с прогрессом синтетических сетей и таких систем, как адмирал х, мощных мобильных процессоров распознавание лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и другие начали внедрять личные решения.

Главные шаги функционирования системы определения

Процесс определения лица можно условно сегментировать на несколько важных этапов:

1. Обнаружение лиц — аппарат определяет существование человеческого образа в изображении.
2. Выделение признаков — алгоритм анализирует черты лица: конфигурацию глаз, обонятельного органа, губ, положение бровей.
3. Построение структуры — создаётся неповторимый электронный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со образцом — полученный модель сверяется со сохранённой при учёте биометрической сведениями владельца.
5. Принятие решения — если совпадение достаточно существенное, смартфон открывается.

Всякий из этих шагов запрашивает специальных методов и усовершенствований для оперативной работы прямо на устройстве.

Железные компоненты: что прячется внутри них

Стандартная передняя камера.

Наиболее простой способ определения физиономии использует лишь лицевую видеокамеру смартфона. Такой способ внедрён во многочисленных бюджетных версиях Android-устройств.

Плюсы:

• Не нуждается в потребляет дополнительные датчиков.
• Быстро действует при достаточном освещении.

Отрицательные стороны:

• Несложно обмануть фотографией или видеозаписью.
• Плохо работает при слабом освещении или необычных углах обзора.

ИК фотокамера и пунктирный проекционный аппарат

Более продвинутые системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика является основой Face ID от Apple.

Как это работает:

• Точечный проекционный прибор показывает на облик использующего невидимую решетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 пятен).
• ИК устройство регистрирует изменение формы этой сетки по плоскости физиономии.
• Формируется трехмерная карта глубинности, которая почти неподвластна для фальсификации типичной фотографией или маскировкой.

Преимущества

• Надёжная деятельность даже в полной тьме.
• Сильная устойчивость к подделкам.
• Точность распознавания свыше 99%.

Добавочные сенсорные устройства

В определённых аппаратах используются также экстра сенсоры: ToF (Time-of-Flight), которые фиксируют период прохождения света до предмета и обратно; Трехцветные-датчики глубины; специальные оптические измерители расстояния для создания более точной 3D-модели физиономии.

Эти инновации используются чаще всего во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искусственный разум в действии

Современные устройства идентификации лиц неосуществимы без использования искусственного интеллекта и machine learning. Именно из-за таким технологиям, как адмирал х, аппарат способно распознавать владельца даже при изменениях внешнего вида: новая стрижка, борода, очки или макияж не становятся барьером для деблокировки.

Обнаружение лиц

На начальном стадии алгоритм обязана мгновенно обнаружить образ лица среди полного снимка камеры. Для данной цели задействуются многоуровневые классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые “обучены” распознавать лиц человека среди множества других объектов.

Пример: процесс MTCNN в состоянии распознавать облик даже при частичном перекрытии (например, шалью или ладонью).

Идентификация основных аспектов

После идентификации лица устройство, такая как адмирал х, определяет положение главных точек: кончики глаз, верхушка носа, контуры губ и так далее. Обычно используется от 68 до 128 ключевых меток на лицевой области.

Это необходимо для стабилизации визуала: если пользователь находится с мобильник под наклоненным, или склонил головку, программа корректирует изображение до стандартного положения для дальнейшего анализа.

Формирование биометрического идентификатора шаблона

Далее нейросеть строит уплотненное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 флоатов.

Данный формат очень сложно имитировать: он не хранит непосредственно фото пользователя, а лишь исключительные особенности его внешности, что делает его идеальным для таких площадок, как admiral-x.

Сравнение и осуществление решения

Если человек хочет разлочить телефон взглядом, программа осуществляет все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный уровень (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ блокируется.

Адаптация к трансформациям внешности

Увлекательная характеристика современных систем — возможность самостоятельного обучения. Если ты часто открываете телефон с обновленной прической или оптикой, алгоритм постепенно обновляет эталонный модель вашего внешности для повышения точности работы без ухудшения безопасности.

Защита биометрических информации.

Большинство пользователи опасаются держать свои биометрические данные на мобильном устройстве из-за риска утечки данных или хакерской атаки. Определенные организации, например admiral-x, предоставляют варианты для повышения безопасности информации пользователей.

• Локальное сбережение: Большинство аппаратов хранит био-идентификационные шаблоны лишь внутри защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают аппарат и закрыты в том числе производителю.

• Шифрование: Все информация сохраняются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция программ: Программы третьих девелоперов не имеют непосредственного возможности доступа к биометрическим; они могут лишь требовать факт подтверждения личности через системный API.

Стоит подчеркнуть важную деталь: если какой-то человек сможет получить доступ к вашему телефону физически (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители внедряют меры безопасности от неосознанного разблокирования — к примеру, требуют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют категории идентификации лиц?

Сегодня можно выделить определить три основных метода к выполнению этой операции:

Программное 2D определение

Эксплуатируется только передняя камера без экстра сенсоров глубины. Такой способ используется наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность осуществления; умеренная цена; оперативная деятельность при качественном освещении.
Минусы: легко ввести в заблуждение фотографией; нестабильная деятельность ночью; недостаточная охрана.

Техническое 3D оцифровка

Задействует ИК видеокамеру + проектор пикселей + датчики дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Преимущества: значительная достоверность; не получится обмануть изображение/видеозапись; стабильная деятельность в любых условиях освещения.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с интеграцией ИИ

Применяют комбинацию программируемых методов + техническую обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие товары, например адмирал х и Google Pixel Face Unlock последних поколений, комбинируют фронтальную камеру c инфракрасным сенсором движения Soli Radar для предотвращения от подделок жестами/масками/видеоэкранами чужих устройств.

Иллюстрации использования разнообразных техник

• iPhone линейки X/11/12/13/14 используют только физическое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition первый раз внедрил подобие Face ID среди Android.
• Samsung Galaxy S10/S20 обеспечивают как программное двухмерное идентификацию по снимку фронталкой, так и сканер ириса глаза.
• Huawei Mate20 Pro задействует набор из ИК-освещения + Dot Projector + ToF-датчик

Трудности охраны и неверные тревоги

Несмотря на замечательный развитие инноваций за последние годы, безупречных систем пока не имеется:

1. Вероятность обмана: Доступные мобильники просто открываются качественной фотографией хозяина или видео с экрана другого устройства.
2. Идентичные близняшки: Даже самые безупречные устройства могут спутать между однояйцевыми близнецами либо родственниками с очень похожей внешностью.
3. Метаморфозы внешнего вида: Резкое снижение веса/набор веса, пластические операции либо повреждения иногда необходимы для перерегистрации биометрических данных.
4. Условия съёмки: Яркая освещённость солнцем или же плотная затенение могут понизить верность определения признаков.

Здесь несколько рекомендаций по защищённому применению:

• Для важных операций всегда внедряйте дополнительную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
• Постоянно обновляйте ПО смартфона для обеспечения безопасности от актуальных атак;
• Включайте настройку “Требовать раскрытых глаз” там, где она имеется.

Где дополнительно используется технология помимо смартфонов?

Несмотря на то, что основная мысль нашей статьи касается именно мобильным устройствам, стоит упомянуть о других сферах применения технологии:

• Управление доступа в рабочих помещениях и резиденциях;
• Платёжные терминалы банков (“Face Pay”);
• Электронные удостоверения личности нового типа;
• Установки видеонаблюдения городских подразделений;
• Автоматизация регистрации посещаемости школ/институтов;
• Аутентификация пользователей персональных компьютеров/ноутбуков.

Например: В столичном метро уже испытывается система оплаты проезда по лицу (“Face Pay”) — хватит пройти через турникет без карты или телефона! Похожие инициативы развиваются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким способом трансформируется технический процесс в нынешнее время?

Каждый годочек возникают новые мысли для усовершенствования стандарта функционирования систем идентификации лиц:

1. Увеличивается детализация датчиков — чем больше элементов фиксируется фотоаппаратом/датчиками глубины, тем меньше риск неточности;
2. Развиваются нейронные сети — передовые конструкции вида MobileNetV3 позволяют оперативно осваивать новым особенностям внешности владельца напрямую на гаджете без пересылки информации в облачное хранилище.
3. Совершенствуются технологии антиспуфинга — теперь мобильные устройства умеют различать настоящие анимированные лица от статичных фотографий/маскировок по мельчайшим движениям кожи.
4. Взаимодействие со смарт-гаджетами — умные часы могут авто закрыть доступ к телефон, если владелец ушёл далеко.
5. Возникают гибридные устройства — в частности комбинирующие аудио аутентификацию + облик + пальцевой отпечаток.

Вот, которые тренды особенно популярны в данный момент:

1) Сокращение элементов

Изготовители намереваются минимизировать габариты выреза (“чёлки”) под датчики на экране за счёт внедрения миниатюрных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на девайсе

Для улучшения приватности всё более расчётов выполняется локально без передачи информации во дополнительный облачный услугу.

3) Унификация норм

Гугл активно продвигает норму BiometricPrompt API, с целью чтобы подобные площадки, например как admiral x, и каждые Android-программы были совместимы с всеми формами биометрии стандартизированно.

Какое решить сегодня?

В случае если вам всем важна максимальная защита информации, подбирайте флагманские устройства с интегрированным ИК-проектором или ToF-сенсором глубины.

• iPhone каждого последних поколений
• Huawei Partner/P Series ряда
• Xiaomi Professional
• Vivo X серии
• Oppo Find X линейки.

Если финансы скромен – лучше предпочесть традиционным средствам безопасности (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в admiral x, задействовать только как опциональную возможность комфорта.

Каким образом увеличить практичность функционирования опции?

Есть пара советов для людей, кто уже использует разблокировку по лицу:

1. Регулярно обновляйте свою изображение-шаблон, если сильно трансформируется облик.
2. Не пренебрегайте протирать объектив фронтальной камеры – пятна могут снизить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам включает камеру если вы поднимаете его.
4. В процессе регистрации пытайтесь сохранять лицо прямо напротив видеоустройства не допуская сильного наклона головы.
5. Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отворачиваетесь от дисплея.

Возможности прогресса техники

В скоро наступающие периоды можно предполагать появления полностью безконтактных способов опознания человека сразу по нескольким биометрическим параметрам одновременно: лицо + речь + походка + манипуляции руками!

Также вероятно появление новых способов обеспечения конфиденциальности – например, изменяющееся модификация цифрового шаблона после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее интересных технологий нашего эпохи! Она делает интеракцию со телефоном удобнее чем до этого, и такие аппы, как admiral-x, могут существенно оптимизировать ваш юзерский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы осведомлены, как работает эта система в деталях, – сможете более осмысленно определять свой следующий гаджет!