Каким образом работает идентификация лиц в мобильных устройствах

Для чего мы останавливаемся на разблокировку по лицевому распознаванию

В прошлые годы распознавание лиц превратилось в одной из наиболее востребованных опций для разблокировки смартфонов. Всего пару годков ранее основная масса использующих обходились пин-кодами, паролями или сканерами отпечатков пальцев. Но с появлением таких технологий, например вулкан россия, нам достаточно лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект обуславливает эту функцию очень нужной? Для начала, это удобно: не нужно удерживать в памяти трудные пароли или отыскивать правильный палец в мраке. Также, это быстро: современные системы идентифицируют лицо практически за мгновение. В-третью очередь, это чувство футуристичности — словно в кинофильмах про вулкан автомат агентов.

Тем не менее за такой на первый взгляд несложностью таится целый универсум сложных техник и инженерных решений. Позвольте нам разобраться, как точно действует фейсканирование в актуальных мобильных телефонах, какие бывают методы, насколько они безопасны и что нас ждёт впереди.

Короткая хроника эволюции техники

Идентификация лиц как методика присутствует уже более 50 лет. Начальные попытки автоматического анализа лиц были сделаны еще в 1960-х годах в лабораториях США. Тогда компьютеры умели лишь выделять очертания лица и определять расстояния между очами и губами на черно-белых снимках.

Изначальные коммерческие платформы появились в 90-х, но они были неидеальны: функционировали медленно и нередко ошибались. Только с эволюцией нейронных сетей и таких платформ, как вулкан россии, сильных мобильных чипов распознавание лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным идентификацией лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие начали интегрировать свои разработки.

Главные стадии действия механизма определения

Процесс определения лица можно условно разделить на несколько ключевых этапов:

1. Распознавание лица — аппарат распознает существование человеческого образа в снимке.
2. Определение особенностей — механизм изучает контуры облика: конфигурацию глаз, обонятельного органа, уст, позицию надбровных дуг.
3. Построение модели — создаётся особенный электронный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение с стандартом — полученный образец сравнивается с записанной при внесении биометрической сведениями владельца.
5. Принятие решения — если совпадение достаточно высокое, смартфон разблокируется.

Всякий из этих этапов запрашивает специальных методов и оптимизаций для скорой работы непосредственно на девайсе.

Технические составляющие: что прячется внутри

Обычная селфи камера.

Самый легкий метод распознавания облика задействует лишь фронтальную камеру смартфона мобильного устройства. Такой способ осуществлён во многих бюджетных версиях Android-устройств.

Плюсы:

• Необходимо требует дополнительные сенсоров.
• Быстро действует при качественном освещении.

Недостатки:

• Легко обмануть изображением или видео.
• Неправильно работает при слабом свете или необычных точках зрения.

ИК камера и точечный проекционный аппарат

Более совершенные системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология является основой Face ID от Apple.

Каким способом это работает:

• Точечный устройство проекции отображает на облик пользователя невидимую сетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 пятен).
• ИК камера регистрирует деформацию данной сетки по плоскости физиономии.
• Формируется трехмерная глубинная карта глубины, которая почти неподвластна для подделки стандартной фотографией или маской.

Достоинства

• Надёжная функционирование даже в полной темноте.
• Высокая сопротивляемость к подделкам.
• Точность определения выше 99%.

Добавочные сенсорные устройства

В отдельных устройствах применяются также экстра сенсорные устройства: ToF (Time-of-Flight), которые фиксируют время распространения света до объекта и обратно; RGB-датчики глубины; специальные световые лидары для создания более аккуратной 3D-модели лица.

Эти инновации используются в основном во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искуственный ум в работе

Текущие устройства идентификации физиономий невозможны в отсутствие применения artificial intelligence и машинного обучения. Именно из-за таким технологиям, как вулкан россии, устройство может узнавать пользователя даже при трансформациях внешнего вида: новая причёска, растительность на лице, оптика или макияж не становятся препятствием для деблокировки.

Распознавание физиономии

При стартовом этапе алгоритм обязана оперативно обнаружить ликовое изображение среди всего кадра камеры. Для данной цели применяются каскадные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые “обучены” распознавать лиц человека среди множества других объектов.

Пример: процесс MTCNN в состоянии находить облик даже в случае частичном закрытии (например, шарфом или ладонью).

Определение ключевых аспектов

После распознавания лица система, такая как вулкан россии, вычисляет расположение главных точек: уголки глаз, конец носа, границы губ и так далее. Обычно задействуется от 68 до 128 главных точек на лице.

Это необходимо для выравнивания визуала: если пользователь удерживает мобильник под наклоненным, или повернул голову, программа исправляет изображение до обычного угла для дальнейшего анализа.

Формирование биометрического модели

Далее искусственная сеть строит компактное числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Данный образец весьма затруднительно имитировать: он не сохраняет само фото юзера, а лишь уникальные особенности его облика, что делает его идеальным для таких платформ, как vulkan russia.

Сравнение и принятие решения

Если юзер намеревается разлочить смартфон взором, система осуществляет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный порог (обычно превышает 99%), телефон, как и платформа vulkan russia, доступен; если нет — доступ запрещается.

Адаптация к трансформациям внешнего вида

Интересная особенность нынешних системы — возможность самообучения. Если вы регулярно открываете телефон с свежей прической или очками, программа постепенно модернизирует основной модель вашего внешности для повышения точности работы без снижения уровня безопасности.

Охрана биометрических информации.

Многие пользователи боятся хранить свои биометрические идентификационные данные на мобильном устройстве из-за угрозы утечки данных или взлома устройства. Иные организации, вроде vulkan russia, предлагают варианты для улучшения защиты информации клиентов.

• Локальное сбережение: Основная часть аппаратов хранит биометрические шаблоны исключительно внутри безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не оставляют гаджет и недоступны в том числе производителю.

• Шифрование: Все сведения сохраняются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Программы внешних разработчиков не обладают прямого доступа к биометрическим данным; они могут лишь запрашивать подтверждение верификации идентичности через системный API.

Следует отметить значимую подробность: в случае, если какой-то человек сможет получить физический доступ к вашему телефону (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании внедряют меры безопасности от автоматического разблокирования — к примеру, просят открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают типы распознавания лиц?

Сегодня можно различить 3 ключевых метода к осуществлению этой функции:

Программное 2D распознавание

Используется только фронтальная видеокамера без экстра детекторов глубины. Этот способ встречается чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота реализации; низкая цена; быстрая функционирование при достаточном свете.
Минусы: несложно обмануть фотографией; неустойчивая функционирование ночью; слабая защищенность.

Аппаратное 3D оцифровка

Использует инфракрасную видеокамеру + проектор пикселей + датчики глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Преимущества: значительная достоверность; невозможно исказить фото/видео; устойчивая функционирование в любых условиях освещения.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с дополнением ИИ

Используют комбинацию софтверных методов + техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, как вулкан россии и Google Pixel Face Unlock новейших поколений, комбинируют фронтальную камеру c ИК датчиком мобильности Soli Radar для защиты от фальсификаций жестами/масками/видеоэкранами чужих устройств.

Иллюстрации эксплуатации разных техник

• iPhone линейки X/11/12/13/14 используют только аппаратное трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition в первый раз внедрил подобие Face ID в числе Android.
• Samsung Galaxy S10 версия/S20 обеспечивают как софтверное 2D распознавание по снимку фронталкой, так и сканер глазного ириса.
• Huawei Mate20 Pro использует систему из ИК-инфракрасного света + Dot Projector + ToF-датчик

Проблемы безопасности и ошибочные сигналы

Несмотря на впечатляющий прогресс технологий за прошедшие годы, совершенных систем пока не имеется:

1. Вероятность обмана: Недорогие смартфоны легко “разблокируются” четкой фотографией пользователя или же роликом с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые безупречные устройства могут спутать между однояйцевыми близнецами либо семьями с очень похожей внешностью.
3. Трансформации внешности: Резкое похудение/набор веса, хирургические вмешательства либо травмы в некоторых случаях необходимы для перерегистрации биометрических данных.
4. Условия съёмки: Яркая освещённость солнечным светом либо интенсивная тень могут снизить аккуратность идентификации признаков.

Вот некоторые рекомендаций по надёжному использованию:

• Для критически важных операций всегда используйте дополнительную аутентификацию;
• Не активируйте опцию “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
• Систематически обновляйте ПО мобильного устройства для предотвращения угроз от актуальных атак;
• Включайте настройку “Требовать открытых глаз” везде, где она имеется.

В каких областях также используется технологии за исключением смартфонов?

Пускай основная мысль нашей публикации посвящена конкретно мобильным устройствам, необходимо сказать о прочих направлениях внедрения технологии:

• Управление входа в офисах и многоквартирных зданиях;
• Платёжные устройства банков (“Face Pay”);
• Виртуальные паспорта последнего типа;
• Установки видеоконтроля муниципальных служб;
• Механизация отслеживания явки учебных заведений/институтов;
• Вход участников персональных компьютеров/ноутбуков.

Например: В московском метро уже проверяется система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через турникет без карты или мобильника! Похожие программы осуществляются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким способом изменяется техпроцесс в наше время?

Всякий год появляются свежие мысли для улучшения качества функционирования систем идентификации лиц:

1. Увеличивается разрешение сенсоров — чем больше информации фиксируется видеокамерой/датчиками глубины, тем меньше шанс ошибки;
2. Совершенствуются нейронные сети — современные конструкции модели MobileNetV3 обеспечивают возможность оперативно обучаться дополнительным чертам внешности пользователя прямо на устройстве без отправки данных в облако.
3. Улучшаются способы антиспуфинга — теперь телефоны могут отличать настоящие живые облики от неподвижных снимков/маскировок по микроскопическим микродвижениям.
4. Интеграция со смарт-гаджетами — интеллектуальные часы могут авто блокировать телефон, если владелец ушёл далеко.
5. Появляются комбинированные механизмы — например комбинирующие речевую опознание + облик + пальцевой отпечаток.

Вот, те тренды особенно востребованы на сегодняшний день:

1) Миниатюризация компонентов

Изготовители намереваются минимизировать величину прорези (“чёлки”) под сенсоры на экране за счёт интеграции компактных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на аппарате

Для увеличения личной безопасности всё больше обработки данных выполняется внутри устройства без пересылки данных во внешний облачный сервис.

3) Стандартизация норм

Гугл интенсивно продвигает эталон BiometricPrompt API, с целью чтобы такие системы, как вулкан россия, и каждые Android-программы могли работать с любыми видами биометрии унифицированно.

Какое решить сегодня?

Когда вам всем важна наивысшая безопасность данных, выбирайте флагманские модели со встроенным ИК-проектором или ToF-датчиком глубины.

• iPhone всех актуальных версий
• Huawei Companion/P Series серии
• Xiaomi Pro
• Vivo X серии
• Oppo Обнаружить Икс серий.

Если средства невелик – лучше отдавать предпочтение классическим способам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в вулкан россия, задействовать только как дополнительную возможность удобства.

Как повысить практичность работы опции?

Есть некоторые советов для людей, кто уже использует разблокировку по лицу:

1. Периодически обновляйте свою изображение-шаблон, если значительно изменяется внешний вид.
2. Не упускайте из виду протирать объектив передней камеры – разводы могут понизить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам включает камеру как только вы поднимаете его.
4. При регистрационного процесса старайтесь сохранять лицо прямо впереди видеоустройства исключая сильного наклона головы.
5. Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвернулись от дисплея.

Перспективы эволюции технологии

В ближайшие годы можно ожидать возникновения полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим данным параметрам одновременно: облик + звучание + шаги + жесты рук!

Также вероятно развитие современных методов защиты личной информации – скажем, динамическое корректировка диджитал паттерна после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее интересных инноваций нашего периода! Она предоставляет интеракцию со смартфоном удобнее чем до этого, и такие аппы, как vulkan russia, могут в разы повысить ваш опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы осведомлены, как функционирует эта методика изнутри, – сможете вдумчиво подбирать свой очередной девайс!