Как действует определение лицевых образов в смартфонах

Почему мы предпочитаем разблокировку по лицевому распознаванию

В последние годы идентификация лиц является одной из самых популярных возможностей для деблокировки мобильных телефонов. Еще пару годов ранее основная часть пользователей обходились пин-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением подобных технологий, как admiral x, нам вполне лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь обуславливает эту конкретную функцию очень нужной? Прежде всего, это удобно: не нужно помнить сложные пароли или отыскивать верный палец в мраке. Кроме того, это мгновенно: современные программы узнают лицо практически за мгновения ока. В-третью очередь, это чувство футуристичности — словно в кинолентах про admiral x зеркало разведчиков.

Впрочем за данной видимой легкостью скрывается полный вселенная трудных техник и инженерных решений. Позвольте нам исследовать, как конкретно работает распознавание лиц в новейших мобильных телефонах, какие применяются способы, насколько они защищены и что нас ждёт впереди.

Короткая история прогресса техники

Идентификация лиц как техника присутствует уже более 50 годов. Изначальные эксперименты автоматизированного исследования облика были осуществлены еще в 1960-х годах в научных учреждениях США. Тогда вычислительные машины способны были лишь определять контуры головы и определять дистанции между зрачками и ртом на ахроматических фотографиях.

Изначальные торговые установки появились в 90-х, но они были неидеальны: функционировали медленно и часто давали сбои. Только с развитием искусственных сетей и таких площадок, как адмирал х, мощных мобильных процессоров распознавание лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным распознаванием лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и другие начали интегрировать собственные решения.

Основные стадии функционирования устройства распознавания

Процесс идентификации лица можно примерно разделить на несколько важных этапов:

1. Идентификация лиц — устройство определяет присутствие гуманного лица в изображении.
2. Извлечение характеристик — алгоритм изучает черты облика: конфигурацию зрительных органов, обонятельного органа, губ, положение бровей.
3. Построение структуры — создаётся особенный виртуальный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со образцом — сформированный шаблон сравнивается с записанной при регистрации биометрической данными владельца.
5. Принятие решения — если совпадение достаточно значительное, смартфон открывается.

Каждый из данных стадий запрашивает специальных алгоритмов и оптимизаций для оперативной работы прямо на устройстве.

Технические составляющие: что прячется внутри них

Типичная селфи камера.

Наиболее простой вариант идентификации облика задействует лишь переднюю видеокамеру смартфона. Подобный подход реализован во различных бюджетных версиях Android-девайсов.

Достоинства:

• Необходимо нуждается в дополнительные сенсоров.
• Быстро действует при качественном свете.

Слабые стороны:

• Просто ввести в заблуждение фотографией или видеозаписью.
• Неудачно действует при слабом свете или нестандартных углах обзора.

ИК фотокамера и пунктирный проектор

Более продвинутые системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология составляет базу Face ID от Apple.

Каким образом это работает:

• Точечный проектор показывает на облик пользователя невидимую решетку из тысяч инфракрасных меток (например, Face ID использует около 30 000 пятен).
• Инфракрасная устройство фиксирует изменение формы этой сетки по поверхности физиономии.
• Получается 3D карта глубинности, что почти невозможна для имитации обычной фотографией или маскировкой.

Выигрыши

• Надёжная работа даже в полной тьме.
• Высокая сопротивляемость к фальсификациям.
• Точность определения выше 99%.

Добавочные сенсорные устройства

В некоторых устройствах применяются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют период распространения света до предмета и обратно; Трехцветные-датчики глубины; специальные лазерные измерители расстояния для формирования более аккуратной 3D-модели физиономии.

Эти технологии встречаются в основном во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: синтетический ум на действии

Текущие механизмы опознания лиц неосуществимы при отсутствии применения artificial intelligence и machine learning. Именно благодаря таким технологиям, как адмирал х, гаджет в состоянии распознавать владельца даже при метаморфозах внешности: новая стрижка, растительность на лице, линзы или грим не становятся помехой для открытия.

Распознавание лица

На первом шаге алгоритм обязана быстро обнаружить образ лица внутри целого кадра камеры. Для этой задачи задействуются многоуровневые классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые натренированы находить лиц человека среди множества других объектов.

Пример: алгоритм MTCNN способен обнаруживать облик даже в случае неполном перекрытии (например, шалью или ладонью).

Выделение ключевых аспектов

После идентификации лица система, такая как адмирал х, вычисляет местоположение основных точек: края глаз, верхушка носа, края губ и так далее. Как правило используется от 68 до 128 ключевых меток на лице.

Это необходимо для нормализации картинки: если пользователь находится с смартфон под наклоненным, или наклонил головку, программа корректирует картинку до обычного угла для дальнейшего анализа.

Формирование биометрии образца

Далее искусственная сеть строит сжатое цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 флоатов.

Данный формат очень трудно подделать: он не удерживает непосредственно картинку юзера, а лишь уникальные особенности его вида, что делает его оптимальным для таких площадок, как admiral-x.

Сравнительный анализ и вынесение решения

Если юзер хочет разлочить мобильник взглядом, система воспроизводит все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный порог (обычно выше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ блокируется.

Привыкание к изменениям облика

Интересная особенность современных систем — возможность самостоятельного обучения. Если вы часто открываете мобильное устройство с обновленной укладкой или оптикой, программа постепенно освежает базовый шаблон вашего внешности для повышения точности работы без ухудшения безопасности.

Охрана биометрических данных.

Многие пользователи беспокоятся хранить свои биометрические данные на смартфоне из-за угрозы потери данных или взлома гаджета. Определенные фирмы, вроде admiral-x, предлагают решения для улучшения защиты сведений клиентов.

• Локальное сохранение: Большинство устройств сохраняет биометрические образцы исключительно внутрь защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не оставляют гаджет и закрыты в том числе изготовителю.

• Шифрование: Все сведения хранятся только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих разработчиков не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь требовать подтверждение подтверждения личности через системный API.

Необходимо отметить значимую деталь: в случае, если какой-то человек достанет физический доступ к вашему телефону (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество компании осуществляют защиту от “слепого” разблокирования — в частности, заставляют разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают виды распознавания лиц?

В настоящее время можно выделить выделить три ключевых подхода к реализации этой задачи:

Программируемое двухмерное распознавание

Используется только лицевая видеокамера без экстра датчиков дистанции. Подобный метод встречается чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность реализации; минимальная цена; оперативная функционирование при достаточном свете.
Минусы: несложно одурачить снимком; неустойчивая деятельность ночью; недостаточная безопасность.

Техническое трёхмерное сканирование

Применяет инфракрасную камеру + проекционный модуль пикселей + датчики дистанции (Face ID у Apple; подобные решения у Huawei Mate).
Плюсы: большая надёжность; нельзя подделать фото/видео; постоянная работа при любом освещении.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с интеграцией ИИ

Задействуют комбинацию программируемых методов + аппаратную обработку + последующую обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например адмирал х и Google Pixel Face Unlock новейших поколений, сочетают фронтальную камеру c ИК датчиком мобильности Soli Radar для предотвращения от подделок жестами/масками/видеодисплеями чужих устройств.

Образцы эксплуатации разнообразных методов

• iPhone модели X/11/12/13/14 используют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition в первый раз внедрил эквивалент Face ID среди Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как программное обеспечение 2D определение по снимку фронталкой, так и сканер глазного ириса.
• Huawei Mate20 Pro использует систему из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Проблемы охраны и ошибочные сигналы

Несмотря на впечатляющий прогресс технологий за последние лет, совершенных систем пока не наблюдается:

1. Шанс мошенничества: Бюджетные телефоны просто открываются четкой фотографией пользователя или же видео с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые безупречные устройства могут спутать между монозиготными близнецами либо семьями с очень схожей внешностью.
3. Трансформации внешности: Резкое снижение веса/набор веса, хирургические вмешательства или повреждения иногда необходимы для перерегистрации биометрии.
4. Условия съёмки: Яркая засветка солнечным светом или же глубокая темнота могут понизить аккуратность определения признаков.

Здесь несколько советов по надёжному применению:

• Для критически важных операций всегда используйте двухфакторную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
• Постоянно апгрейдите программное обеспечение смартфона для защиты от новых видов атак;
• Включайте функцию “Требовать открытых глаз” в тех местах, где она доступна.

В каких областях также используется технология за исключением смартфонов?

Хотя тема данной публикации касается конкретно мобильным устройствам, следует отметить альтернативных областях использования технологии:

• Мониторинг входа в деловых центрах и многоквартирных зданиях;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Цифровые удостоверения личности нового поколения;
• Системы видеомониторинга городских сервисов;
• Автоматизирование регистрации посещаемости образовательных учреждений/институтов;
• Авторизация пользователей ПК/ноутбуков.

Например: В городском метро уже испытывается система платежа проезда по лицу (“Face Pay”) — хватит пройти через барьер без пластика или мобильника! Похожие проекты осуществляются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как меняется технология в нынешнее время?

Каждый годочек возникают свежие идеи для усовершенствования стандарта работы систем распознавания лиц:

1. Увеличивается чёткость сенсоров — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше шанс ошибки;
2. Развиваются нейронные сети — новейшие конструкции типа MobileNetV3 обеспечивают возможность оперативно адаптироваться к свежим чертам внешности владельца прямо на устройстве без отправки данных в облако.
3. Развиваются способы антиспуфинга — теперь телефоны умеют отличать реальные движущиеся облики от фиксированных фото/масок по мельчайшим микродвижениям.
4. Взаимодействие со смарт-гаджетами — смарт-часы могут самостоятельно заблокировать телефон, если владелец отошёл далеко.
5. Появляются комбинированные системы — например объединяющие голосовую аутентификацию + лицо + отпечаток пальца.

Вот, которые тренды очень популярны сейчас:

1) Уменьшение компонентов

Изготовители намереваются минимизировать размер отверстия (“чёлки”) под сенсоры на экране за счёт встраивания компактных ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на устройстве

Для увеличения приватности всё больше вычислений выполняется на месте без отправки данных во сторонний облачный сервис.

3) Упорядочивание стандартов

Гугл интенсивно продвигает норму BiometricPrompt API, чтобы аналогичные платформы, как admiral x, и каждые Android-аппы были совместимы с различными типами биометрии унифицированно.

Какое решить сегодня?

В случае если вам важна предельная безопасность информации, выбирайте флагманские модели со встроенным ИК-излучателем или ToF-датчиком глубины.

• iPhone каждого новейших версий
• Huawei Mate/P Series линейки
• Xiaomi Expert
• Vivo X серии
• Oppo Найти Икс серий.

Если бюджет скромен – лучше отдавать предпочтение традиционным методам защиты (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в admiral x, применять только как опциональную возможность комфорта.

Как улучшить практичность функционирования функции?

Есть несколько хитростей для тех, кто уже использует функцию распознавания лица:

1. Периодически обновляйте свою изображение-шаблон, если кардинально трансформируется внешность.
2. Не забывайте чистить объектив передней камеры – загрязнения могут снизить точность!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам активирует камеру как только вы поднимаете его.
4. В процессе регистрационного процесса пытайтесь держать лицевую часть неподвижно напротив камеры исключая значительного наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отвернулись от дисплея.

Будущее развития техники

В предстоящие времена можно ожидать появления полностью бесконтактных способов опознания человека сразу по нескольким биометрическим данным параметрам одновременно: физиономия + голос + шаги + манипуляции руками!

Также предполагается возникновение современных методов защиты личной информации – к примеру, изменяющееся изменение диджитал образца после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из самых увлекательных инноваций нашего эпохи! Она делает общение со телефоном удобнее чем раньше, и такие программы, как admiral-x, могут в разы улучшить ваш юзерский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы понимаете, как устроена эта методика в деталях, – сможете вдумчиво выбирать свой будущий гаджет!