Критический взгляд на анализ эмоций по фото

Недавно мы вам продемонстрировали возможность анализа эмоций по фото (см. этот пост).

Сейчас я хотел бы более критично посмотреть на данный анализ.
Возможность потокового распознавания эмоций существует достаточно давно, системы распознавания верой и правдой служат различным спец.службам и охранным структурам.

Разумеется, подобная услуга доступна и частным лицам.
В последнее время верификацией эмоций (профайлингом, если будет угодно) занимается достаточно много специалистов, разумеется, каждый кулик хвалит своё болото. В данном посте я не буду сравнивать эффективность человека и компьютера, моя цель посмотреть насколько точно алгоритм от Microsoft определяет эмоции.

В своё время я активно интересовался определением эмоций, познакомился с трудами Пола Экмана, системой FACS - Facial Action Coding System (Система Кодирования Лицевых Движений).

Думаю, что в основе алгоритма от Microsoft  лежит нечто подобное.
И так, для теста я отобрал классические фото эмоций, которые многим могут быть знакомы:

Первая эмоция: Удивление, почти 100% попадание.

Вторая эмоция - отвращение. Алгоритм распознал её как смесь из гнева и нейтрального выражения.

Радость, 100% попадание.

Гнев, алгоритм уверяет нас, что это нейтральное выражение лица. В повседневной жизни подобная ошибка может дорого обойтись.

А вот эта барышня определённо не в духе, алгоритм с нами согласен.

Страх определён точно.

Презрение, алгоритм думает, что это нейтральное выражение и немного счастья. Как по мне, так выражение лица полно наглого презрения.

Печаль, почти 100%

Я потратил несколько часов, пробовал разные варианты, я хотел найти примеры счастья. Пробовал молодых и старых, европейцев и азиатов, даже Джим Керри временами был грустным и гневным по мнению алгоритма. Каково же было моё удивление, когда я искал эмоцию презрения и нашёл вот это:

Сразу видно, человек счастлив. Ну а чего, первичные выборы уже в кармане.

Итого, алгоритм справляется с базовыми эмоциями, есть конечно проблемы, неточности и промахи. Но, в целом, я считаю, что он имеет право жизнь, с тем учётом, что он обучаем.
Было бы интересно заглянуть под капот алгоритму, надеюсь в ближайшем будущем данный пост будет иметь продолжение.
А вот это на закуску, Чак невозмутим и печален.