Губы

Алгоритм распознавания речи по звуку научил нейросеть распознавать ее по губам
Китайские и американские исследователи разработали новый метод обучения нейросетей для распознавания речи по губам, позволивший добиться лучших результатов, чем удавалось аналогичным алгоритмам. Они предложили брать хорошо обученный алгоритм распознавания речи по аудиозаписям и использовать его в качестве учителя для алгоритма распознавания речи по видеозаписям. Благодаря такому методу нейросеть для чтения по губам может выучить некоторые закономерности и признаки, которые сложно выучить, используя только последовательность изображений. Статья о методе будет представлена на конференции AAAI 2020.

Нейросеть прочла по губам речь дикторов BBC
Разработчики из Оксфордского университета и лаборатории Google DeepMind создали систему искусственного интеллекта, которая может распознавать речь по губам в реальных условиях, причем делает она это лучше человека. Для ее обучения исследователи использовали фрагменты телепередач BBC. С текстом статьи можно ознакомиться на сайте ArXiv. 

Нейросеть LipNet читает по губам с точностью 93,4%

Чтение по губам играет важную роль в общении. Ещё эксперименты 1976 года показали, что люди «слышат» совершенно другие фонемы, если наложить неправильный звук на движение губ (см. "Hearing lips and seeing voices", Nature 264, 746-748, 23 December 1976, doi: 10.1038/264746a0).