Учёные предсказали слова человека по его взгляду

По тому, на что человек смотрит, можно определить, о чём он думает и что собирается сказать. К такому выводу пришли Морена Коко и Франк Келлер, учёные из университета Эдинбурга.

Они провели эксперимент с участием 24 добровольцев. Им демонстрировали картинки, изображающие различные сценки в помещениях, и просили описать увиденное.

Было использовано несколько основных сценариев, таких как "спальня" или "стойка регистрации в отеле". Предварительно участникам называли ключевые слова, изображённые на картинках, и просили использовать их в своём описании. В остальном, люди могли говорить всё, что захотят.

При помощи специального устройства исследователи проследили за движением глаз испытуемых.

Результаты показали, что порядок, в котором люди останавливали свой взгляд на разных объектах, в точности совпадает с порядком слов, которые они произносили. Учёные были поражены, насколько тесной (а значит, предсказуемой) оказалась связь между взглядом и речью.

Команда исследователей попробовала предугадать, что будут говорить люди в зависимости от того, куда они смотрят. Для этого они использовали специальный алгоритм, который на основании записи направления взгляда безошибочно строил правильное предложение, выбирая из 576 вариантов описания.

Полученные результаты могут быть использованы в компьютерных системах распознавания речи, считает Чансун Лю из Лаборатории языковых взаимодействий университета Мичигана, который не принимал участие в исследовании. Компьютерная "подсказка" может помочь в неоднозначных ситуациях. Например, слова "дерево" и "три" в английском языке произносятся почти одинаково. Но если человек смотрит на дерево, маловероятно, что он имеет в виду цифру.

Сейчас авторы исследования изучают визуально-языковые взаимодействия в диалоге двух людей. "Двое человек, ведущих разговор, используют одинаковые синтаксические формы, выражения, их движения глаз похожи", — поясняет Коко. Существует гипотеза, что такая координационная "мимикрия" людей важна для принятия общих решений.