На первый взгляд

Обратите внимание на то, как связаны между собой результаты, предсказываемые гипотезой 1 и гипотезой 3.

(к заданию 3)

Приведем аналогию. Если носитель русского языка услышит предложение «Буратино принес золотой ...», то (согласно гипотезе 2) он посмотрит на изображение O. Услышав предложение «Я вчера пересмотрела Властелин ...», носитель русского языка (согласно гипотезе 2) посмотрит именно на изображение B, а не N, S или, скажем, D.

Обратите внимание на то, как связаны между собой результаты, предсказываемые гипотезой 2 и гипотезой 3. Можете ли вы «собрать» гипотезу 3 из гипотез 1 и 2?

Посмотрите на гипотезу 3 и предложение I drive a rocking chair: <L, A, F>. В условии задачи не указано, в какой именно момент испытуемый переводит взгляд с одного изображения на другое. В действительности это происходит так:

• испытуемый переключается с изображения 12 на изображение 1 в тот момент, когда слышит звук, обозначаемый буквой r в слове rocking;
• испытуемый переключается с изображения 1 на изображение 6 в тот момент, когда слышит звук, обозначаемый буквами ng в слове rocking.

Задание 1.

Гипотеза 1 формулируется достаточно просто:

Испытуемый переключает взгляд на конкретное изображение, когда дослушал контрольную часть целиком. До этого испытуемый не фокусирует взгляд на конкретном изображении.

Гипотеза 2 формулируется иначе:

Испытуемый выбирает то изображение, которое максимально соответствует контексту до контрольной части. После этого испытуемый не меняет направления взгляда.

Пример: I held the block tightly with the metal ...: к такому контексту больше всего подходит зажим или тиски (clamp, vise), поэтому испытуемый смотрит на изображение Q.

Гипотеза 3 является самой сложной и комплексной из трёх (зато она более точно описывает реальность). Она похожа на гипотезу 2, но с оговоркой, что испытуемый меняет направление взгляда:

В каждый момент испытуемый смотрит на то изображение, которое максимально соответствует контексту, при этом уже услышанные звуки контрольной части тоже входят в контекст. Если услышанные звуки опровергают выбор испытуемого, испытуемый переключается на другое изображение, следуя тому же принципу.

Пример: рассмотрим разные стадии восприятия предложения 3: <L, A, F>.

• I drive a ... (Я вожу ...): по контексту больше всего подходит car, auto (машина, автомобиль) – изображение L;
• I drive a r... (Я вожу р...): догадка car, auto опровергнута (если, конечно, испытуемый не видит в изображении L машину марки Renault), поэтому испытуемый переключается на самое вероятное продолжение текущего контекста — rocket (ракету), изображение A;
• I drive a rocking ... (непереводимо в рамках эксперимента): догадка rocket опровергнута, испытуемый переключается на единственно возможное продолжение текущего контекста — rocking chair (кресло-качалку), изображение F.

Также проделаем этот мысленный эксперимент для предложения 6: <Q, G, I>.

• I held the block tightly with the metal ... (Я крепко держу брусок с помощью металлическ...): по контексту больше всего подходит clamp, vise (зажим, тиски), изображение Q.
• I held the block tightly with the metal p... (непереводимо в рамках эксперимента): догадка clamp, vise опровергнута, испытуемый переключается на самое вероятное продолжение текущего контекста — pan (сковорода), изображение G.
• I held the block tightly with the metal pant... (Я крепко держу брусок с помощью металлических брю...): догадка pan опровергнута, испытуемый переключается на единственно возможное текущего контекста — pants (брюки), изображение I.

Задание 2.

Гипотеза 1:

(2) = <?, Q>. Сначала испытуемый не определился, потом дослушал до конца предложение, clamp — изображение Q.

(4) = <?, V>. Сначала испытуемый не определился, потом дослушал до конца предложение, carpet — изображение V.

Гипотеза 2:

(1) = <O>: к контексту I locked the door with a ... подходит ключ.

(3) = <C>: к контексту This fish is a ... подходит изображение C.

(5) = <V> или, с меньшей вероятностью, <E>: к контексту This floor needs a ... подходит ковёр или, возможно, лампа.

Гипотеза 3:

(6) = <V>: к контексту This floor needs a ... подходит ковёр (картинка V). Звуки, составляющие контрольную часть, никак эту догадку не опровергают.

Задание 3.

«Mary had a little lamb» — одна из самых известных детских американских песенок, с которой с детства знакомо подавляющее большинство носителей английского языка.

Приведем первую строфу в первоначальной версии американской писательницы Сары Джозефы Хейл. Эта версия была опубликована в 1830 году в издательстве (издательство Marsh, Capen & Lyon):

Mary had a little lamb,
Its fleece was white as snow,
And everywhere that Mary went
The lamb was sure to go.

He followed her to school one day —
That was against the rule,
It made the children laugh and play,
To see a lamb at school.

Также приведем два куплета из более известной версии, которая позже была создана композитором Лоуэллом Мейсоном и положена на музыку:

Mary had a little lamb,
Little lamb, little lamb,
Mary had a little lamb
Its fleece was white as snow.

And everywhere that Mary went,
Mary went, Mary went,
Everywhere that Mary went
The lamb was sure to go.

Задание 4.

К контексту Mary had a little ... максимально подходит lamb, то есть ягненок — картинка U. Однако последний звук в слове lamp опровергает эту догадку, и испытуемый смотрит на единственную картинку, которая соответствует контрольной части, — (E). Таким образом, пропуск (7) = <U, E>.

Метод регистрации движений глаз — айтрекинг — широко распространен в самых разных областях исследований. За последние пару десятилетий устройства, с помощью которых осуществляется наблюдение за движениями глаз, — айтрекеры — стали гораздо более удобными в использовании (в первую очередь для участников таких экспериментов). Сейчас технология стремительно развивается, а области ее применения включают медицину, когнитивные науки (в том числе психологию и лингвистику), маркетинг, исследования движений глаз в спорте или за рулём транспортного средства. Даже внутри лингвистики направления айтрекинговых исследований очень разнообразны: от исследований чтения до невербальной коммуникации.

Как устроено человеческое зрение? Через роговицу (переднюю часть наружной оболочки глаза) и хрусталик (прозрачное тело в виде двояковыпуклой линзы, преломляющее и фокусирующее свет) лучи света попадают на внутреннюю оболочку глаза — сетчатку (рис. 1). Сетчатка содержит светочувствительные рецепторы; наиболее плотно они расположены в области центральной ямки, получившей название фовеа.

Рис. 1. Строение глаза человека

В процессе зрительного восприятия глаз ориентируется таким образом, чтобы локализовать изображение в фовеальной области — её размеры ограничены примерно 2° от линии взгляда (рис. 2). В этой зоне глаз лучше всего обнаруживает и идентифицирует объекты. На уровне 2–15° выделяют ближнюю периферию, на 15–25° — среднюю; в ней затруднена категоризация объектов и слабеет способность опознавать кратковременные события. На дальней периферии (25–35°) объекты всё ещё хорошо обнаруживаются, но плохо классифицируются. На экстремальной периферии (свыше 35°) глаз ещё способен обнаружить объекты, но уже не может их опознать.

Рис. 2. Фовеальная и периферийные зоны зрения. 50° — предел видимости выше линии взгляда, 70° — ниже линии взгляда

Важной особенностью зрения является то, что глаз никогда не задерживается на одном месте долго. Даже при относительно неподвижном положении он производит микродвижения, не всегда поддающиеся регистрации.

Хотя интерес к изучению движений глаз возник еще до нашей эры (среди ученых, так или иначе занимавшихся этим вопросом, Аристотель, Гален, арабский средневековый ученый Ибн аль-Хайсам — «отец оптики», Леонардо да Винчи, Уильям Портерфилд — автор «Трактата о глазе», впервые описавший фовеальную область), современную его историю принято отсчитывать с XIX века. До изобретения айтрекеров ученым приходилось ограничиваться простым наблюдением; тем не менее именно тогда были заложены основы будущих исследований. Так, в 1879 году французский учёный Луи Эмиль Жаваль впервые обратил внимание на неравномерность движений глаз во время чтения и выделил два типа движений — саккады (быстрые перемещения) и фиксации (короткие остановки). Во время саккад (их продолжительность составляет всего 30–60 мс) глаз человека почти не способен воспринимать окружающий мир; восприятие происходит только во время фиксаций.

Первый прибор для регистрации движений глаз при чтении был создан в 1908 году американским учёным Эдмундом Хьюи (Edmund Huey). Участникам исследования приходилось надевать подобие контактных линз с небольшим отверстием для зрачка; линзы были прикреплены к алюминиевой указке, изменявшей своё положение синхронно с глазным яблоком. В 1930-е годы в Америке психологом Басвеллом был создан первый бесконтактный аппарат: он записывал на плёнку световые лучи, отражавшиеся от глаз испытуемых во время чтения (рис. 3). С помощью этого аппарата Басвелл, в частности, обнаружил значительную разницу между движениями глаз во время чтения вслух и про себя (при чтении вслух увеличивается длительность фиксаций).

Рис. 3. Аппарат Басвелла

Первые отечественные аппараты для регистрации движений глаз тоже были контактными и присоединялись непосредственно к глазному яблоку. Так выглядел (рис. 4) айтрекер, с которым в 1960-х годах работал Альфред Лукьянович Ярбус — советский учёный-физиолог и один из основателей окулографии в России.

Рис. 4. Аппарат Ярбуса

Голова испытуемого фиксировалась в металлической рамке, а во рту он должен был держать пластину, вылитую по форме его зубов. На склере глаза крепилась резиновая присоска с радиоантенной. Аппарат Ярбуса не имел аналогов и позволял достичь достаточно высокой точности измерений, но широкого распространения из-за сложности в использовании не получил.

Исследования Ярбуса были посвящены влиянию задачи, поставленной испытуемому, на направления движений глаз. Его эксперименты показали, что, в зависимости от задания, только небольшая часть элементов изображения привлекает внимание испытуемого.

Мини-задача

Ниже вы видите картину Репина «Не ждали» (рис. 5) — её рассматривали участники экспериментов Ярбуса. Попробуйте угадать, как кривые движений глаз соотносятся с инструкциями, полученными участниками (рис. 6).

Рис. 5. Картина И. Е. Репина «Не ждали»

Рис. 6. Кривые движений глаз участников за три минуты рассматривания картины

Задания (в перепутанном порядке):

А. Запомните одежду, в которую одеты персонажи картины.
Б. Оцените возраст персонажей картины.
В. Запомните положение персонажей и объектов в комнате.
Г. Оцените, сколько времени герой картины провел вдали от семьи.
Д. Оцените материальное положение членов семьи.
Е. Что делали персонажи до прихода нежданного гостя?
Ж. Рассмотрите картину (без специального задания).

Ответ

1	2	3	4	5	6	7
Ж	Д	Б	Е	А	В	Г

Современные айтрекеры, как правило, используют бесконтактные технологии. Устройства могут быть как стационарными, так и мобильными.

В стационарных установках изображение предъявляется на экране монитора, а лоб и подбородок испытуемого фиксируются на опоре (раньше, как в экспериментах Ярбуса, использовались персональные зубные слепки). Такие айтрекеры (рис. 7) способны достичь максимально возможной на данный момент точности измерений — до 2000 Гц (количество кадров, производимых айтрекером за секунду). В первую очередь они используются для исследований чтения.

Рис. 7. Айтрекер Eyelink

В последних моделях стационарных айтрекеров фиксация головы может отсутствовать. Сам айтрекер, как правило, выглядит как панель, закреплённая под монитором. Одним из способов визуализации данных, полученных со стационарного айтрекера, являются «тепловые карты», отражающие длительность фиксаций или их количество (рис. 8).

Рис. 8. Тепловая карта, показывающая количество и длительность фиксаций

Мобильные айтрекеры фиксируются на голове испытуемого и представляют собой очки или шлем с вмонтированными видеокамерами — одна камера записывает то, на что смотрит испытуемый, а вторая при помощи отражённого света фиксирует изображение глаза. Такие устройства удобно использовать в исследованиях вождения, естественной коммуникации, маркетинговых и спортивных исследованиях. Правда, они значительно уступают стационарным установкам в частоте регистрации (всего 30–60 Гц) и не способны отображать «тепловые карты».

Несмотря на постоянно совершенствующуюся технологию, айтрекинговые исследования остаются одними из самых дорогих и трудоёмких в психолингвистике.

Основные направления психолингвистических исследований с помощью айтрекинга — это изучение процессов чтения и исследования в парадигме «Визуальный мир» (о ней будет рассказано ниже).

На видео ниже представлена запись процесса чтения, произведённая стационарным айтрекером:

Заметны различия между чтением ребёнка на родном шведском языке и неродном английском: фиксации становятся дольше, число регрессивных саккад (возвращения взгляда к уже прочитанному тексту) увеличивается, высокочастотные короткие слова (предлоги, артикли) реже пропускаются взглядом, взгляд чаще фиксируется на одном слове несколько раз (при чтении на родном языке это происходит со сложными для обработки словами). Можно увидеть, как при чтении вслух глаза опережают голос — примерно на 500 мс.

Количество символов, распознаваемых за одну фиксацию во время чтения (оно называется функциональным полем), несимметрично относительно центра этой фиксации. В среднем для языков с алфавитной письменностью размер функционального поля составляет 3–4 позиции слева от центра фиксации и 14–15 справа (в языках с направлением письменности справа налево функциональное поле, соответственно, шире слева, чем справа). Размер функционального поля определяется при помощи метода движущегося окна: все символы за его пределами вокруг каждой фиксации заменяются на Х, визуально похожие или случайные буквы или любые другие символы, искусственно ограничивая функциональное поле читающего. При доступности 3–4 позиций слева и 14–15 справа скорость чтения практически не отличается от обычной; при уменьшении движущегося окна скорость значительно падает.

Часть функционального поля за пределами непосредственно фиксации (приблизительно с 5-й по 15-ю позиции) попадает в парафовеальную область. В этой области глаз уже успевает вычленить некоторые характеристики слов — это называется парафовеальной обработкой. Исследования парафовеальной обработки часто проводятся методом невидимой границы: в предложении выбирается ключевое слово, перед которым располагается условная граница. Пока глаза читающего находятся перед ней, ключевое слово на экране заменено другим словом. Как только глаза пересекают границу, изначально показанное слово меняется на ключевое. Так как во время саккад зрительная информация не обрабатывается, манипуляция остаётся незамеченной, при этом оказывая влияние на суммарное время прочтения.

Метод регистрации движений глаз при чтении также применяется в синтаксических и дискурсивных исследованиях — например, при исследовании разрешения синтаксической неоднозначности (в предложениях типа Преступник застрелил служанку актрисы, которая стояла на балконе) или неоднозначности референциальной (к кому из участников ситуации относятся использованные местоимения: Известный писатель всё чаще радовался за единственного сына. Наконец он почувствовал уверенность в завтрашнем дне).

Помимо исследований процессов чтения, в психолингвистических айтрекинговых исследованиях широко распространена так называемая парадигма «Визуальный мир» (Visual World Paradigm). Именно к ней относится эксперимент, которому посвящена задача. В исследованиях, проводимых в этой парадигме, участники рассматривают, трогают или передвигают предметы реального или виртуального мира, следуя инструкциям (обычно предварительно записанным на диктофон).

Классический дизайн эксперимента в парадигме «Визуальный мир» (рис. 9) выглядит так: перед испытуемым на экране компьютера или на специальной доске находятся несколько объектов (как минимум четыре). Инструкции могут содержать просьбу найти объект (Где собачка?), передвинуть его, могут также задействовать несколько объектов (Положи лягушку на салфетку).

Рис. 9. Парадигма «Визуальный мир» (из архива И. А. Секериной)

Из предъявляемых испытуемому объектов (рис. 10) два объекта, как правило, созвучны и составляют когортную пару: объект-мишень и объект-конкурент (первые звуки в его названии совпадают с первыми звуками в названии объекта-мишени). Так, в представленном в задаче эксперименте одну из когортных пар образуют слова lamp ‘лампа’ и lamb ‘ягнёнок’. Названия оставшихся объектов обычно максимально непохожи на названия в когортной паре — их называют объектами-дистракторами. В зависимости от задач исследования, наряду с объектом-конкурентом с фонетически созвучным началом может использоваться конкурент с созвучным окончанием слова (рифма) или семантически близкий объект.

Рис. 10. Пример набора стимульных объектов: мишень — чайка, фонетический конкурент — чайник, семантический конкурент — пингвин, дистрактор — зонтик

Парадигма «Визуальный мир», как и айтрекинг процессов чтения, может использоваться в исследованиях разрешения синтаксической неоднозначности: так, в одном из исследований участники получали задания вида Put the frog on the napkin into the box ‘Положи лягушку, сидящую на салфетке, в коробку’, начало которых ошибочно интерпретировалось ими как Put the frog on the napkin ‘Положи лягушку на салфетку’.

Одной из новейших сфер применения айтрекинга в лингвистике являются исследования мультимодальной коммуникации — компонентов общения, связанных не только с вербальной и просодической (интонационной) информацией, но и жестами, мимикой, направлением взгляда. Важной задачей мультимодальной лингвистики является создание мультимодальных корпусов, включающих речь, направление взгляда, жесты рук и тела. С появлением мобильных айтрекеров исследования мультимодальной коммуникации перешли на новый уровень, так как использование стационарных айтрекеров плохо совместимо с ситуацией естественного общения.

Функции направления взгляда в естественной коммуникации были подробно описаны еще 50 лет назад в работах Адама Кендона (Adam Kendon): (1) мониторинг позы, мимики и движений собеседника; (2) регуляторная функция — смена реплик в диалоге, «передача хода» слушающему; (3) экспрессивная функция (выражение эмоций); (4) взаимный взгляд, глазной контакт.

Интересно, что в ходе эволюции человеческий глаз, вероятно, адаптировался к тому, чтобы облегчить собеседнику распознавание направления взгляда: в отличие от абсолютного большинства приматов, у человеческих глаз белые склеры, на фоне которых выделяются зрачки, и удлинённая по горизонтали форма.

Литература:
1. Алексеева С.В., Слюсарь Н.А. Эффект длины при парафовеальной обработке слов во время чтения // Вестник Томского государственного университета. Филология. 2017. №45.
2. Фёдорова О.В. Основы экспериментальной психолингвистики: Метод регистрации движений глаз. М.: МГУ, 2020.
3. Ярбус А.Л. Роль движения глаз в процессе зрения. М.: Наука.
4. Kendon A. 1967. Some functions of gaze direction in social interaction // Acta Psychologica. 26. P. 22–63.
5. Rayner K. 1998. Eye movements in reading and information processing: 20 Years of Research // Psychological Bulletin 124(3). P. 372–422.

Задача (в измененной версии) использовалась на 1 туре Североамериканской олимпиады по компьютерной лингвистике (NACLO) в 2021 году.

Автор задачи — Том МакКой
Автор послесловия — Юлия Панченко
Задача и решение переведены и адаптированы для носителей русского языка Ильей Погодаевым