Телепатия

Что объединяет слова, вызывающие высокую активность мозга в каждом из участков?

Слова могут объединяться по смыслу, а могут по внешнему облику.

Активность в участке A показывают слова airplane ‘самолёт’, apartment ‘квартира’, igloo ‘иглу’ и key ‘ключ’. Эти слова объединяет ассоциация с закрытыми помещениями (авторы эксперимента называют её shelter ‘убежище, укрытие’).

Активность в участке B показывают слова arm ‘рука’, key ‘ключ’, screwdriver ‘отвёртка’. Эти слова объединяет ассоциация с действиями, выполняемыми рукой (авторы эксперимента называют её manipulation ‘манипуляция, действие руками’).

Активность в участке C показывают слова corn ‘кукуруза’, cup ‘чашка’ и lettuce ‘салат’. Эти слова объединяет ассоциация с приёмом пищи (авторы эксперимента называют её food ‘еда’).

Активность в участке D показывают слова airplane ‘самолёт’, apartment ‘квартира’, lettuce ‘салат’ и screwdriver ‘отвёртка’. Эти слова, кажется, ничем не объединены по смыслу, но зато они длиннее остальных.

По утверждению исследователей, первые три фактора экологически релевантны (то есть результаты эксперимента соответствуют данным о поведении людей в реальной жизни) и значимы для выживания, а участок D отвечает за приблизительный зрительный образ напечатанного слова.

Выполним задание.

Слово 1 вызывает высокую активность в участках C и D, значит это длинное слово, связанное с едой, — refrigerator ‘холодильник’.

Слово 2 вызывает высокую активность только в участке C, значит это короткое слово, связанное с едой, — cow ‘корова’.

Слово 3 вызывает высокую активность в участке A, значит это короткое слово, связанное с идеей укрытия, — bed ‘кровать’.

Слово 4 вызывает высокую активность в участке D, значит это длинное слово, не связанное с идеями еды, движений рукой и укрытия, — butterfly ‘бабочка’.

Слово 5 вызывает высокую активность в участках B и C, значит это короткое слово, связанное с едой и движениями рукой, — spoon ‘ложка’.

Слово 6 не вызывает высокой активности ни в одном участке — это последнее оставшееся слово cat ‘кошка’.

В эксперименте, о котором идёт речь в задаче, приняли участие одиннадцать носителей английского. В качестве стимулов использовались 60 конкретных существительных, принадлежащих к разным таксономическим категориям: части тела, мебель, транспортные средства, животные, кухонные принадлежности, инструменты, здания, части зданий, одежда, насекомые, овощи, объекты, созданные человеком. Каждое слово предъявлялось испытуемым в напечатанном виде шесть раз за эксперимент. Читая слово, участники эксперимента должны были интенсивно думать о свойствах называемого им предмета. Активность в разных участках мозга регистрировалась при помощи аппарата фМРТ.

Общими для всех испытуемых оказались четыре паттерна мозговой активности:

1) Одновременная активность в области супрамаргинальной и постцентральной извилин (теменная доля), прецентральной извилины (лобная доля) и нижней височной извилины (височная доля) левого полушария — паттерн, общий для слов, называющих предметы, действия с которыми выполняются при помощи рук (например, saw ‘пила’, key ‘ключ’, spoon ‘ложка’). Интересно, что приблизительно аналогичная картина активности мозга наблюдается, когда человек по-настоящему держит в руках предметы и манипулирует ими.

2) Билатеральная активность в предклинье (теменная доля) и так называемой парагиппокампальной области мест (участок парагиппокампальной извилины, височная доля) — паттерн, наблюдаемый для группы слов, условно озаглавленной авторами «укрытие», но на самом деле включающей как объекты, предоставляющие укрытие (apartment ‘квартира’, train ‘поезд’), так и объекты, служащие для входа в укрытие (door ‘дверь’, key ‘ключ’). Те же области мозга активируются при рассматривании картинок, изображающих здания и достопримечательности, и при выполнении заданий, требующих по картинке оценить степень знакомства с локацией (например, сказать, свой или чужой офис испытуемый видит на фото).

3) Активность в области нижней и средней лобных извилин (лобная доля) и нижней височной извилины левого полушария — паттерн, наблюдаемый для группы слов, обозначающих съедобные и связанные с приёмом пищи предметы (carrot ‘морковь’, corn ‘кукуруза’, glass ‘стакан’). Зона, наиболее активная при чтении этих слов, расположена в 4,5 мм от области, отвечающей за действия, связанные с мышцами лица, такие как жевание и кусание.

4) Билатеральная активность в затылочном полюсе, медиальной затылочно-височной извилине и веретенообразной извилине (височная и затылочная доли) — паттерн, наблюдаемый для длинных слов (butterfly ‘бабочка’, screwdriver ‘отвёртка’, telephone ‘телефон’). По-видимому, в этом случае активируются участки первичной зрительной коры, генерирующие низкоуровневое визуальное представление текста.

На картинках ниже представлены слова, вызвавшие самую высокую мозговую активность в каждой из четырёх описанных категорий (рис. 1), и локализация этой активности (рис. 2).

Рис. 1. Слова, вызвавшие наибольшую активность мозга в категориях shelter ‘укрытие’, manipulation ‘действия руками’, eating ‘еда’, word length ‘длина слова’

Рис. 2. Локализация активности для слов категорий shelter ‘укрытие’, manipulation ‘действия руками’, eating ‘еда’, word length ‘длина слова’

На самом деле, части эксперимента, в которой испытуемых просили загадывать слова, не было — эту ситуацию моделировали при помощи машинного обучения. У каждого испытуемого случайным образом из шести предъявлений каждого слова выбрали четыре — и на этом датасете обучили модель (гауссовский наивный классификатор). Оставшиеся два предъявления — точнее, их среднее — объединили во второй датасет, на котором обученную модель запустили. Классификатор должен был распознать, какому слову из 60 соответствует тот или иной паттерн мозговой активности. Модель не только верно определила семантические категории, к которым принадлежали слова из второго датасета («действия руками», «укрытие», «еда»), но и смогла различить отдельные слова внутри категорий (скажем, отличить нож от ключа внутри категории «действия руками»). Больше того, оказалось, что если выкинуть вообще все предъявления двух любых слов и обучить модель на данных оставшихся 58, то она с 80-процентной точностью предскажет картину мозговой активности для двух выкинутых слов, то есть в 80% случаев правильно соединит прогнозируемую картину с картиной, полученной в ходе эксперимента. Интересно, что все испытуемые очень похоже реагировали на экспериментальные стимулы: модель, обученная на данных 10 испытуемых и запущенная на данных 11-го, верно распознавала слова по данным фМРТ во всех случаях. Подобные результаты впервые были получены с напечатанными словами — до этого в исследованиях активности мозга испытуемым всегда показывали картинки.

В другом эксперименте тех же исследователей приняли участие поздние билингвы — носители португальского, хорошо владеющие английским. Авторов интересовало, насколько схожи у билингвов паттерны мозговой активности при чтении одних и тех же слов на двух разных языках, то есть зависит ли семантическая репрезентация слова от конкретного языка. Испытуемым предъявлялись английские и португальские слова, принадлежащие к семантическим категориям «инструменты» (например, hammer/martelo ‘молоток’, saw/serra ‘пила’, pliers/alicate ‘плоскогубцы’) и «здания» (palace/palácio ‘дворец’, hut/cabana ‘хижина’, house/casa ‘дом’). Каждое слово испытуемые видели шесть раз на английском языке и шесть раз на португальском. Как и в предыдущем исследовании, ключевую роль здесь сыграло машинное обучение: классификатор, обученный на фМРТ данных английских слов, успешно соединил те же самые слова на португальском с соответствующими им данными фМРТ, и наоборот. Получается, что семантическая репрезентация понятия в мозге независима от языка — по крайней мере, до некоторой степени. Примечательно, что при чтении существительных из семантической категории «инструменты» у испытуемых были активны практически те же самые области мозга, что при чтении существительных группы «действия руками» из предыдущего эксперимента, а при чтении слов из категории «здания» — те же, что при чтении слов, обозначающих укрытие. В каждой из двух семантических категорий были как зоны активации, общие для обоих языков — их оказалось особенно много для инструментов, — так и языкоспецифичные зоны активации, которые лучше заметны для категории зданий (см. рис. 3).

Рис. 3. Зоны мозга, активные при чтении английских и португальских слов, обозначающих здания (dwellings) и инструменты (tools). Специфичные для английского зоны активности отмечены красным, специфичные для португальского — голубым, общие для обоих языков — зелёным

В 2016 году в журнале Nature появилось исследование, описывающее более точное семантическое картирование мозга. Учёным удалось локализовать уже не четыре, а целых двенадцать семантических категорий. Подробнее об этом исследовании читайте в материале Елены Наймарк: Создан семантический атлас человеческого мозга.

Литература:
1. Buchweitz, A., Shinkareva, S. V., Mason, R. A., Mitchell, T. M., & Just, M. A. (2012). Identifying bilingual semantic neural representations across languages. Brain and language, 120(3), 282–289. https://doi.org/10.1016/j.bandl.2011.09.003.
2. Just, M. A., Cherkassky, V. L., Aryal, S., & Mitchell, T. M. (2010). A neurosemantic theory of concrete noun representation based on the underlying brain codes. PloS one, 5(1), e8622. https://doi.org/10.1371/journal.pone.0008622.
3. Huth, A. G., de Heer, W. A., Griffiths, T. L., Theunissen, F. E., & Gallant, J. L. (2016). Natural speech reveals the semantic maps that tile human cerebral cortex. Nature, 532(7600), 453–458. https://doi.org/10.1038/nature17637.

Задача использовалась на XI Международной олимпиаде по лингвистике (Манчестер, 2013).

Автор задачи — Борис Иомдин.
Автор послесловия — Софья Ганиева.