Новости науки > Лингвистика

Создан семантический атлас человеческого мозга

Каждое услышанное слово воспринимается конкретными участками коры больших полушарий

Каждое услышанное слово воспринимается конкретными участками коры больших полушарий, комплекс характерных возбуждений определяет его смысл. Оказалось, что эти процессы протекают по всей коре полушарий мозга и что карта смысловых значений у разных людей (правда, с похожим социолингвистическим жизненным опытом) относительно единообразна. Рисунок с сайта npr.org

Семеро испытуемых слушали двухчасовую радиопередачу, в которой читались отрывки художественных текстов. Одновременно с этим у них снимали томограммы возбуждений в коре больших полушарий мозга, разбитого на крошечные ячейки. В результате были получены временные развертки возбуждений отдельно для каждой из этих ячеек. Вся эта информация была переработана в ходе колоссального статистического анализа, что позволило откартировать отображение значений слов в коре больших полушарий. Самое важное, что семантические группы (группы слов с похожими значениями) оказались единообразно представлены у всех участников эксперимента. Вероятнее всего, сама клеточная структура коры мозга предопределяет структуру семантического нейроландшафта.

В 2010 году была опубликована интересная статья ученых из Пенсильванского университета по нейролингвистике (M. A. Just et al., 2010. A Neurosemantic Theory of Concrete Noun Representation Based on the Underlying Brain Codes). В ней излагались результаты томографического исследования мозга испытуемых, которым читали слова с сильно различающимися или похожими значениями. Авторам удалось доказать, что крупные семантические группы слов (например, слова, связанные с едой, с действиями с объектами, с домом), имеют в мозгу вполне конкретное представительство. Также выяснилось, что отдельные участки коры отвечают за распознавание длинных слов.

Семантическая репрезентация слов в мозгу по данным исследования M. A. Just et al.

Семантическая репрезентация слов в мозгу по данным исследования M. A. Just et al., 2010. A Neurosemantic Theory of Concrete Noun Representation Based on the Underlying Brain Codes

И вот через шесть лет мы можем видеть, насколько далеко продвинулись ученые, работающие в этой области. В журнале Nature обнародованы результаты команды специалистов из Калифорнийского университета в Беркли, которым удалось создать уже целый семантический атлас коры человеческого мозга. В нем размечено представительство уже не четырех, а 12 семантических областей, в которые попадают 985 самых употребимых слов английского языка, а также все другие слова, связанные с ними по смыслу.

Эта работа опирается на результаты, полученные в двух областях знаний. Во-первых, это векторное представление слов, которое вовсю эксплуатируется в различных поисковых системах в интернете. Векторное представление увязывает слова друг с другом по их совместному нахождению в конкретных текстах. Если они встречаются вместе часто, то они связаны по смыслу. Если редко, то не связаны. На этом простейшем предположении основана целая сеть серьезных методов лингвистического анализа.

В данном случае векторное представление понадобилось, чтобы распределить по семантическим областям все 10 470 слов в художественных текстах, которые в течение двух часов прослушивали испытуемые. У испытуемых во время прослушивания снимали томограммы мозга. Полученные данные фМРТ послужили основой для поиска связей между восприятием конкретных слов и активизацией нейронов. И тут вступает в силу второе необходимое условие — возможность анализировать и сравнивать колоссальные объемы информации по данным фМРТ. В данном случае необходимо было сопоставить активность нейронов в элементарных для фМРТ участках мозга — так называемых вокселах размером 2,24×2,24×4 мм — со звучанием слов.

Итак, у исследователей имелись тексты, где для каждого слова была определена конкретная семантическая область, и имелись двухчасовые развертки по фМРТ для каждого воксела, сопутствующие звучанию слов. Представьте теперь, с каким объемом информации какой сложности справились ученые.

Семантические области в мозгу одного из участников эксперимента

Семантические области в мозгу одного из участников эксперимента. Показаны левое и правое полушария снаружи (верхний ряд) и внутри (нижний ряд). Соответствие цветового кодирования вокселей и семантических категорий показано на графике справа, на котором большие слова обозначают сами категории, а маленькие слова на заднем плане — это то, что слышали испытуемые. Подробнее о распределении слов по категориям см. в дополнительных материалах к статье. Рисунок из обсуждаемой статьи в Nature

Обозначив разными цветами семантические области слов, ученые разметили теми же цветами участки мозга, которые в наибольшем числе случаев отвечали на произнесение соответствующих слов. Таким образом, получилась семантическая карта мозга. Как выяснилось, у каждого из семерых испытуемых конкретные семантические области мозга были сравнительно устойчивы: для каждой смысловой группы слов предопределен свой участок мозга (см. видео). Точнее, конечно, не участок, а участки, так как каждой семантической области соответствует целый набор участков мозга в правом и левом полушариях.

Усредненное расположение двенадцати семантических областей в коре мозга для семи испытуемых по данным фМРТ

Усредненное расположение двенадцати семантических областей в коре мозга для семи испытуемых по данным фМРТ. Рисунок из обсуждаемой статьи в Nature

Существование такого устойчивого семантического нейроландшафта означает, по мнению авторов работы, что сама врожденная клеточная архитектура коры создает жесткие предпосылки для становления нейросемантической структуры. Естественно, все испытуемые были продуктом западного американского социолингвистического общества, поэтому чрезвычайно важно и интересно изучить семантическое устройство у людей, воспитанных в другой среде.

Ясно, что созданный атлас семантических представлений — это лишь первые «сливки», которые ученые из Беркли сняли со своего массива данных. А ведь можно таким же образом поискать в этих данных корреляции с фонетическими и синтаксическими сигналами, грамматическими конструкциями и т. д. Остается лишь позавидовать тем ученым, которые возьмутся за эту работу. Тем более что методики работы с ними уже все опробованы и отлажены.

Источники:
1) Alexander G. Huth, Wendy A. de Heer, Thomas L. Griffiths, Frédéric E. Theunissen, Jack L. Gallant. Natural speech reveals the semantic maps that tile human cerebral cortex // Nature. 2016. DOI: 10.1038/nature17637.
2) Видеорезюме обсуждаемой статьи.
3) Marcel Adam Just, Vladimir L. Cherkassky, Sandesh Aryal, Tom M. Mitchell. A Neurosemantic Theory of Concrete Noun Representation Based on the Underlying Brain Codes // PLOS ONE. Published: January 13, 2010.

Елена Наймарк


14
Показать комментарии (14)
Свернуть комментарии (14)

  • aa  | 04.05.2016 | 13:25 Ответить
    Интересное направление. Особенно мне понравилось методика "геометризации" алгоритмов поиска. Однако - самое интересное еще совсем далеко - "проблема машинного понимания" так и остается нерешенной. Ведь можно написать сложный научный текст, смысл которого могут понять очень немногие и написать текст без смысла (просто набор правильных в грамматическом смысле, предложений) - и машина не отличит эти два текста в "принципиальном смысле". Конечно, если там будут явные противоречия. Поэтому, привлекать машину для оценки "истинности" данной религии (ислам, Христианство, атеизм, индуизм и прочие) еще совсем невозможно. Ведь человек склонен иногда поддаваться принципу "как хочу - так и ворочу (с информацией)". На это еще обращал внимание Феофан затворник - "есть научники, которые "воротят" наукой по своему усмотрению".
    Ведь даже оценить такие факты, как то, что только в Библии указано, каким путем передавалась информация от поколения в поколение о великих делах Бога, сделанных в Египте. Или то, что праздник Пасхи мы уже отмечаем около 2000 раза и что верование пошло не потому, что некий человек прочитал книгу (типа о Гари Потере), но сами свидетели Его воскрешения передали нам (от поколения в поколение) это знание с заповедью - исполнять праздник Пасхи каждый год. Это знание нам не пришло, как в верованиях древнего Египта, где фараоны "обосновали" свое господство над народом и не через страх природных явлений. Но как сама машина сможет например заметить то, что и так очевидно образованному человеку? К сожалению, машины использовать для этих задач еще слишком рано.
    И хотя в индуизме тоже имеется верная информация о потопе - ведь мы все потомки Ноя. Все же, когда не установлены праздники, которые связаны именно с неким историческим событием (когда астрономические события, типа полнолуния, использовалось только для привязки, но само событие (полнолуние) не являлось причиной праздника), как это есть в иудаизме и Христианстве - вопрос о "передаче информации" стает менее решенным. Но древнему Израилю было это заповедано.
    Но у человека оценка "истинности" может быть сильно искажена. Это особенно видно при общении с "упертыми альтернативщиками". Так, если человек верит, что после "коллапса вселенной" будет очередной большой взрыв, но только с участием антиматерии - насколько адекватно он оценивает истину? Здесь конечно, может играть роль его собственная необразованность и большое желание "что -либо сделать заметное" в обществе. Поэтому, привлечь машину к этому вопросу было бы интересно - но пока невозможно.
    Ответить
    • protopop > aa | 04.05.2016 | 19:05 Ответить
      Истинность религиозных догматов машина не поймёт - и правильно сделает. Что же до понимания "вообще", то в поры моей юности всерьёз полагалось, что де "ЭВМ никогда не будет играть в шахматы на уровне гроссмейстера". Нынче же программу такого уровня можно мимоходом установить на свой мобильный телефон и коротать время в долгой поездке. Также современный мобильник (не живой собеседник, а посредством программ Siri или Cortana) вполне может с вами пообщаться на разные темы - уровень вполне соответствует приподъездному трёпу кумушек. И этот уровень растёт. Так что следить надо за новостями науки и техники, а не только внимать гласу духовных наставников...
      Ответить
    • Фома > aa | 05.05.2016 | 00:56 Ответить
      А в деревне Гадюкино дожди, потоп не подвержен сомнению. Семантический атлас гадюкинцев сильно варьируется по дням недели. Листая его до пятницы, можно наткнуться на необъяснимый пробел в реакции коры апельсина на литраж вылитого, выпитого, проклятого. Пятничный вариант атласа позиционирует сигналы в чернорабочем районе мозга, именуемым британскими учёными "Того", за его толерантность и крепость до сорока градусов...
      Ответить
      • Aab > Фома | 11.05.2016 | 15:55 Ответить
        В свете вышеизложенного интересные оттенки приобретает присказка "на дню 7 пятниц" :)
        Ответить
    • Kyu > aa | 08.05.2016 | 12:12 Ответить
      "написать текст без смысла"
      Текстов без смысла не существует. Люди автоматически ищут смысл (и находят), также как они видят образы в облаках.
      Ответить
      • protopop > Kyu | 09.05.2016 | 19:00 Ответить
        Ещё как существует. Даже есть специальный научный термин - "цветной шум".
        Ответить
  • Kostja  | 04.05.2016 | 14:31 Ответить
    Как-то это романтично, у меня ассоциация с 60-ми годами.
    Ответить
    • napa3um > Kostja | 06.05.2016 | 00:07 Ответить
      Вместо "романтично" вы хотели сказать "наивно"? Да, похоже на алхимию, когда эксперимент идёт ещё сильно впереди теории. (Есть ли хоть какая-то теория о "семантических зонах" в мозгу? Коннектом уже похоронили?) Надо полагать, энтузиасты с томографами и бигдатой золото из свинца не получат, но всё равно помогут науке сбором фактов.
      Ответить
      • Kostja > napa3um | 07.05.2016 | 16:24 Ответить
        Типа да, потом это может войдет в историю, а сейчас заманчивые возможности открываются.
        Ответить
        • Kyu > Kostja | 08.05.2016 | 12:15 Ответить
          Это как успехи ботаники до изобретения мелкоскопа.
          Ответить
          • Kostja > Kyu | 08.05.2016 | 23:18 Ответить
            С компьютерами зато. Раньше таких возможностей в принципе не было.
            Ответить
  • Nycticorax  | 05.05.2016 | 12:54 Ответить
    Если честно - говорить об универсалиях если "топографировали" только англоговорящих на мой скромный взгляд чуть рано.
    Очень здорово бы проверить носителей других языков (в том числе тех, кто в принципе не владеет английским), а также билингвов - владеющих двумя языками на уровне родного.
    А затем сравнить результаты, чтобы понять степень влияния с одной стороны смысла понятий, с другой - языковых форм и оборотов.

    В итоге можно получить крайне интересные результаты - универсальные словари, построенные от семантики - как определённый фиксированный смысл отражается в разных языках, да и вообще понимание того, как работает язык и насколько существенно языковая система влияет на мышление...
    Ответить
    • napa3um > Nycticorax | 05.05.2016 | 23:54 Ответить
      О подобном исследовании уже где-то читал. Хоть и не картографировали всю семантику, но выяснили, что нативный носитель языка от иностранца, изучившего язык, отличается по характеру возбуждений коры мозга (при использовании этого языка). Возможно, на Элементах-ру и была статья.
      Ответить
    • Kyu > Nycticorax | 08.05.2016 | 12:19 Ответить
      Определённым фиксированным смыслом обладают самые неинтересные слова.
      Ответить
Написать комментарий
Элементы

© 2005–2025 «Элементы»