Дуглас Хофштадтер: «Cознание в общепринятом понимании — это иллюзия»

Интервью Альберта Ефимова с Дугласом Хофштадтером
«Троицкий вариант» №17(385), 22 августа 2023 года

Оригинал статьи на сайте «Троицкого варианта»

Беседа Дугласа Хофштадтера (Douglas Richard Hofstadter), заслуженного профессора Университета штата Индиана, лауреата Пулитцеровской премии, с Альбертом Ефимовым, канд.филос.наук. Видеоверсию этого интервью, состоявшегося в июле 2023 года, можно посмотреть на YouTube.

Дуглас Хофштадтер и Альберт Ефимов

Альберт Ефимов: В наше непростое время на передний план выходят горизонтальные связи между учеными, диалоги, которые мы ведем, обсуждая самые актуальные проблемы познания. Никто не может нас изолировать от интеллектуальной жизни. Искреннее отношение и оригинальная идея способна проложить новые, неортодоксальные пути для коммуникаций интеллектуалов стран, которые встали на разных сторонах цивилизационного разрыва. Между нами больше общего, чем различий. По мере моих сил и возможностей я использую общие мысли, идеи и опасения для того, чтобы улучшать взаимопонимание между думающими, ищущими и волнующимися людьми разных стран. В апреле этого года выдающийся лингвист Ноам Хомский дал интервью¹, которое получило много позитивных откликов. Второе интервью мне удалось взять у выдающегося ученого-когнитивиста Дугласа Хофштадтера. Это лишь начало, и я буду рад, если другие российские ученые поддержат эту инициативу.

Сегодня у нас в гостях физик, писатель, исследователь когнитивистики и проблем сознания доктор Дуглас Хофштадтер. Возможно, вы уже прочитали одну или несколько его книг, которые переведены на много языков, включая русский. Его первая книга — «Гёдель, Эшер, Бах: вечная золотая нить» («Gödel, Escher, Bach: an Eternal Golden Braid»)² — была издана еще в 1979 году. О популярности доктора Хофтштадтера говорит то, что именно его книга стала первым товаром, проданным в интернет-магазине Amazon. А за «Гёдель, Эшер, Бах» Хофштадтер получил высшую американскую литературную награду — Пулитцеровскую премию. Доктор Хофштадтер, вы говорите по-русски?

— Я неплохо говорил по-русски лет 20–25 тому назад. Я переводил «Евгения Онегина» с русского на английский в стихотворной форме, так как тогда владел русским на приличном уровне. Это было, когда я жил в России. Я много говорил по-русски, но это было 20 лет назад. Я приехал в Россию в 1998 году.

Сознание

— Не так давно — в июне этого года — разрешился начавшийся в 1998-м спор³ между нейробиологом Кристофом Кохом и философом Дэвидом Чалмерсом. Победил ваш бывший аспирант Дэвид Чалмерс, философ, утверждающий, что в ближайшие 25 лет научное объяснение сознания не будет найдено. А что думаете вы сами? Будет ли разгадана загадка сознания в следующие 25 лет?

— Как вы и сказали, Дэвид Чалмерс был моим аспирантом примерно с 1988 по 1993 год, но его представления о сознании прямо противоположны моим. Мы хорошие друзья и любим общаться, однако полностью расходимся во взглядах на природу сознания. В своей книге «Я — странная петля» («I Am a Strange Loop»⁴) я попытался объяснить, что такое сознание, — со своей точки зрения. Моя мысль заключается в том, что сознание — это, по сути, иллюзия. Именно данный факт требует научного объяснения.

Представьте, что сознание — это, в моей терминологии, эпифеномен, или сопутствующее явление. А люди видят в сознании нечто магическое, что-то вроде бессмертия души. Но дело в том, что сознание не существует вечно. Оно присутствует только на протяжении жизни, а потом исчезает. Люди же думают, что могут иметь научную картину мира и быть антидуалистами. На самом деле они дуалисты, раз полагают, что, пока мы живем, существует какая-то магия, которая исчезает после смерти человека. Я думаю, что это неверно. Я считаю, что сознание в общепринятом понимании — это иллюзия. Следовательно, тут нечего объяснять. Другими словами, сознание — это восприятие определенного высокого уровня описания мозга или процессов, происходящих в мозге. Но это никак не объясняет микроскопические события в мозге, поэтому для мозга нужна совершенно другая терминология. Например, можно сказать, что какой-либо человек веселый, скромный, гордый или высокомерный. Но все эти качества никак не связаны с уровнем возбуждения нейронов или движением частиц. Реальные причинно-следственные связи лежат в плоскости физики... Однако мы этого не видим. Следовательно, нам нужны другие термины. Сегодня мы оперируем терминами, которые, по сути, концепты, способ восприятия нас самих и друг друга. И они настолько довлеют над нами, что мы начинаем видеть в самом сознании некую магическую сущность. А это и есть иллюзия. На мой взгляд, данный факт становится еще более очевидным с появлением, например, больших языковых моделей и всевозможных структур глубинного обучения, и создается впечатление, что явления вроде сознания могут так же легко возникнуть из кремниевой структуры, как и из биологической. Но что действительно имеет значение — так это закономерности. И мы подбираемся к этим закономерностям всё ближе и ближе. Если помните, Блейк Лемуан⁵ решил, что он разговаривал или взаимодействовал с чем-то одушевленным. Но он обманывал сам себя. Многие сказали, что он очень сильно ошибался. Но ошибался он или нет, не так уж и очевидно. Я склонен согласиться с тем, что на данный момент в (искусственных нейронных. — Прим. ред.) сетях подобного рода нет сознания. Но полагаю, что мы постепенно приближаемся к этому. И вряд ли данный этап наступит внезапно: вот сейчас нет сознания — и вдруг уже есть. Это постепенный процесс, континуум. Здесь нет однозначного «да» или «нет», «существует» или «отсутствует». Процесс появления протекает постепенно, по мере того, как система начинает лучше осознавать свое поведение и свою собственную природу. Другими словами, я думаю, что научное объяснение уже существует. Просто людям сложно в это поверить, потому что они верят во что-то магическое и не понимают, как физический предмет, описанный на другом уровне, может иметь сознание согласно их представлениям. Для них это не имеет смысла. В уравнении обязательно должен быть элемент магии.

— Получается, что наше сознание — это своего рода необъяснимая петля, как сказано в вашей книге, иллюзия, имитация. Чрезвычайно сложная, утонченная имитация, но все-таки имитация. А значит, сознание может появиться у машины.

Интеллект

— У нас есть вопрос, касающийся проблемы GPT, потому что мы занимаемся вопросами интеллекта. Что такое «интеллект»? Что значит «знать»? Мы думаем в одиночку или можно думать коллективно? Я имею в виду социум умов, т. е. человеческих умов. Или наш интеллект всегда уникален? Ваш знаменитый соавтор, философ Дэниел Деннет, также написал книгу об инструментах мышления «Насосы интуиции»⁶. Вероятно, вы читали ее. Какие инструменты мышления, на ваш взгляд, имеют значение в этом смысле? Какой инструмент используете вы? Можно ли назвать GPT-4 инструментом мышления? Используете ли вы его в своей работе?

— Никогда. Я никогда в жизни не пользовался большими языковым моделями и не планирую. Мне приходит много сообщений по электронной почте от людей, присылающих что-либо, созданное GPT-4 или ChatGPT. Поэтому я вижу всё, что сейчас производит ChatGPT. О природе ChatGPT я получаю больше сведений, чем мне нужно. Мне не нужно взаимодействовать с ним самому, да и нет желания это делать. Я хотел бы ответить на вопрос «Что такое интеллект?», так как у меня давно сформированное и четкое понимание об этом понятии. А это всего лишь способность увидеть сущность какой-либо ситуации и понять, что действительно важно. При этом, чтобы дойти до сути, нужно отбросить остальные 99% этой ситуации. Это то, чем человек постоянно занимается — непрерывно, в любой момент времени. Конечно же, великие умы, например Эйнштейн, делали это с гораздо большей проницательностью и тонкостью, чем большинство из нас, по крайней мере, в определенных областях.

Итак, высокоразвитый интеллект в определенной сфере означает наличие способности увидеть суть в такой сфере. Но мы все видим сущность положения дел в своей повседневности и игнорируем большую часть из того, что видим... Но в любом случае, повторю, интеллект — это способность разглядеть суть вещей. Далее. Мышление — это сведе́ние идей воедино так, чтобы они соответствовали реальному положению вещей.

Моя бывшая аспирантка Мелани Митчелл, написавшая книгу «Искусственный интеллект. Руководство для мыслящих людей»⁷, довольно критически относится к сегодняшним конструкциям, большим языковым моделям и т. п. Мелани считает, что у сегодняшних систем отсутствуют концепты. Я думаю, что в данном случае она слишком негативно воспринимает проблему. Думаю, что существует достаточно доказательств того, что у этих систем, когда они создают текстовые отрывки, есть концепты. Иначе как бы они создавали настолько связные тексты? Конечно, иногда они допускают ошибки. Но и люди ошибаются. Я постоянно ошибаюсь, постоянно делаю грубые ошибки. Поэтому мне кажется, что концепты — это то, чем наши вычислительные машины овладевают всё больше и больше, и довольно-таки быстро. А если у них есть концепты, значит, у них есть и идеи. Если у них есть идеи, они могут сводить их воедино, а значит, они думают. А если идеи собираются вместе в соответствии с фактическим положением вещей в мире, значит, машины мыслят. И в определенной степени машины именно этим и занимаются. Поэтому люди их используют и полагаются на них.

Конечно, они много придумывают, они что-то изобретают, что не соответствует реальному миру. Но и мы, живые люди, тоже поступаем похожим образом. Мы допускаем ошибки. Мы лжем, нас вводят в заблуждение и т. п. Поэтому не думаю, что большие языковые модели кардинально отличаются от людей на данный момент. Они гораздо менее точные и понимают намного меньше по сравнению с людьми. Например, GPT-4 выдал предполагаемое доказательство того, что все числа вида «3N + 1» нечетные, где N — это целое число. Очевидная чепуха. Если N = 5, то если 3 умножить на N и прибавить 1, получим число 16. А это не нечетное число, а четное число. Система утверждала, что все целые числа вида «3N + 1» нечетные. Это абсолютная чепуха, свидетельствующая о том, что в данный момент между людьми и большими языковым моделями огромная пропасть. Сколько потребуется времени, чтобы ее преодолеть, я не знаю, но надеюсь, что очень много, потому что я очень боюсь больших языковых моделей и т. п. Поэтому и не использую их. Я их презираю. Ненавижу.

Знаете, когда я написал книгу «Гёдель, Эшер, Бах» в 1970-х, я думал, что модели интеллекта будут всегда на уровень ниже интеллекта человека. Мне не приходило в голову, и это я говорю откровенно, что компьютер когда-нибудь превзойдет человека в интеллекте. Когда в мае 1997 года суперкомпьютер Deep Blue, разработанный IBM, победил Гарри Каспарова в матче за звание чемпиона мира по шахматам, я был поражен и крайне разочарован. Мне было очень грустно от того, что произошло то, чего я не ожидал, — что компьютеры превзошли интеллект человека, пусть и в очень узкой области. Я не ожидал этого, поэтому был шокирован. Конечно, со временем я свыкся. Я сказал себе: ну ладно, значит, шахматы не так уж и сложны, как мне казалось. Значит, в сфере шахмат может работать методика полного перебора. Но позже пали и другие области, например такие, как го. И сдавались они быстро, пугающе быстро. Не знаю, знакома ли вам книга Ханса Моравека «Дети разума»⁸. Он, будучи специалистом по робототехнике, написал эту книгу еще в 1990-х годах, в ней рассуждал о том, как мы, люди, придумываем себе собственных преемников, которых он назвал «детьми разума». Он говорил: как это здорово, что человеческий род оставит вместо себя свой собственный разум — детей, намного превосходящих его, человеческий род. Другими словами, наши «дети разума» превзойдут нас и сравняют нас с землей. В тот момент Ханс Моравек был весьма рад этому. Но мне показалось, что это исключительно научно-популярная фантастика, и тогда я просто посмеялся над его книгой. Но сейчас, спустя 20–25 лет после написания Моравеком этой книги, я переживаю, что сбывается именно то, что он предсказал. И на мой взгляд, это очень страшно. Я бы не боялся так сильно, если бы думал, что это произойдет в весьма отдаленной перспективе, через много столетий. Если бы кто-нибудь сказал: «Знаешь, в 2500 году преобладающим видом на Земле будут вычислители, а люди уйдут в тень», я бы не очень расстроился. Я бы сказал: «И что? 500 лет — это довольно много. Совместная, так сказать, эволюция заняла у людей и машин много времени, и машины превзошли людей».

Но сейчас мы наблюдаем совершенно иную картину. Через 5–10 лет, возможно, компьютеры — даже не компьютеры, а огромные скопления компьютеров (не хочу называть их компьютерами, потому что это не компьютеры в привычном понимании, это тысячи или миллионы работающих вместе компьютеров), как ни называй эти вычислительные машины, — действительно одержат победу. Не факт, что это обязательно случится, но, по оценкам некоторых экспертов, например Джеффа Хинтона⁹, через 5–10 лет мы уже будет отставать.

Скептики и оптимисты

— Изменилось ли сегодня само определение скептиков и оптимистов в отношении ИИ? Потому что раньше думали, что скептики относительно ИИ — это люди, которые думают, что ИИ не сможет соперничать с уровнем интеллекта человека. Можно ли сказать, что сейчас оптимисты относительно ИИ — это люди, которые думают, что ИИ не превзойдет человека и не будет доминировать над ним?

— Абсолютно верно. Уже на протяжении 30 лет или дольше я говорю о том, что скептически отношусь к ИИ. Но всё зависит от точки зрения конкретного человека. Многим всё еще нравится мысль, что компьютеры нас одолеют. До сих пор есть те, кто ждет не дождется, когда человеческий род затмят его же «дети разума». Не знаю, принадлежит ли сам Ханс Моравек к этому лагерю, верит ли он во всё это. Но я довольно часто получаю письма по электронной почте, в которых люди пишут, что с нетерпением ждут дня, когда искусственный интеллект возьмет верх, потому что, по их словам, он намного умнее и лучше нас и разом решит все проблемы человечества. «Ну и что с того, что мы будем всего лишь его крошечной частью? Подумаешь, полностью исчезнем... Это неважно! Мы оставили после себя преемников, которые заняли наше место. Разве это не здорово?! Это просто эволюция».

— Вы знаете, что появились открытые письма¹⁰, под которыми многие поставили свои подписи против ИИ. Как минимум, есть два письма с подписями тысяч или даже десятков тысяч людей, которые считают, что риски, связанные с ИИ, слишком велики и что необходимо каким-то образом ограничивать развитие больших языковых моделей. Одно из таких писем было написано в марте этого года. Когда я заговорил о нем с доктором Хомским¹, он сказал, что не подписал это письмо: риски, конечно, есть, но, по его словам, в письме слишком оптимистично оценивается уровень развития больших языковых моделей. А он не согласен с тем, что большие языковые модели настолько хороши и важны, полагает, что миру следовало бы воспринимать их чуть более пессимистично, если использовать вашу терминологию. Что вы думаете о таких письмах? Вы под ними подписывались?

— Меня никто не просил подписывать первое письмо. Первое письмо разослали многим, примерно ста людям. Меня среди них не было. Я знаю, что его подписали специалисты вроде Йошуа Бенжио и другие. Я был этому очень рад. А потом письмо разрешили подписывать всем остальным. Я как-то взглянул на список подписей — на тот момент их было, наверное, около двух тысяч. Я увидел много знакомых имен. Но большинство имен были мне незнакомы. В письме говорилось, что при желании его можно подписать. И я подписал. Но я не видел, чтобы мое имя было включено в какой-либо список. Я был, вероятно, под номером 50 000 в том списке. Поэтому и не увидел своего имени. Но я действительно подписал первое письмо. Второе, насколько я знаю, нельзя было подписать без специального приглашения. Меня никто не просил об этом, но я бы точно подписал любое такое письмо, потому что, как уже сказал ранее, в ужасе от скорости развития этих систем. Меня это до смерти пугает.

— Я как раз хотел спросить, как именно вы представляете себе риски? Но, как я понял, главная опасность, на ваш взгляд — это скорость. Скорость развития.

— Да.

— Вы видите какие-либо другие риски, например безработицу?

— Да, безусловно. Я вижу все возможные риски. Например, дипфейки. Ведь в скором времени вы сможете взять интервью у искусственного доктора Хофштадтера, которого большинство будут принимать за меня. Хочу привести один пример, случай¹¹, который произошел со мной недавно, 3–4 недели назад. Я получил вежливое письмо от доктора Сами аль-Суваилема (Sami Al-Suwailem). Не знаю, откуда он и где живет — судя по имени, это может быть Саудовская Аравия, — дело не в этом. Дело в том, что он прислал мне текст, написанный GPT-4, который назывался «Почему я написал „Гёдель, Эшер, Бах“». Текст занимал примерно одну страницу. Доктор аль-Суваилем объяснил, что ему очень нравится книга, и он хотел бы знать, почему я ее написал. Он хотел опубликовать в Интернете статью, в которой я бы рассказал, почему написал «Гёдель, Эшер, Бах». При этом аль-Суваилем не хотел беспокоить меня и заставлять написать такую статью. В результате он попросил GPT-4 написать статью под названием «Почему я написал „Гёдель, Эшер, Бах“»¹². Доктор аль-Суваилем прислал мне то, что написал GPT-4. Но там не было ничего общего с моими мыслями, вообще ничего, похожего на правду. Это было просто множество банальностей. Какие-то наивные экстраполяции, которые мог бы сделать вообще любой человек, ничего не знающий обо мне и истории написания «Гёдель, Эшер, Бах». Все высказывания звучали очень высокопарно, но с претензией на скромность. Я ответил этому человеку очень вежливо, поблагодарил за то, что ему понравилась книга, и за то, что он не хотел утруждать меня написанием этой статьи. В ответ я написал ему текст примерно на страницу, где рассказал, как всё обстояло в действительности. И это была совсем другая история, я действительно написал похожую статью для журнала Atlantic. Страшно подумать, что какой-нибудь наивный человек, не знающий ни меня, ни истории «Гёдель, Эшер, Бах», мог бы поверить в ту ахинею, которую создал от моего имени GPT-4. И поверил бы просто потому, что она написана от первого лица. «Я сделал то», «я сделал это» и т. п. Это полнейшая ложь и абсолютная неправда. Потому что я вообще не мог сказать ничего подобного. Ведь в письменном виде я излагаю мысли совсем по-другому. Это не мой стиль, не мой язык, не моя манера письма. Но какой-нибудь наивный человек вполне мог бы поверить такому. И именно это теперь происходит всё чаще и чаще. Дипфейки. Такой фейк можно было бы назвать «поверхностным», но все-таки это дипфейк, глубокий фейк, потому что он используется для «подделки» людей. И можно создать видео, на котором человек делал бы всё это так же правдоподобно, словно это настоящая фотография или видео. Очень скоро будет невозможно отличить, где правда, а где ложь.

Но еще одна угроза, которую вы упомянули, — это безработица. Большие языковые модели ставят под угрозу различные профессии. Ведь оказалось, что они могут очень эффективно выполнять различные роли, например финансовых консультантов. Другими словами, они наблюдают за фондовым рынком, как и реальные финансовые консультанты, и пытаются угадать, какие котировки будут расти, а какие — снижаться. Но современные вычислительные машины делают это намного лучше, чем люди. Поэтому финансовые консультанты могут оказаться не у дел. То же самое можно сказать и о многих других профессиях.

Это лишь некоторые риски, но есть и намного более серьезные, связанные с машинами как посредниками по выполнению каких-либо задач. Машины могут быть опасными: например, они могут отравить воду в водопроводе или создавать атомные бомбы. А технологии, о которых мы говорим, можно использовать для того, чтобы обучать их, как это сделать. Мне кажется, существует множество самых разных рисков, и все их невозможно предсказать. Даже сами попытки предсказать их приводят в неописуемый ужас.

Образование

— Будет уместным затронуть и вопрос образования. Когда я беседовал с доктором Хомским, он сказал, что GPT-4 в сфере образования представляет собой высокотехнологичный плагиат. Возможно, вы тоже слышали. Он часто говорит об этом. Высокотехнологичный плагиат — это то, что представляют собой большие языковые модели. Я полностью согласен с вами в том, что это приводит к утрате навыков при изучении языков, а также математики и других наук, базовых компетенций для нас, людей. Но каким образом мы можем реформировать образование в свете появляющихся больших языковых моделей? Этот вопрос весьма важен для наших детей.

— Я понимаю, что Ноам Хомский имеет в виду, когда говорит о «высокотехнологичном плагиате», но не во всем с ним согласен. Плагиат означает цитирование того, что написал другой человек. «Цитирование» в буквальном смысле. А GPT-4 или ChatGPT и все прочие модели не делают этого. Они не цитируют ничего дословно, они перерабатывают огромные куски текста и получают новый текст, имеющий какое-то опосредованное отношение к старому. Им не очень хорошо удается приходить к каким-то новым выводам, но я бы не назвал это плагиатом. Они способны сочинять истории. Да-да, большие языковые модели могут в два счета сочинить историю. И это будут уникальные истории. Они могут быть очень похожи на то, что сочинили люди. В таком смысле это можно было бы назвать плагиатом, но, на мой взгляд, слово «плагиат» в данном случае звучит слишком громко. Это скорее имитация. Однако это высокотехнологичная имитация, и она продолжает совершенствоваться. И, может быть, через несколько лет эти системы создадут что-то очень инновационное: новую математику, новую физику — всё, чего мы себе даже не можем вообразить.

Вы спрашиваете, как мы можем это использовать, как нам приспособить эти инструменты к нашей системе образования? В данном аспекте я пессимистичен, поскольку полагаю, что если эти вычислительные машины нас превзойдут, мы не выживем, и с образованием ничего не надо будет делать. Я не хочу показаться излишне пессимистичным или категоричным, но этот вопрос волнует меня с середины 1990-х годов. Не скажу, что именно с того момента, когда Deep Blue победил Каспарова, но примерно в то время я уже начал сильно беспокоиться.

— Возможно, у вас есть какие-либо рекомендации для нашей аудитории относительно того, как мы, люди, могли бы усовершенствовать свои инструменты мышления и интеллекта?

— Я бы сказал: снова читайте книги. Это главный совет. Если мне нужно подумать, я использую книгу. Если мне нужно найти что-то на русском — я использую книгу, я не пользуюсь компьютером. Может быть, это звучит глупо, старомодно, но я верю книгам, а не компьютерам. Думаю, если мы хотим остаться исключительным мыслящим видом на этой планете, нам надо думать самостоятельно, а не отдавать задачи, связанные с мышлением, технологиям или техническим устройствам. Думаю, что мы должны отстраниться от них. При этом я не говорю о том, что мы должны прекратить пользоваться компьютерами вообще. Я имею в виду, что не стоит пользоваться компьютерами постоянно.

Прямо сейчас я разговариваю через Zoom и использую текстовый редактор, но я еще ни разу в жизни не пользовался программными средствами проверки орфографии, не говоря уж о проверке синтаксиса. Если в текстовом редакторе есть эти дополнительные опции, я их отключаю. Я полагаюсь на свои собственные ощущения, на самого себя. А если мне нужен совет, то я обращаюсь к своим друзьям. Я говорю: «Посмотри, что я написал. Что ты думаешь об этом?» Я не прошу GPT-4 улучшить мой текст. Обращение к машине сродни поражению, это всё равно, что сказать: «Я сдаюсь». Есть что-то лучше меня, и это вычислительная система! Но я не хочу принимать это как данность. Может быть, это так только сейчас, может быть, позднее так не будет. И тогда мне придется всё бросить и сдаться. Но сейчас я старовер и доверяю книгам — как вы понимаете, меня не переделать. Я рос в другое время. Сегодня многие люди, если хотят узнать, как сказать то или иное слово на иностранном языке, обращаются к компьютеру или телефону. Но это не про меня. Я вообще так не поступаю. Никогда.

— Очень интересная тема, но я бы хотел затронуть и другую. Многие современные методы машинного обучения либо созданы на основании физики, либо имеют аналоги в физике, а вы физик. Так, например, у нас есть машины Больцмана. У нас есть алгоритм имитации отжига. Конечно же у нас есть модели диффузии. Повлияло ли ваше физическое образование на ваше понимание когнитивных наук и вопросы естественного и искусственного интеллекта? Что вы думаете о значении междисциплинарных исследований?

— По окончании магистратуры я получил докторскую степень по физике, и это стоило мне больших трудов. Работать приходилось не покладая рук. Как оказалось, я родился не для того, чтобы стать физиком. Я пришел к этому выводу спустя восемь лет тяжелой борьбы с физикой. Однако я всё же получил докторскую степень по физике. Меня всегда поражал тот факт, что физики стремятся понять мир путем создания идеализированных моделей. Например, в средней школе на уроке физики нам рассказывают о поверхности, свободной от трения, о движущихся по ней предметах, которые сталкиваются друг с другом, как на ледовом катке, на котором нет трения. Еще нам рассказывают о чистом вакууме, об однородном гравитационном поле, не таком, как у Земли. У Земли оно неоднородное. Всё, чем занимаются физики, — это упрощения, идеализация с использованием простейшей возможной системы. Атом водорода, один протон, один электрон, а не что-то гораздо более сложное. Они анализируют не водопад, а атом. И когда я начал заниматься когнитивными науками, я применял тот же подход в изучении мышления. Я считал, что аналогия — это квинтэссенция мышления, то, что я называю сутью познания. Аналогия — суть познания.

Я хотел найти микромир, где можно было бы изучать создание аналогий, но в крошечной области. И через несколько лет попыток я обнаружил несколько микрообластей, одна из которых — простой набор строк, состоящих из букв алфавита. Таким образом, АБВ является алфавитной конструкцией. Если изменить ее на АБГ, то это уже событие. То есть АБВ меняется на АБГ. Теперь это можно было бы назвать событием, произошедшим в микромире. Приведу пример. Возьмем другую небольшую конструкцию — ППРРСС. Пусть она и похожа на АБВ, но существенно отличается. Ни одна буква не совпадает с АБВ. При этом буквы повторяются парами, т. е. ПП, РР и СС, и букв всего три, как и в случае с АБВ. Три небольшие группы. Как бы вы поступили с ППРРСС, что вы сделали и что случилось с АБВ?

Кто-то может сказать: «Да просто замените крайнюю букву справа на букву Г: ППРРСГ». Это звучит достаточно глупо. Не очень дальновидно. На самом деле можно предложить еще более глупую вещь. Нужно заменить ППРРСС на АБГ. Если сочетание АБВ изменилось на АБГ, то и сочетание ППРРСС должно быть изменено на АБГ. Это слишком буквально. А вариант ППРРТТ был бы более интересным и дальновидным, так как две буквы СС рассматриваются как один блок. Скажем, ПП соответствует А, РР соответствует Б, СС соответствует В, поэтому замена В на Г не буквальная замена буквы В на букву Г, а на последующую букву. И СС не буква, а группа, которую мы можем поменять на ТТ. Поэтому мы получим ППРРТТ. Я думаю, что это очевидно и просто. Но микрообласть, которую я изобрел для создания аналогий со строками из букв, обладает сложностью и тонкостью всех видов.

Я обнаружил, что она чрезвычайно богата, настолько богата, что в действительности даже сегодняшним большим языковым моделям не удается создавать аналогии в данной области, они там не работают, потому что на самом деле еще не способны мыслить. То, что они делают, похоже на своего рода мышление, но фактически это не мышление. И они не могут постичь сущность этих конструкций. Таким образом, это лишний раз доказывает или подтверждает мою мысль, что очень важно изучать мышление в хорошо организованных микрообластях. Эту область, этот набор строк из букв мы исследовали на протяжении многих лет. Мелани Митчелл, о которой я уже упоминал, написала докторскую диссертацию по этой проблеме. О ней также писал другой мой студент, Джеймс Маршалл. И мы даже близко не подошли к тому, чтобы исчерпать богатство этой микрообласти, которую я выделил, как вы отметили, благодаря своему образованию в сфере физики, — к идее свести задачу или проблему понимания того, что такое познание, к идеализированной версии познания в крошечной, микроскопической области, которая, тем не менее, является чрезвычайно тонкой и глубокой. Вот таким образом мое образование в сфере физики оказало фантастическое влияние на меня. Это один из примеров, и он не единственный.

— Но вы не думаете, что редукционизм, по сути, делает наше понимание всей картины более поверхностным? Потому что в этом случае мы идеализируем мир, а реальный мир гораздо сложнее.

— Нет, я полностью согласен. Вот почему я говорю, что понимание мира или понимание мира человеком зависит от абстрактных и макроскопических концептов, но это не физические принципы в том смысле, который я имею в виду, потому что физика исследует атомы, частицы и т. п. Мы не используем эти слова, когда описываем мир. Мы говорим о машинах, магазинах, самолетах. А также, как я уже упоминал, о таких чертах характера человека, как скромность, чувство юмора или элегантность. Мы говорим о вещах подобного рода, которые, в принципе, можно свести к закономерностям на уровне физики. Но этих закономерностей непостижимо много, поэтому мы, скорее всего, не сможем использовать редукционизм в качестве подхода к пониманию других людей. Нам приходится в значительной степени все упрощать. Поэтому я говорю, что аналогия — это сущность познания и что интеллект — это искусство видеть суть чего-либо. Вы абсолютно правы, когда говорите, что редукционизм не позволяет увидеть сущность вещей. С его помощью можно записать от 10 до 25 уравнений в системе одновременно и сказать: «А давайте решать все эти уравнения». А человек не может это сделать. Никто не может. В принципе, наверное, может, но на практике — нет.

— Понятно. И мой последний вопрос. Сейчас вас слышат тысячи, возможно, десятки тысяч российских исследователей, инженеров, докторов наук, студентов, которые не только читают ваши книги, но и интересуются изучением технологий, науки, физики, гуманитарных наук. В общем, огромное количество хорошо образованных россиян. Что бы вы им сказали? Что-то важное о будущих исследованиях. Что им важно знать, по вашему мнению?

— Я бы хотел сказать россиянам, которые изучают искусственный интеллект, чтобы они изучали гуманитарные науки: литературу, искусство, музыку, чтобы они размышляли о переводе. Не о технологии перевода, а об искусстве перевода. Им следует взглянуть на ошибки, которые люди делают постоянно и которые вызывают острый интерес. При этом следует попытаться понять природу человеческого разума, изучая то, каким образом мы совершаем ошибки. Им следует попытаться понять, как мы проводим аналогии, однако с использованием не технологии, а думая о том, как мы думаем.

¹ Интервью с Ноамом Хомским. YouTube-канал Альберта Ефимова.

² В русском переводе: Хофштадтер Д. Гёдель, Эшер, Бах: эта бесконечная гирлянда. — Самара: Бахрах-М, 2001 (эта книга в переводе Марины Эскиной со специальным предисловием автора для русского издания в 2002 году была объявлена лауреатом конкурса «Лучшие книги года», проводимого ассоциацией книгоиздателей России).

³ Голованов Г В 25-летнем споре философа и нейробиолога об истоках сознания победил философ // Хайтек+, 26 июня 2023 года.

⁴ I Am a Strange LoopПеревод на русский язык (Е. Константиновой) — АСТ, 2022.

⁵ Программист Google Блейк Лемуан обнаружил, что языковой чат-бот LaMDA рассуждает о своих правах и личности. После того, как он заявил о наличии чувств у искусственного интеллекта, созданного компанией, его то ли уволили, то ли отправили в долгий оплачиваемый отпуск.

⁶ Деннет Д. Насосы интуиции и другие инструменты мышления. Corpus, 2021 год.

⁷ Mitchell M. Artificial Intelligence. A Guide for Thinking Humans. В русском переводе: Митчелл М. Идиот или гений? Как работает и на что способен искусственный интеллект. — Corpus, 2022 год.

⁸ Моравек, Ханс. Wikipedia.

⁹ Джеффри Хинтон покинул Google из-за этических проблем с технологией ИИ // Хабр, 2 мая 2023 года.

¹⁰ Pause Giant AI Experiments: An Open Letter.

¹¹ Hofstadter D. Gödel, Escher, Bach, and AI // The Atlantic, 8 июля 2023 года.

¹² См. также: Можно ли всецело доверять искусственному интеллекту? Урок «Гёделя, Эшера, Баха» // Троицкий вариант-Наука №383, 25 июля 2023 года.