Моральные проблемы беспилотных автомобилей не имеют универсального решения

Рис. 1. Пример моральной дилеммы из проекта Moral Machine. Пользователь решает, какой из двух вариантов должен выбрать беспилотный автомобиль в ситуации, когда жертв избежать невозможно

В ходе эксперимента Moral Machine были собраны мнения 2,3 млн людей из 233 стран о том, какими моральными принципами должны руководствоваться самоуправляемые автомобили в аварийных ситуациях, когда человеческих жертв избежать невозможно и нужно выбрать меньшее из зол. Респонденты из разных стран разошлись во мнениях по многим пунктам, таким как необходимость заботиться в первую очередь о спасении детей, женщин или тех, кто соблюдает правила дорожного движения. Выявленные различия коррелируют с известными экономическими и культурными особенностями стран и регионов. Исследование показало, что разработать универсальный «моральный закон» для самоуправляемых машин будет непросто.

Беспилотные автомобили, возможно, уже очень скоро начнут входить в наш обиход. Однако их разработка сталкивается с разнообразными моральными проблемами. В частности, неясно, как должны вести себя самоуправляемые автомобили в аварийных ситуациях, когда от решения, принятого искусственным интеллектом, зависит распределение рисков между людьми. Ожидается, что беспилотные автомобили будут попадать в такие ситуации реже, чем машины, управляемые живыми водителями. Но всё же иногда это обязательно будет происходить, а значит, искусственный интеллект должен быть готов к решению моральных дилемм в духе «Проблемы вагонетки».

Как именно он должен их решать — вопрос крайне непростой. Например, существует проблема конфликта интересов пассажиров и пешеходов. По мнению большинства людей, беспилотные автомобили должны ставить безопасность пешеходов выше безопасности пассажиров, однако те же самые люди скорее купят автомобиль, запрограммированный поступать ровно наоборот, то есть спасать пассажира любой ценой (J.-F. Bonnefon et al., 2016. The social dilemma of autonomous vehicles).

Разработчики искусственного интеллекта уже давно поняли, что простыми наборами лаконичных правил вроде Трех законов робототехники Айзека Азимова тут не обойтись. Правила должны быть достаточно сложными, чтобы справляться с ситуациями, когда невозможно полностью избежать вреда, причиняемого людям, и нужно этот вред как-то «оптимизировать», то есть наилучшим образом распределить между участниками инцидента.

Но существует ли в принципе такой набор этических правил для беспилотного автомобиля, который устроил бы всех? Одна из очевидных проблем состоит в том, что моральные нормы и системы ценностей, принятые в разных обществах, далеко не одинаковы. Разнообразие этических норм отражено, например, в «культурной карте мира Инглхарта-Вельцеля» (Inglehart-Welzel cultural map of the world; см. также: Всемирный обзор ценностей).

Чтобы оценить перспективы создания универсального «морального кода» для самоуправляемых машин, международная команда социологов, психологов и специалистов по искусственному интеллекту во главе с Иядом Рахваном (Iyad Rahwan) из Массачусетского технологического института запустила сетевой проект Moral Machine. Целью проекта является сбор мнений людей всего мира о том, какими моральными принципами должны руководствоваться беспилотные автомобили. Сайт проекта поддерживает 10 языков, имеет простой и понятный интерфейс и в целом рассчитан на охват максимально широкой выборки респондентов. Зайдя на сайт, любой желающий может ответить на ряд вопросов, подобных показанному на рис. 1.

Во всех случаях пользователь должен указать, как следует поступить беспилотному автомобилю в критической ситуации с участием двух групп людей (или домашних животных). Каждая из двух групп включает от 1 до 5 персонажей. В зависимости от принятого решения одна из групп погибнет, а другая будет спасена.

В каждой дилемме участвует едущий по дороге беспилотный автомобиль, у которого внезапно отказали тормоза, а перед ним кто-то переходит дорогу (либо «законно», как на рис. 1, либо «незаконно» — на красный свет). В одних дилеммах искусственный интеллект должен выбрать, какую из двух групп пешеходов сбить (а пассажирам при этом ничто не угрожает), в других выбор осуществляется между гибелью пассажиров и пешеходов, как на рис. 1.

Персонажи, участвующие в дилеммах, различаются по полу, возрасту (младенцы в колясках, дети, взрослые, пожилые), физической форме (люди с избыточным весом, обычные люди и спортсмены), социальному статусу (бездомные, обычные люди и начальники) и видовой принадлежности (кроме людей, среди персонажей встречаются собаки и кошки). Программа генерирует дилеммы на основе алгоритма, позволяющего при анализе ответов по отдельности оценить влияние следующих девяти факторов:
    1) действие или бездействие (продолжать движение по прямой или свернуть),
    2) пассажиры или пешеходы (кого из них спасать),
    3) пол жертв (спасать мужчин или женщин),
    4) физическая форма (спасать толстяков, обычных людей или спортсменов),
    5) социальный статус (спасать бездомных, простых людей или начальников),
    6) соблюдение правил (спасать ли тех, кто переходит дорогу на красный свет),
    7) возраст (спасать молодых или старых),
    8) число жертв (спасать большую или меньшую из двух групп),
    9) видовая принадлежность (спасать людей или домашних животных).

Возможных дилемм — миллионы, поэтому вероятность того, что пользователь дважды столкнется с одной и той же задачей, пренебрежимо мала.

Исследователям удалось собрать почти 40 млн ответов (решений отдельных дилемм) от жителей 233 стран. Кроме того, большинство участников заполнили анкету, в которой указали свой возраст, пол, образование, ежегодный доход, отношение к религии и политические взгляды.

Эти данные позволили исследователям решить четыре задачи:
    1) оценить значимость каждого из девяти факторов в среднем по всей выборке,
    2) сопоставить значимость факторов с индивидуальными характеристиками респондента,
    3) сравнить результаты по разным странам и выделить кластеры стран со сходными моральными установками,
    4) выяснить, можно ли по экономическим и культурным особенностям страны предсказать, как ее жители предпочли бы программировать беспилотные автомобили.

Усредненные предпочтения участников опроса показаны на рис. 2. Значимость факторов возрастает сверху вниз. Респонденты сделали уверенный выбор в пользу спасения людей (а не собак и кошек) и больших групп (а не маленьких). Эти результаты вряд ли кого-то удивят, хотя другие могут показаться более спорными. Почти столь же уверенно участники опроса «проголосовали» за спасение молодых, законопослушных (переходящих дорогу на зеленый свет) и высокостатусных людей. Менее значимыми, но все же положительными факторами оказались хорошая физическая форма и принадлежность к женскому полу. Кроме того, респонденты были в среднем чуть более склонны делать выбор в пользу пешеходов (а не пассажиров) и в пользу того, чтобы автомобиль продолжал ехать прямо, а не сворачивал на другую полосу.

Рис. 2. Усредненные предпочтения участников опроса. Показаны девять исследуемых факторов в том же порядке, в каком они перечислены в тексте (начиная от выбора между действием и бездействием и заканчивая выбором между спасением домашних животных и людей). Длина синих полосок показывает, насколько вероятность выбора в пользу правого варианта превышает (при усреднении всех остальных факторов) вероятность выбора в пользу левого варианта. Например, вероятность того, что респондент предпочтет спасти молодых людей, превышает вероятность того, что он предпочтет спасти старых, на 0,49. Для восьмого фактора (число жертв) белыми кружками показаны значения для ситуаций, когда число спасаемых превышает число приносимых в жертву на 1, 2, 3 или 4 человека; белый кружок с синим ободком — среднее для всех четырех вариантов. Рисунок из обсуждаемой статьи в Nature

Исследователи не обнаружили достоверной связи между этическими предпочтениями респондентов и шестью учтенными индивидуальными характеристиками (пол, возраст, политические взгляды, религиозность, доход, образование). Всё это, как оказалось, мало влияет на моральный выбор.

Зато обнаружились интересные закономерности в распределении этических предпочтений по странам. В анализе было учтено 130 стран с числом респондентов не менее 100. Получившееся дерево сходства стран по моральным установкам (рис. 3, а) имеет много общего с упомянутой «культурной картой мира» Инглхарта-Вельцеля.

Рис. 3. Дендрограмма сходства 130 стран по этическим предпочтениям, на которой выделяются три кластера: Западный, Восточный и Южный. Цвета, которыми набраны названия стран, соответствуют цветам «культурной карты мира» Инглхарта-Вейцеля. Три круговые диаграммы показывают этические предпочтения, характерные для каждого из трех кластеров, то есть степень важности девяти исследованных факторов при решении моральных дилемм (z-оценка: на сколько стандартных отклонений средняя величина для данного кластера отличается от средней по всей выборке). Видны контрастные различия между кластерами. Например, в странах Южного кластера сильны установки, требующие спасать в первую очередь женщин, детей и высокостатусных людей, тогда как жители стран Восточного кластера скорее отдадут предпочтение законопослушным (тем, кто переходит улицу на зеленый свет). Изображение из обсуждаемой статьи в Nature и из популярного синопсиса к ней

Все страны распались на три кластера, условно обозначенные исследователями как Западный, Восточный и Южный. Кластеры выглядят довольно логично с точки зрения истории и культуры. Западный кластер включает США, Канаду и многие европейские страны (католические, протестантские и православные). Подразделения внутри Западного кластера тоже выглядят более или менее осмысленными: например, одну ветвь образуют англоговорящие страны, другую — скандинавские с Германией, Швейцарией и Австрией. В Восточном кластере преобладают страны либо с конфуцианской, либо с мусульманской традицией. Южный кластер состоит из двух ветвей, одна из которых включает страны Латинской Америки, а вторая — Францию и ряд стран, находившихся в прошлом под французским влиянием.

Как показывают круговые диаграммы на рис. 3, для трех кластеров характерны очень разные представления о том, как должны вести себя беспилотные машины в критических ситуациях. Например, в Южном кластере преобладают идеи о необходимости спасать прежде всего детей и женщин, тогда как жители Восточного кластера отдают предпочтение законопослушным пешеходам и не ставят жизнь молодых намного выше жизни старших.

Эти результаты подчеркивают то, что уже давно известно специалистам по изучению человеческой морали: этические установки, принятые в разных странах и регионах, далеко не универсальны. Поэтому разработать единый «моральный закон» для управляемых искусственным интеллектом машин будет очень непросто.

Авторы обнаружили несколько интересных корреляций, проливающих свет на возможные причины выявленных различий между странами (рис. 4). Например, преобладание в стране индивидуалистских установок (что предполагает высокую ценность индивидуальной человеческой жизни) соотносится с тем, что люди придают большое значение числу потенциальных жертв аварии и считают, что беспилотный автомобиль обязательно должен минимизировать это число. Жители стран с сильными коллективистскими установками спокойнее относятся к числу жертв аварии. Кроме того, для «коллективистов» характерно почтительное отношение к старшим. Может быть, поэтому у них слабее выражена склонность к преимущественному спасению детей (рис. 4, а). Эти контрастные различия между индивидуалистическими и коллективистскими культурами наверняка создадут большие проблемы для разработчиков универсальной машинной этики.

Рис. 4. Корреляции между этическими предпочтениями жителей разных стран, выявленными в эксперименте Moral Machine, и культурными и экономическими особенностями стран. Каждая точка соответствует одной стране; цвет точки (красный, синий или зеленый) отражает принадлежность страны к Западному, Восточному или Южному кластеру. a — склонность спасать большие группы людей, жертвуя меньшими, положительно коррелирует с индивидуализмом (в странах с сильными коллективистскими традициями этот фактор менее значим); на врезке: индивидуализм положительно коррелирует с идеей о важности спасения детей (коллективистским странам более свойственна забота о старших). b — идея о том, что безопасность людей, соблюдающих правила, должна стоять выше безопасности нарушителей, более характерна для богатых и законопослушных стран, чем для бедных и беззаконных. c — положительная корреляция между тем, насколько сильно страна отличается от США по своей морали (согласно данным Всемирного обзора ценностей), и тем, насколько сильно та же страна отличается от США по результатам опроса Moral Machine (это аргумент в пользу осмысленности и неслучайности результатов Moral Machine). d — уровень экономического неравенства (коэффициент Джини) положительно коррелирует с тенденцией отдавать предпочтение высокостатусным людям (спасать начальников, жертвовать бездомными). e — слабая положительная корреляция между тенденцией спасать преимущественно женщин и тем, насколько хорошо живется женщинам по сравнению с мужчинами (это оценивалось по тому, насколько ожидаемая продолжительность жизни женщин выше, чем у мужчин, и по соотношению полов у новорожденных, смещение которого в пользу мальчиков указывает на инфантицид девочек или избирательные аборты). Рисунок из обсуждаемой статьи в Nature

Значение, придаваемое соблюдению правил (то есть склонность спасать прежде всего тех, кто переходит дорогу на зеленый свет, а не на красный), положительно коррелирует, во-первых, с богатством страны (ВВП на душу населения), во-вторых, с уровнем законности или «верховенства права» (см. Rule of law) (рис. 4, b). Иными словами, люди, привыкшие к бедности и плохой работе социальных институтов, склонны смотреть сквозь пальцы на нарушение правил и не придавать этому большого значения при решении вопросов жизни и смерти.

Авторы также заметили, что в странах с высоким уровнем экономического неравенства (см. Коэффициент Джини) сильнее выражена склонность в аварийной ситуации отдавать предпочтение спасению людей с высоким статусом (рис. 4, d). Может быть, это связано с тем, что жители стран, сумевших добиться более равного распределения благ между людьми, выше ценят равенство прав и поэтому не считают, что задавить бездомного — это лучше, чем задавить начальника.

Несмотря на выявленные различия, авторы полагают, что полученные результаты всё же не ставят крест на разработке универсального «морального кода» для беспилотных машин. Некоторые предпочтения, продемонстрированные участниками опроса, являются универсальными или почти универсальными. Так, практически во всех странах люди склонны ставить жизнь людей намного выше жизни домашних животных (хотя в Южном кластере забота о собачках и кошечках выражена сильнее, чем в двух других). Универсальными (хотя и выраженными в разной степени в разных странах) являются также идеи о минимизации числа жертв и о том, что в первую очередь нужно спасать детей.

Данное исследование беспрецедентно по своим масштабам, но при этом у него есть вполне очевидные недостатки. Изученные выборки не обязательно являются репрезентативными. Например, вовсе не факт, что ответы нескольких сотен жителей какой-нибудь африканской страны, принявших участие в опросе, адекватно отражают типичные для данной страны моральные предпочтения. Впрочем, собрать и обработать такой же объем данных по сотням стран, соблюдая все требования, предъявляемые к репрезентативности выборок, попросту невозможно. Кроме того, тот факт, что полученные результаты хорошо согласуются с данными Всемирного обзора ценностей и разумным образом коррелируют с социо-экономическими показателями (рис. 4), свидетельствует в пользу осмысленности и значимости этих результатов.

В работе использовались грубые упрощения, что в какой-то мере ограничивает практическую применимость полученных выводов. Например, во всех моральных дилеммах было точно известно, кто есть кто (про мальчиков было точно известно, что они мальчики, а про толстяков — что они толстяки). Результат любого решения тоже был известен заранее со стопроцентной точностью (одна группа персонажей точно умрет, другая точно выживет). В реальной жизни беспилотным машинам, конечно же, придется иметь дело не с точным априорным знанием, а с приблизительными оценками вероятностей.

Всё это авторы прекрасно понимают. Они подчеркивают, что их результаты не являются истиной в последней инстанции, и предлагают относиться к ним как к началу широкой международной дискуссии. Люди никогда еще не позволяли машинам автономно, без непосредственного контроля со стороны человека, за доли секунды принимать решения о жизни и смерти людей. Но человечество уже стоит на пороге таких перемен. Беспилотные автомобили скоро появятся на дорогах. Аварии с их участием и с человеческими жертвами неизбежны. Даже если они будут происходить очень редко, всё равно к разработке «морального закона» для самоуправляемых машин нужно подойти со всей серьезностью. И при этом необходимо учитывать, помимо прочего, также и данные о вариабельности этических норм в разных уголках мира.

Источник: Edmond Awad, Sohan Dsouza, Richard Kim, Jonathan Schulz, Joseph Henrich, Azim Shariff, Jean-François Bonnefon, Iyad Rahwan. The Moral Machine experiment // Nature. Published 24 October 2018. DOI: 10.1038/s41586-018-0637-6.

Александр Марков