Питательная ценность кошки: книги недели. Книга 2

Профессор теории вычислительных машин и систем Калифорнийского университета в Беркли Стюарт Рассел руководит Центром человекосовместимого искусственного интеллекта. Термин «человекосовместимость» присутствует и в английском названии этой книги, от которого в русском традиционно оставлен загадочный огрызок.

О какой совместимости речь?

Рассел исходит из того, что массовая тревога имеет под собой почву: развитие искусственного интеллекта вполне может пойти по сценарию «Матрицы», «Терминатора» и прочих произведений, где кожаные ублюдки терпят окончательное поражение от умных машин. Основную проблему исследователь видит в том, что ИИ в XX–XXI веках строится на основе поиска путей «оптимизация поставленной задачи». Поскольку машина может «объективно лучше» знать, как найти оптимальное решение, у нее может — случайно — возникнуть цель, ортогональная цели человеческой.

Противоядие, по Расселу, заключается в том, чтобы на концептуальном уровне предотвратить возникновение у ИИ самостоятельных целей. Для этого необходимо соблюсти по меньшей мере два связанных принципа: машины должны подчиняться одной единственной цели — реализовывать предпочтения человека, относительно которых она должна находиться в состоянии перманентной неопределенности.

Аргументация автора важна и интересна, но, как и в случае с практически любым научпопом из США, от сокращения книга бы не пострадала.

«До сих пор тупость и ограниченность воздействия ИИ-систем защищали нас от этих последствий, но это изменится. Представьте, например, домашнего робота будущего, который должен присматривать за вашими детьми, когда вы задерживаетесь на работе. Дети хотят есть, но холодильник пуст. Тут робот замечает кошку. Увы, робот понимает питательную ценность кошки, но не ее эмоциональную ценность. Проходит несколько часов, мировые СМИ пестрят заголовками о свихнувшихся роботах и жареных кошках, и все производители роботов-домохозяек лишаются рынка сбыта».