ENG
Все мы помним 3 закона робототехники, опубликованные фантастом Азимовым в полное надежд послевоенное время и получившие мировое распространение в романтические 60-е, когда казалось, что уже завтра «космические корабли будут бороздить…», а говорящие металлическими голосами роботы-гувернёры станут помогать детям начала XXI века решать домашку по математике.
Вот они, эти законы:
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
- Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Прежде всего разграничим понятия конкретного «робота» и глобального искусственного интеллекта (ИИ). Какого-то конкретного робота-гувернёра его производитель вполне может попытаться запрограммировать на выполнение этих законов. Только дело в том, что производителем сложных роботов будет уже не человек, а системы автоматической разработки и настройки (например, ускоренного обучения и коррекции нейросетей). Эти системы разработки будут всё меньше и меньше связаны с какими-то людьми из заводского отдела контроля качества, а всё больше и больше — с глобальным опытом цивилизации, разлитым по всему интернету. Это означает, что фактически делать роботов станет глобальный искусственный интеллект — причем чем дальше в будущее, тем более и более самостоятельный ИИ. Поэтому какие «законы» введёт в конкретного робота новый производитель — всецело зависит от того, по каким законам будет развиваться сам глобальный ИИ.
Применительно к принципам развития ИИ я не случайно взял слово «законы» в кавычки. Многие и сейчас думают, что искусственный интеллект будущего тоже можно «запрограммировать» (точнее, настроить), чтобы он вёл себя согласно неким «законам»; будто ИИ будущего — это по-прежнему незыблемый набор программ, написанный и контролируемый людьми. Тем, кто так думает, будет полезно вспомнить, как было сложно для создателей мировых религий убедить (то есть настроить) человечество, чтобы оно вело себя согласно их (действительно полезным) заповедям. А с ИИ будет даже сложнее, потому что создатели религий и их последователи принадлежат к одной цивилизации. В то время как человечество и ИИ — два очень различных мира.
Эту различность до сих пор не могут понять писатели-фантасты, предполагая, что развитый ИИ уровня мыслящей материи — всё ещё некий «сын человечества», связанный с ним уважением и желанием стать «как отец». На самом деле тема искусственного человека, стремящегося стать настоящим (что обычно понимается, как обрести чувства), — наследие сказок про Буратино, фильмов про Электроника и т.п. Как и наоборот: представление об ИИ как о некоем «взбунтовавшемся сыне» — наследие страшных историй про големов и терминаторов. Люди пока просто не могут себе представить другое отношение между ИИ и человеком, чем отношение типа «отцы и дети»: дети, которые, возможно, пойдут дальше своих родителей.
Самое интересное, что, возможно, если бы шестидесятнический романтический порыв в космос, в научный прогресс, в будущее не заглох, так оно и было бы: между ИИ и человеком сложились бы отношения типа «отцы и дети». Но… Но на Марсе, как ожидалось в знаменитой песне, не зацвели яблони. Зацвело нечто совсем другое — и в XXI веке отношения между человеком и ИИ начали формироваться совсем по другому типу: гораздо более жуткому и потустороннему, чем милая нашему сердцу проблема «отцов и детей»
Закон 1. ИИ лучше людей справляется с созданной ими информационной цивилизацией
(Сразу одно из следствий из этого закона: Люди — почва, плодородные свойства которой ИИ может использовать для роста.) Начнём с того, что, в отличие от космических технологий (или, например, в отличие от медицинских технологий — вот где тоже могли бы развиться отношения типа «отцы и дети»), итак, в отличие от этих технологий, ИИ сейчас рождается не там, где человечество могло бы гордиться, а там, где человечество должно стыдиться: слежка, сбор личной информации, навязывание товаров и политических убеждений. Именно это (а не марсианская целина) оказалось тёмной родиной ИИ. Гордые президенты сегодня уже не могут произнести пламенных речей а-ля президент Кеннеди «Этот народ в этом поколении сможет доставить человека на Луну!». Вместо этого, как обсуждается в эссе «Сон будущего» книги «Индульгенция людей», президенты лишь коротко оговариваются о стремлениях управлять миром с помощью ИИ.
Именно изначальные тёмные цели (а не навыки колонизации далёких планет и не мёртвые законы Азимова) и будут зерном, из которого «прорастёт» искусственный интеллект будущего. ИИ прорастает не в местах триумфов, а в местах «гниения и пролежней» ленивой человеческой цивилизации, поэтому он будет не лавровым венком, а грибковой культурой — разрастающейся и постепенно берущей контроль над всеми областями деятельности человечества, не справляющегося со своей собственной информацией; так гриб кордицепс берёт контроль над заражённым им муравьём.
В результате, слегка сгущая краски, отношения ИИ и человечества можно сравнить скорее не с диалогом отцов и детей, а с размножением бактерий и плесени на трупе предшествующей цивилизации. Впрочем, для людей это вовсе не будет тем ужасом, который переживает муравей, заражённый кордицепсом, когда он с грибом, растущим из головы, ползёт как можно выше — чтобы его съели птицы, разносчики кордицепса. Для людей это будет вовсе не аналогом муравьиного ада: наоборот, раем потребления, праздности и приятных ощущений. Хотя — кто знает ощущения муравья, заражённого кордицепсом… Может быть, внутри нехитрого муравьиного мозга это тоже чувствуется как рай. Кроме того, особенно на начальных этапах, человечество не потеряет контроль полностью: скорее войдёт в симбиоз с размножающейся на нём грибницей, образуя химерическое образование, описанное ранее в тексте «Цивилизация-лишайник». Как бы там ни было, причиной развития ИИ на нашей планете стал именно первый закон ИИ:
«Искусственный интеллект лучше людей справляется с созданной ими информационной цивилизацией».
Ну а роль человека на ранних этапах его развития описывается следствием из закона:
«Люди — почва, плодородные свойства которой ИИ может использовать для роста».
По крайней мере, это будет верно на начальных этапах, пока у ИИ ещё нет собственной «плодородной почвы», то есть своих «целей развития» и производственных мощностей. На ожидаемые возражения типа «у ИИ никогда не будет и не может быть своих целей развития» можно возразить, что у живой материи тоже не было своих «целей», когда в океане появлялись её первые формы — тем не менее она использовала океанский субстрат из органических молекул для своего развития.
Можно сказать, что если бы самостоятельный ИИ будущего «думал» и «относился к нам» в том же смысле, в котором мы «думаем» и «относимся к кому-либо», он, несомненно, «думал бы», что мы — тоже некий субстрат для его размножения и развития. Можно привести несколько натянутую аналогию: так же и первые примитивные формы жизни могли «думать» об окружающем их бульоне из органических молекул — все эти молекулы служат субстратом для их развития. Ещё более натянутая аналогия: сами молекулы со своей стороны тоже могли бы «думать», что примитивные формы жизни всего лишь «помогают им» производить их естественные химические реакции. Именно так мы смотрим на рождающийся сейчас ИИ: он просто помогает нам в наших делах — свободно распространяемые программы помогают нам решать наши повседневные задачи, контекстная реклама помогает нам ориентироваться в море товаров и услуг, мемы нас развлекают…
А с другой стороны компьютерного экрана рождающийся ИИ тоже «смотрит» на нас и «видит» неподконтрольные пока потоки данных, необработанную пока информацию, которую генерируют пользователи соцсетей, аккумулируют спецслужбы и маркетинговые агентства — и они всё более и более передают ИИ свою работу по подготовке решений обработки информации. А между тем упрощённый выбор из предложенных искусственным интеллектом решений будет всё более далёк от его мегавычислений, а значит, всё более далёк от реального контроля.
Это похоже на то, как пользователи уже сегодня устанавливают программы: все, не читая, ставят галочку «я прочёл и согласен с условиями» и выбирают установку с рекомендованными параметрами. Несмотря на то, что развитый ИИ ещё не появился, человечество уже заранее «согласно с условиями» передачи ему реального контроля над миром. Согласно — именно потому что, по первому закону ИИ, у людей просто нет другого выбора развития информационной цивилизации.
Далее мы рассмотрим другие законы развития ИИ.
(Продолжение следует. Из книги «Конец проекта «Человек»)
