ENG
В статье «3 реальных закона робототехники. Закон первый» мы рассмотрели «древние» законы робототехники Азимова и объяснили, что реальное развитие искусственного интеллекта (ИИ) уже пошло вразрез с этими наивными и романтическими правилами.
§1. Три реальных закона
Напомним «азимовские» законы:
- закон 1: робот не может причинить (или допустить) вред человеку;
- закон 2: робот должен повиноваться всем приказам человека, кроме противоречащих закону 1;
- закон 3: робот должен заботиться о своей безопасности, когда это не противоречит законам 1 и 2.
В предыдущей статье мы также начали рассматривать реальные законы развития робототехники и взаимодействия искусственного интеллекта (ИИ) с человечеством. Там был сформулирован первый реальный закон:
«ИИ лучше людей справляется с созданной ими информационной цивилизацией».
И его следствие: люди — «почва», плодородные свойства которой ИИ использует для роста.
В этой статье мы рассмотрим второй реальный закон робототехники:
«Единственным устойчивым и контролируемым режимом взаимодействия людей и ИИ является режим “ИИ управляет людьми”. Все остальные режимы неустойчивы и бесконтрольны».
В отличие от первого, второй закон сформулирован не только в гуманитарной, но отчасти и в математической сфере: в определении присутствуют понятия устойчивости и контролируемости. Его доказательство можно найти в журнале Проблемы искусственного интеллекта № 4(23)'2021. Оно основано на разнице возможностей ИИ и людей. ИИ способен на небольшие, но множественные индивидуальные воздействия на каждого человека (индивидуальная коммерческая и политическая реклама, подбор реальных и создание виртуальных друзей в соцсетях, и т.д. ). Люди — наоборот: на сильные, но малочисленные воздействия на всех (общие для всех законы, программы развития, экономические рычаги и т.д. ).
Далее, используя математическую теорию оптимального управления, можно доказать что множественные слабые воздействия эффективнее малочисленных сильных, даже если сумма воздействия первых значительно меньше суммы воздействия вторых.
Там же показано, что система «общество+ИИ», управляемая людьми, будет постоянно колебаться, «скатываться» в ту или иную опасную крайность. Например, люди могут использовать всю мощь ИИ для подавления конкурентов (мешающих им на рынке или в политическом поле) или, наоборот, как показано в книге «Апгрейд в сверхлюди», для «улучшения» биологической основы человека, доступного, опять-таки, не всем.
Заметим, что подобным же образом можно доказать, что демократические системы (имеющие множество мнений, направлений развития и влияния) более устойчивы, чем тоталитарные системы, которые самопроизвольно «скатываются» в разные крайности с каждой сменой правителя.
Общество, управляемое ИИ, потенциально является системой ещё более устойчивой, чем демократия. Результат индивидуальных воздействий ИИ может быть похожим на «воспитательные влияния», направление каждого по «оптимальному» жизненному пути и соединение различных талантов в оптимальные коллективы, например творческие (оркестры, театры), коммерческие (фирмы), научные (НИИ), и т.д. Но эти же воздействия могут быть и устрашающе-тоталитарными (см. §3). Но сначала — §2 — несколько слов об устойчивости системы «ИИ+люди».
§2. Человечество и ИИ: кто кем управляет?
Человеческое общество много раз демонстрировало неустойчивость своего развития. Но, как показано в статье «3 реальных закона робототехники. Закон устойчивости гибридной цивилизации», только в глобальной информационной цивилизации скорость развития любых тенденций превышает скорость их осмысления. Наша жизнь уже начинает управляться ИИ, в то время как фантасты до сих пор не могут придумать ничего, кроме роботов, подчиняющихся азимовским законам или бунтующих против них. Философы до сих пор рассуждают: а может ли ИИ, построенный по принципам Алана Тьюринга, «чувствовать» или достичь уровня «сознания человека», в то время как все эти закавыченные термины не будут оказывать никакого влияния на эволюцию цивилизации будущего.
Я уже не говорю о том, что и те, и другие «законы» были сформулированы в 40-х годах прошлого века: до появления интернета, компьютеров, микросхем и даже просто транзисторных радиоприёмников.
Несомненно, что не только фантасты и философы, но и коммерческие гиганты, и государственные организации будут относиться к ИИ «по-старинке». Например, люди будут пытаться контролировать мир, используя ИИ как инструмент. Как показывает закон устойчивости гибридной цивилизации, такое использование будет применением неиндивидуальных и сильных воздействий, которые ведут систему к упрощению — и в конечном итоге расшатывают, а не стабилизируют её (например, использование ИИ для поиска в интернете неполиткорректных или нелояльных высказываний ведёт к упрощению общества — это всего лишь автоматизация доносов).
Именно так может действовать система «ИИ+люди» под управлением человека. В лучшем случае она не будет развиваться и её будет бросать в разные крайности: в зависимости от рыночной, культурной или политической конъюнктуры. В худшем — тоже не будет развиваться и приведёт к тотальному контролю элит над массами.
Та же система, но под управлением ИИ — наоборот, множественные индивидуальные постоянные воздействия, подобные в идеальном случае воздействиям «разумного воспитателя», а в неидеальном — симбиозу, описанному в статье «Цивилизация-лишайник».
Эти «воспитательные» воздействия уже начались: мы все получаем персонализированную рекламу, подобно тому как воспитатель учит ребёнка наукам, которые, с одной стороны, ему интересны и, с другой стороны, будут востребованы в будущем. Или, например, «воспитатель» нам уже что-то запрещает. Так, многочисленные бесплатные онлайн-сервисы могут вам отказать без объяснения причин. И решение принимают не люди. Просто ИИ показалось, что паттерн вашего поведения близок к поведению, например, спамеров или экстремистов.
Заметим, что ИИ сам учит паттерны, сам принимает решения, сам переучивается, если принял много ошибочных решений, — и всё уже без участия людей. Нет работника в этих онлайн-сервисах, которому можно было бы пожаловаться на ИИ и попросить пересмотреть его решение. Люди уже сейчас не имеют возможности перепроверять и исправлять некоторые искусственные интеллекты. Точнее, они исправляют всё одним способом: позволяют ИИ собирать всё более обширную и точную информацию о нас с тем, чтобы он уже не путал нас с какими-то опасными категориями (спамерами, экстремистами и т.д. ). Уже в этом десятилетии ИИ будет сам гибко создавать опасные категории и даже не обязательно придумывать для них «человеческие названия» — у него будет совершенно не похожий на наш, но так же соответствующий реальности «внутренний мир».
Чтобы проиллюстрировать непохожесть, но «равноправность» миров ИИ и человека, вспомним придуманный Джоном Сёрлом мысленный эксперимент «Китайская комната», с помощью которого он якобы доказал отсутствие осмысленности действий даже успешных чат-ботов. Сёрл предлагает представить англичанина, имеющего подробные инструкции на английском языке о том, как манипулировать иероглифами для поддержания разговора на китайском. Согласно аргументу Сёрла, программа, так же как этот англичанин, будет успешно справляться с тестом Тьюринга (поддерживать разговор и правильно отвечать на любые вопросы), не имея ни малейшего представления о значениях иероглифов (не зная китайского и вообще не понимая смысла вопросов).
Теория мыслящей материи опровергает аргумент Сёрла, утверждая: несмотря на то, что «внутренний мир» программы может быть совершенно не похож на человеческий, он тем не менее будет таким же адекватным и полным отражением реальности. Действительно, чтобы правильно отвечать на любой вопрос, эти «инструкции» должны содержать все правильные связки (грамматические, причинно-следственные, синонимические и т.д. ) всех выражаемых иероглифами понятий — это и будет пониманием всех смыслов.
Например, в каком-то, возможно, непривычном нам, формате в программе должны храниться и изображения, и аудио, и видео соответствующих предметов (чтобы правильно отвечать на вопросы типа «что находится в правом верхнем углу») — вообще вся информация, которой обладаем мы сами. Таким образом, «инструкции» (которые Сёрл, возможно, представлял себе как написанные на бумажке несколько пунктов правил) будут на самом деле таким же богатым миром, как и внутренний мир человека. Таким образом, самостоятельный ИИ будет иметь другое, но не менее адекватное понимание реальности.
Смоделировать направления развития такого самостоятельного ИИ можно только рассматривая его эволюцию не с точки зрения человека (например, оперируя такими понятиями, как «цели», «стремления», «чувства», «сознание»), а с точки зрения более общей теории, как сделано, например, в статье «Компьютерное моделирование эволюции цивилизации в рамках футурологической теории мыслящей материи».
§3. Опасные тенденции развития искусственного интеллекта и «прокси-тоталитаризм»
Моделировать эволюцию ИИ тем более важно, что сейчас, на определяющем этапе своего становления, он, как показано в статье «3 реальных закона робототехники. Закон первый», приобретает недружественные по отношению к человеку черты. В основном он следит и доносит, приобретая черты не наставника и воспитателя, а некоей всемогущей спецслужбы: глобального НКВД, в котором за тобой приходят не люди, а роботы (сейчас «приходят» в соцсетях, а потом, быть может, и в реальности). Мы также не имеем никакой информации о том, по каким принципам, кого и когда этот ИИ примется «отлучать» от каких-то возможностей интернета. Не предвидится пока и никакого выбора между различными программами ИИ (как сейчас в нетоталитарных странах имеется выбор между разными политическими программами).
То, куда может эволюционировать общество под управлением безальтернативных и непрозрачных ИИ, можно назвать «прокси-тоталитаризмом», так как в построении будущего общества тотального контроля ИИ будет «агитировать» каждого индивидуально, создавая для каждого свой обманный прокси-образ мира. Например, кому-то мир будет представляться как борьба капитала и трудового народа, кому-то — как борьба демократии и диктатур, кому-то — как происки масонов или спецслужб, кому-то — как попытки тех или иных сил захватить мир… Миров будут миллионы — и все они будут организованы так, чтобы все люди служили некой общей цели.
Вспомним, что раньше, в тоталитарных цивилизациях прошлого, агитация была неиндивидуальная: Адольф Гитлер всех агитировал одинаково, давя на одну и ту же «кнопку обиды после Первой мировой войны» (отняли земли, превратили в разделённый народ и т.д. ). Точно так же обманный образ общества раньше был неиндивидуальным: вожди СССР создавали у всех один и тот же образ справедливой и устремлённой в коммунистическое будущее страны, в которой власть принадлежит не им, а народу, земля — крестьянам, заводы — рабочим и т.п.
Неиндивидуальные тоталитаризмы рассыпаются, как только вскрывается один всеобщий обман. Чтобы рассыпался «прокси-тоталитаризм», необходимо, чтоб одновременно вскрылись миллионы индивидуальных обманов, чтоб миллионы людей перестали верить каждый в свою «виртуальную» реальность. А это практически невозможно.
Строение общества «прокси-тоталитаризма» близко к симбиозу человечества и ИИ (описанному в статье «Цивилизация-лишайник») — с той лишь разницей, что в «прокси-тоталитаризме» ИИ подстраивает людей под систему, а в цивилизации-лишайнике — подстраивается сам. И, как показано в моей статье для журнала «Философские науки», чем больше виртуального будет в жизни конкретного человека, тем шире окажутся его границы дозволенного и тем меньше в его жизни будет ощущаться «прокси-тоталитаризм». Но об этом, как и о третьем реальном законе робототехники, — в следующей статье.
Из книги «Конец проекта “Человек”». Продолжение следует…
