ENG
Мы живём в разгар очередной революции в искусственном интеллекте, новой волны популярности искусственных нейронных сетей, которая началась около десяти лет назад. В 2005—2006 годах группы исследователей под руководством Джеффри Хинтона (Geoffrey Hinton) в университете Торонто и Йошуа Бенджи (Yoshua Bengio) в университете Монреаля сумели обучить глубокие нейронные сети, и это перевернуло весь мир машинного обучения. Теперь в самых разных предметных областях лучшие результаты получаются с помощью глубоких нейронных сетей.
Однако так было не всегда. Искусственный интеллект переживал три основные волны энтузиазма, три «революции искусственного интеллекта», и каждая из этих трёх революций оказывалась связана с нейронными сетями. Давайте разберёмся подробнее…
Первая революция: перцептрон и большие надежды
Рождение революции прекрасно, как появление на свет ребенка, его первая бессмысленная улыбка, его первые невнятные слова, трогательно умилительные, когда они произносятся с трудом лепечущим, неуверенным в себе розовым язычком…
Аркадий Аверченко. Дюжина ножей в спину революции
Идея искусственного интеллекта давно занимала людей. Гефест конструировал себе роботов-андроидов, например гигантского человекоподобного робота Талоса, которого позже отдали охранять Крит. Особо мудрые раввины могли создавать големов, а после доктора Франкенштейна идея искусственного интеллекта прочно обосновалась в литературе. Однако как наука искусственный интеллект совсем молод: за точку отсчёта обычно берут статью Тьюринга Computing Machinery and Intelligence («Вычислительные машины и разум»), опубликованную в 1950 году в журнале Mind.
В этом эссе великий логик и информатик предложил идею теста Тьюринга, которая оказалась необычайно плодотворной и до сих пор может служить вполне адекватным методом проверки на способность мыслить. Однако пока это была чистая теория, а серьёзные практические успехи искусственного интеллекта сразу же оказались связаны с нейронными сетями.
Интересно отметить, что искусственные нейронные сети появились даже раньше, чем сам искусственный интеллект: основополагающая работа Уоррена МакКаллоха и Уолтера Питтса о простой модели нейрона относится к 1943 году, а уже в 1949 Дональд Хебб предложил первые алгоритмы обучения. Про обучение по Хеббу до сих пор иногда вспоминают в вероятностных моделях, но в целом оно оказалось слишком сложным и хрупким для реализации.
Будущее было за куда более простым методом обучения нейросетей — градиентным спуском, который был реализован в том числе в первом перцептроне Франка Розенблатта. Перцептрон — это один искусственный нейрон, т.е. в 1958 году Розенблатт с коллегами сумели построить модель одного нейрона, почти в точности по МакКаллоху и Питтсу.
Современные глубокие нейронные сети могут состоять из миллионов искусственных нейронов, каждый из которых делает примерно то же, что перцептрон Розенблатта. Для конца пятидесятых и один работающий перцептрон был, конечно, выдающимся достижением. Однако, как это часто бывает, его поспешили слишком сильно разрекламировать. New York Times, не какой-то таблоид, на полном серьёзе писал, что теперь, когда перцептрон способен понять, слева или справа расположены яркие точки на фотографии, самое сложное уже позади: через пару лет появятся компьютеры, способные вести себя как человек, мыслить и улучшать самих себя.
Первые шаги искусственного интеллекта — чрезвычайно интересная тема. Можно было бы рассказать и о том, как потерпели неудачу проекты по автоматическому выводу, и о том, как жена Норберта Винера отбросила искусственный интеллект на десять лет назад, и о проекте по машинному переводу с русского на английский, мотивированном холодной войной… Но об этом в другой раз, а сейчас пора двигаться дальше, ко второй революции, до которой оставалось ещё больше десяти лет.
Вторая революция: теоретически всё работает
Но когда ребенку уже четвертый год, а он торчит в той же колыбельке, когда он четвертый год сосет свою всунутую с самого начала в рот ножку, превратившуюся уже в лапу довольно порядочного размера… Это уже не умилительный, ласкающий глаз младенец, а, простите меня, довольно порядочный детина, впавший в тихий идиотизм.
Там же, продолжение цитаты
Начальный энтузиазм искусственного интеллекта, подогретый успехами Розенблатта и других исследователей, быстро подошёл к концу. Вышеупомянутый проект машинного перевода провалился, да и не мог не провалиться — в 1960-х годах не было ни моделей, подобных современному Google Translate, ни тем более данных, на которых их можно было бы обучить. После этого кран, из которого в искусственный интеллект обильно текли государственные деньги, прикрутили, и началась первая «зима» искусственного интеллекта (AI Winter).
Но работа продолжалась. В течение 1970-х годов в искусственном интеллекте произошло много интересного, но одним из главных результатов было то, что люди поняли: при помощи градиентного спуска можно обучать не только отдельные перцептроны, но и большие искусственные нейронные сети, состоящие из, теоретически говоря, любого числа перцептронов, соединённых в любых комбинациях (разве что без циклов).
Эта идея довольно проста, и к середине 1980-х годов она окончательно стала мейнстримом в искусственных нейронных сетях: стало понятно, что есть единый алгоритм обучения, который, теоретически говоря, должен работать для любой архитектуры нейронной сети, сколько бы в ней ни было слоёв и нейронов. К этому времени относятся и основанные на работах Колмогорова результаты Хорника об универсальности нейронных сетей: оказалось, что даже не очень глубокая нейронная сеть способна, теоретически говоря, приблизить любую функцию, решить любую задачу…
Внимательный читатель уже заметил назойливые упоминания о том, что всё работало «теоретически»… К сожалению, только теоретически. На самом деле архитектуры нейронных сетей, созданные в восьмидесятых, были весьма разумными. К этому времени относится изобретение и свёрточных нейронных сетей, и рекуррентных. Можно провести показательный эксперимент: взять нейронную сеть из конца восьмидесятых годов, механически сделать её больше (просто увеличив число нейронов) и обучить на современных наборах данных — в результате она будет работать вполне неплохо, хотя, конечно, хуже современных архитектур. Но в восьмидесятых годах не было ни вычислительных мощностей, которые могли бы обучать такие нейронные сети, ни, что самое главное, данных, на которых они могли бы обучиться.
Достижения 1980-х годов породили вторую волну хайпа искусственных нейронных сетей. Снова начали появляться стартапы, обещающие гигантскую экономию бизнесам и андроидов, которые будут приносить кофе и отвечать на звонки. И снова большим надеждам не суждено было сбыться: стартапы прогорели или переключились на что-то другое, государственные бюджеты снова перераспределили не в пользу искусственного интеллекта, а нейронные сети надолго приобрели репутацию метода, который работает сугубо теоретически, но на практике всегда проигрывает более специализированным методам.
Третья революция: теперь работает и на практике
Революция — сверкающая прекрасная молния, революция — божественно красивое лицо, озаренное гневом Рока, революция — ослепительно яркая ракета, взлетевшая радугой среди сырого мрака!.. Похоже на эти сверкающие образы то, что сейчас происходит?..
Там же
В 1990-х и первой половине 2000-х годов об искусственном интеллекте, конечно, не забывали. Он вполне успешно развивался под названием «машинное обучение». Девяностые годы стали эпохой расцвета так называемых ядерных методов (kernel methods), в частности, метода опорных векторов. Всё время продолжали развиваться вероятностные (байесовские) подходы к машинному обучению. Кстати, искусственный интеллект оказался, по сути, разделом прикладной теории вероятностей, и современные достижения намекают: в глубоких нейронных сетях вероятностные методы тоже необходимы.
Однако в конце нулевых снова всё изменилось. Наконец-то желания и возможности исследователей в области нейронных сетей приблизились друг к другу. Появились наборы данных, которые по меркам девяностых годов были невероятно гигантскими. Появились вычислительные мощности, способные их обрабатывать; кстати, не последнюю роль в революции глубокого обучения сыграли геймеры, точнее, доступные массовые видеокарты, которые, как выяснилось, прекрасно подходят для обучения нейронных сетей.
Разумеется, были и математические идеи, без которых вряд ли бы что-то получилось, но в математику мы сейчас вдаваться не будем. В целом, последние десять лет выглядят как победная поступь глубоких нейронных сетей: сначала они перевернули мир распознавания речи (без глубоких нейронных сетей не появились бы современные виртуальные помощники), затем настала очередь компьютерного зрения, сейчас глубокие нейронные сети активно используются для обработки естественных языков… В общем, может показаться, что весь искусственный интеллект сузился до обучения глубоких нейронных сетей. Это, конечно, не совсем так, но довольно близко к истине.
Я не смогу рассказать вам, чем закончится третья волна хайпа искусственного интеллекта и нейронных сетей — сейчас мы всё ещё живём на её подъёме. Возможно, она закончится очередным лопнувшим пузырём чрезмерных ожиданий. Возможно, мы создадим искусственный интеллект, который добьётся человеческого уровня, научится сам себя улучшать, и дальше уже мы ему не потребуемся; никто сейчас этого не знает. Но давайте всё-таки немножко порассуждаем о том, что ждёт нас в будущем.
Что дальше?
Но жизни нет там, где грозы происходят беспрерывно. А кто умышленно хочет длить грозу, тот явный враг строительства и благой жизни.
Там же, цитата из К. Бальмонта
Что же дальше? На самом деле не всё так радужно, и в искусственном интеллекте ещё очень много открытых вопросов. Несмотря на потрясающие успехи компьютерного зрения, даже задачи распознавания и слежения за объектами, с которыми мы с вами справляемся с лёгкостью, до сих пор далеко не решены. Ещё хуже обстоят дела в обработке естественных языков: до компьютерной программы, которая могла бы «прочесть» текст и выделить его смысл (например, ответить на чуть более сложные вопросы по тексту, чем воспроизведение конкретных фактов из него), ещё довольно далеко.
Но исследователи, как всегда бывало в предыдущие волны популярности искусственного интеллекта, полны оптимизма. В 2016 году ученые из оксфордского Future of Humanity Institute провели опрос, в котором задали лучшим современным исследователям в области искусственного интеллекта такой вопрос: «Когда, по вашему мнению, компьютерные программы смогут выполнять все задачи, которые сейчас выполняют люди?» (этот уровень развития обычно называют HLMI, high-level machine intelligence).
Оказалось, в среднем исследователи считают, что у нас есть 50% шансов увидеть HLMI в течение ближайших пятидесяти лет. Если сложить это с достижениями современной медицины и постоянно возрастающей продолжительностью жизни, получается, что у многих из нас есть шанс дожить до коммунизма сильного искусственного интеллекта! Ну что ж, будем надеяться…
