ENG
Все мы, конечно, знаем, как трудно делать предсказания, особенно, как однажды пошутил один датский парламентарий, о будущем. И уж тем более в такой индустрии, как наша. Однако в этом тексте я расскажу вам о трёх своих предсказаниях, точнее сказать, трёх трендах, которые я вижу сейчас и ожидаю продолжать видеть в ближайшие годы. В этом тексте я, в основном, говорю о технической стороне вопроса — наука, надеюсь, останется столь же прекрасной и непредсказуемой, как всегда.
Специализированные устройства для искусственного интеллекта
Первый тренд, который уже очевиден и будет только набирать силу в будущем, — развитие специализированных устройств для машинного обучения. Революция глубокого обучения по-настоящему началась тогда, когда исследователи поняли, что могут обучать глубокие нейронные сети на графических процессорах (GPU, видеокартах). Идея состояла в том, что обучение глубоких сетей довольно легко параллелизуется, и графическая обработка тоже, по сути, происходит параллельно: шейдеры надо применять независимо к каждому пикселю или каждой вершине 3D-модели. Поэтому GPU всегда были сильны в параллелизации: у современной видеокарты несколько тысяч ядер, а у процессора — всего 4-8 (конечно, у процессора ядра гораздо быстрее, но всё-таки далеко не в сто раз). В 2009 году это наблюдение превратило каждый геймерский компьютер в мощнейшую рабочую станцию для обучения самых современных моделей искусственного интеллекта, не хуже суперкомпьютеров: стандартный GPU обучает глубокую сеть в 10-30 раз быстрее высококлассного процессора.
С тех пор GPU были самым популярным инструментом для исследований и практических разработок в глубоком обучении. А моё предсказание в том, что в течение нескольких следующих лет GPU постепенно будут замещаться на этом рынке в пользу чипов, специально разработанных для искусственного интеллекта.
Первым широкоизвестным специализированным чипом для машинного обучения (в частности, обучения нейронных сетей) стали Google TPU. Это проприетарные чипы, и хотя вы можете арендовать их на Google Cloud, в продажу широкой публике Google TPU так и не поступили и вряд ли в ближайшее время поступят.
Но это — всего лишь первый пример. Я уже писал раньше о недавних новостях от компании Bitmain, одного из ведущих мировых производителей ASIC-чипов для майнинга биткоина. Они разрабатывают новый ASIC специально для тензорных вычислений; ну то есть, по сути, для обучения нейронных сетей. Я уверен: в течение нескольких следующих лет мы увидим много подобных чипов, которые поднимут искусственный интеллект на новые, ранее недосягаемые высоты.
Централизация и демократизация искусственного интеллекта
Второе предсказание звучит как оксюморон: мне кажется, что исследования и практические применения искусственного интеллекта централизуются и децентрализуются одновременно. Попробую объяснить.
Выше мы говорили об обучении нейронных сетей на GPU. В последние лет десять глубокое обучение фактически вернулось в «старые добрые времена» информатики, когда можно было находиться на переднем крае теории и практики прямо у себя дома, с парой стандартных общедоступных GPU за $1000 каждый. Это время ещё не совсем прошло, но, похоже, пройдёт скоро. Современные достижения искусственного интеллекта всё больше зависят от вычислительных мощностей. Посмотрите, например, на AlphaZero, модель глубокого обучения с подкреплением, которая недавно обучилась играть в шахматы, го и сёги успешней, чем лучшие программы (что там говорить о людях! AlphaZero обыграла Stockfish в шахматы, AlphaGo в го и Elmo в сёги), причём обучилась полностью «с нуля», зная только правила игры. Это огромный прорыв, это была одна из самых громких новостей конца прошлого года: «AlphaZero научилась обыгрывать Stockfish с нуля за четыре часа».
И действительно, AlphaZero хватило четырёх часов… на кластере из 5000 Google TPU для порождения игр против самой себя и 64 TPU второго поколения для обучения нейронных сетей на этих данных; всё это написано прямо в исходной статье об AlphaZero. Нам с вами уже не удастся повторить этот опыт в гараже, разве что если гараж внезапно получит немалое финансирование от того же Google…
И это — общая тенденция. Исследования в искусственном интеллекте становятся всё дороже. Для них всё чаще нужно специальное оборудование (даже если речь об обычных GPU, их надо много), большие дата-центры… всё то, что ассоциируется с Google и Facebook сегодня, а не в те времена, когда эти гиганты начинали свой путь. Поэтому я предсказываю дальнейшую централизацию масштабных исследований в искусственном интеллекте в руках облачных сервисов.
С другой стороны, централизация также означает, что на этом рынке будет усиливаться конкуренция. Цены на вычислительные мощности пока ещё достаточно высоки, отчасти из-за сверхвысокого спроса, поддерживающегося майнерами криптовалют. Прошлым летом мы попробовали закупить GPU последнего поколения… и не смогли: их полностью вымели с рынка майнеры Ethereum и других «лёгких» криптовалют. Однако этот тренд тоже близок к завершению: майнинг все более централизуется и институционализируется, доход от него уменьшается экспоненциально, а вычислительные ресурсы постепенно высвобождаются обратно по мере того, как использовать их для майнинга становится всё менее и менее выгодно.
Коммодитизация искусственного интеллекта
Кстати, о демократизации. Машинное обучение — область, в которой очень сильны традиции делиться своими результатами с другими исследователями. Здесь достигнут беспрецедентный уровень совместной работы: положить рабочий код на Github при выходе статьи — это буквально правило хорошего тона в машинном обучении, да и наборы данных обычно выкладывают в открытый доступ (если это, конечно, не медицинские или какие-то другие чувствительные данные).
К примеру, современное компьютерное зрение, основанное на свёрточных нейронных сетях, почти неизменно использует один и тот же огромный дата-сет общего назначения — ImageNet. В нём более 14 миллионов изображений, которые вручную размечены по более чем 20 тысячам категорий. Обычно модели компьютерного зрения сначала предобучают на ImageNet, что позволяет извлечь хорошие низкоуровневые признаки, общие для всех фотографий в мире, а потом уже дообучают на данных, относящихся к непосредственно вашей задаче (их обычно гораздо меньше).
Можно запросить доступ к ImageNet и скачать его бесплатно, но ещё важнее то, что модели, уже обученные на ImageNet, тоже лежат в свободном для всех доступе (см., например, этот репозиторий). Это значит, нам с вами не нужно каждый раз две недели предобучать модель на терабайте фотографий, можно сразу скачать готовую и начинать с неё.
Я убеждён: этот тренд будет продолжаться и развиваться в ближайшем будущем. Очень скоро появятся общедоступные наборы «базовых компонентов», и исследователи смогут просто брать и собирать из них новые модели, как из деталей конструктора, без долгого предобучения и настройки гиперпараметров. Отчасти это будет чисто технический процесс: нужно просто сделать удобным и общедоступным то, что уже разработано, но потребуются и новые теоретические разработки.
Например, в недавней работе исследователи из DeepMind представили PathNet, модулярную нейросетевую архитектуру, которая может сочетать совершенно разные подсети и автоматически выбирать и дообучать комбинацию этих подсетей, оптимальную для конкретной задачи. Это всё ещё относительно новое направление, но я предполагаю, что в скором будущем оно станет ещё популярнее.
И снова мы в Neuromation надеемся оказаться на переднем крае тренда: в будущем мы планируем предоставлять модулярные компоненты, из которых на нашей платформе можно будет собирать современные нейронные сети. Демократизация и коммодитизация исследований в области искусственного интеллекта — наша основная цель.
Иллюстрации предоставлены автором
