ENG

Перейти в Дзен
Это интересно

Почему ошибаются алгоритмы

В сборнике «Менеджмент. Стратегии. HR: Лучшее за 2017 год» собраны важнейшие публикации журнала Harvard Business Review по вопросам менеджмента, стратегического планирования и управления кадрами. Все статьи связаны главной идеей: человеческие знания и опыт продолжают играть важнейшую роль в бизнесе, несмотря на развитие высоких технологий. Ниже с разрешения издательства «Альпина Паблишер» мы публикуем отрывок из статьи Майкла Луки, Джона Кляйнберга и Сендила Муллайнатана «Алгоритмам тоже нужны менеджеры». 

Большинству менеджеров в своей работе приходится делать прогнозы. Когда специалисты по найму решают, кого взять на работу, они прогнозируют, кто из кандидатов будет наиболее эффективен. Когда отдел продаж выбирает, какие каналы распространения использовать, он прогнозирует, где продукт будет продаваться быстрее. Когда венчурный отдел определяет, вкладываться ли в стартап, он прогнозирует, будет ли данный проект успешным.

Чтобы сделать эти и миллиард других бизнес-прогнозов, компании сегодня все чаще применяют компьютерные алгоритмы, производящие пошаговые аналитические операции с немыслимыми объемами данных на неописуемой скорости. Алгоритмы делают прогнозы более точными, но при этом создают и собственные риски.

В частности, такие ситуации могут происходить, если алгоритмы непонятны для нас. Вот широко известные примеры. Однажды сеть Netflix объявила конкурс с призовым фондом в $1 млн за разработку алгоритма, определяющего, какие фильмы понравились бы тому или иному пользователю. Команды специалистов по сбору и обработке данных объединили свои усилия и сделали соответствующий продукт. Но программа была написана для DVD, поэтому с переходом зрителей Netflix на потоковое видео их предпочтения поменялись и перестали совпадать с прогнозами алгоритма.

Вот другой пример из сферы социальных медиа. Сегодня многие сайты применяют алгоритмы для определения, какую рекламу и ссылки показывать пользователю. Когда такие программы фокусируются слишком узко, максимально увеличивая количество переходов на страницу, сайты переполняются ссылками на низкосортные статьи с заголовками-приманками. Переходы по ссылкам умножаются, но общее удовлетворение пользователей может резко снизиться.

Подобные проблемы легко предотвратить. Разрабатывая и применяя алгоритмы, а также определяя новые ресурсы данных для ряда организаций, мы поняли, что источник трудностей часто не в ошибках программирования алгоритмов, а в том, как мы взаимодействуем с ними. Чтобы избежать промахов, руководителям необходимо понять, с чем алгоритмы справляются хорошо: на какие вопросы дают ответы, а на какие — нет. Почему умные алгоритмы нас запутывают?

Фундаментальная проблема заключается в том, что люди относятся к алгоритмам и выполняющим их компьютерам так же, как к работнику, начальнику или коллеге. Но в поведении любого алгоритма есть два очень важных отличия от человеческого. Алгоритмы ужасно буквальны. Алгоритмам нужно точное управление, иначе появляются проблемы. Создатели сайтов социальных медиа, внезапно заваленных ссылками-приманками, попали в ту же ловушку. Их общая цель ясна: предоставлять наиболее привлекательные и вызывающие любопытство пользователей материалы. Чтобы сообщить это алгоритму, программисты подобрали ряд инструкций, похожих на хорошее приближение: найти то, на что пользователь будет больше всего нажимать. И это неплохое приближение: обычно люди нажимают на то, что интересует их больше всего. Но из-за решений, основанных только на этом, сайты быстро заполнились поверхностными и оскорбительными материалами, которые плохо отразились на их репутации.

Человек бы понял, что разработчики сайта имели в виду «максимально увеличить качество, измеряемое в кликах», а не «максимально увеличить количество кликов даже в ущерб качеству». Алгоритм понимает только то, что сказано точно.

Алгоритмы — это черные ящики 

В «Юлии Цезаре» Шекспира прорицатель предостерегает Цезаря: «Тебе грозят бедою иды марта». Рекомендация абсолютно ясна: Цезарю следует опасаться. Но, с другой стороны, она совершенно неразъяснима. Опасаться чего? Почему? Цезарь, опечаленный таинственной фразой, отпустил прорицателя со словами: «Он бредит. Бросим же его». Конечно, иды марта оказались плохим днем для правителя. Проблема была в том, что прорицатель дал неполную информацию. К тому же не существовало ни единой зацепки, чтобы догадаться, чего именно не хватает и насколько важным было сообщение. Как и шекспировский прорицатель, алгоритмы часто могут предсказывать будущее с огромной точностью, но без указания причин и обстоятельств событий.

Алгоритм может просмотреть все статьи в The New York Times и определить, какую из них с наибольшей вероятностью перепостят в Twitter, но сделает это без обязательных объяснений, что к этому подвигнет. Алгоритм может предсказать, кто из сотрудников в самые короткие сроки окажется наиболее успешным, не уточняя, какие качества наиболее важны для успеха. Осознание этих двух ограничений алгоритмов — первый шаг к улучшению управления ими.

А теперь рассмотрим, какие еще шаги можно предпринять для их более успешного использования.

У всех есть задачи и требования, но очевидно, что окончательный результат не всегда оправдывает средства. Мы осознаем, что есть необязательные (обычно не обсуждаемые) цели и уступки. Мы можем допустить небольшое снижение прибыли сегодня ради повышения репутации завтра. Мы можем бороться за равенство, даже если в краткосрочной перспективе это обещает организационные проблемы. Алгоритмы же, напротив, будут целеустремленно продвигаться к означенной цели.

Если вам важны промежуточные цели, нужно сформулировать их, определить и количественно выразить их значимость.

В случаях, когда эти задачи сложно измерить, держите их в приоритете, изучая результаты работы алгоритма.  В компании Google (которая оплачивала некоторые наши исследования на другие темы) проблема промежуточных целей возникла при работе с алгоритмом, определяющим, какие результаты поиска показывать. Профессор Гарварда Латания Суини обнаружила ее в процессе исследования. Оказалось, что при наборе типично афроамериканских имен, например, Латания Фаррелл, отображаются ссылки, предлагающие просмотреть записи о возможных арестах, чего не происходит в случае ввода имен вроде Кристен Херинг. Четкая цель Google — максимальное увеличение количества переходов по ссылкам — привела к ситуации, в которой ее алгоритмы, улучшаемые со временем с помощью обратной связи, стали фактически порочить людей с определенными именами. Это произошло вследствие того, что люди, искавшие те или иные имена, с большей вероятностью переходили на записи об арестах, что заставило подобные записи появляться чаще, создавая замкнутый круг. Скорее всего, это не ожидаемый исход, но без постановки промежуточной цели не было механизма, позволявшего увести от него алгоритм.

Недавно мы наблюдали важность промежуточных целей в действии. Один из нас работал в городе на западном побережье США, улучшая эффективность работы его ресторанных инспекций. Десятилетиями в этом городе подобные инспекции, как правило, проводились наугад, но чаще проверки «с пристрастием» доставались уже проштрафившимся заведениям. Выбор заведений для проверки — идеальная работа для алгоритма. И наш алгоритм нашел массу других переменных для прогнозирования, кроме уже существовавших попаданий. В результате департаменту здравоохранения было бы гораздо проще определять возможных нарушителей и затем обнаруживать проблемы, проводя при этом гораздо меньше проверок.

В департаменте одобрили идею повышения эффективности процесса и захотели реализовать ее. Мы поинтересовались, есть ли у представителей департамента какие-либо вопросы или сомнения. После неловкого молчания руку подняла одна сотрудница. «Я не знаю, как это объяснить, — сказала она, — но есть один момент, который нам нужно обсудить». Она объяснила, что в некоторых районах с более плотной застройкой имеется тенденция к большему количеству нарушений. Также оказалось, что в этих районах проживает больший процент меньшинств с низкими доходами. Она не хотела, чтобы алгоритм одержимо набрасывался на эти районы, и сформулировала промежуточную цель, связанную с равномерностью.

Мы приняли простое решение установить максимальное число проверок для каждой зоны. Таким образом достигались обе цели: и основная — выявление ресторанов, с наибольшей вероятностью имеющих проблемы, и промежуточная — гарантия, что бедные районы не подвергнутся излишнему прессингу. Обратите внимание на дополнительный шаг, позволивший нам учесть промежуточные цели: мы дали всем возможность высказать любые сомнения.

Оказалось, что люди часто формулируют промежуточные цели в виде сомнений, поэтому четкий вопрос об их наличии дает начало более открытому и плодотворному обсуждению.

Также чрезвычайно важно дать людям возможность быть откровенными и честными, чтобы говорить о том, о чем они обычно молчат. Такой подход помогает обнаружить разнообразные проблемы, но те, что мы обычно видим, относятся к справедливости и к работе с тонкими моментами. Имея базовую цель и список сомнений, разработчик алгоритма может встроить в него необходимые компромиссы. Часто это означает расширение цели до различных исходов, распределенных по важности.

Следите за нашими новостями в удобном формате
Перейти в Дзен

Предыдущая статьяСледующая статья