ENGРоссийская IT-компания Cognitive Technologies устроила первый в России батл между искусственным интеллектом (ИИ) и человеком и определила, кто на данном этапе развития робототехники лучше справляется с распознаванием дорожной ситуации. Спойлер: человек лучше видит пешеходов, а робот быстрее и точнее работает в сложных условиях.
Против искусственного интеллекта выступила команда из 17 студентов столичных вузов. Дорожные испытания проходили в сентябре-ноябре на дорогах Москвы и Подмосковья в разное время суток и при различных погодных условиях. Оценивались качество и скорость распознавания объектов дорожной сцены: дорожных знаков, пешеходов, других автомобилей.
Идея провести интеллектуальный батл пришла разработчикам случайно.
«Мы изначально не собирались сравнивать возможности человека и ИИ. У нас в планах было проведение тестирования собственной системы для беспилотного транспорта C- Pilot. Идея сравнить ИИ с человеком пришла уже по ходу испытаний», — рассказывает руководитель департамента беспилотных транспортных средств Cognitive Technologies Юрий Минкин.
По его словам, вся команда загорелась идеей определить лучшего «водителя». Программисты подчеркивают, что на данном этапе своего развития ИИ еще не может полностью заменить человека за рулем, так как пока не способен анализировать текущие дорожные ситуации во всем комплексе, поэтому специалисты Cognitive Technologies проводили сравнение возможностей распознавать отдельные объекты. Человек и искусственный интеллект прошли испытания на 27 маршрутах в населенных пунктах на скорости 50-60 км/ч. Тесты готовились таким образом, чтобы число объектов, которые появляются одновременно, не превышало трех, поскольку иначе человеку чисто технически сложно озвучить результаты детекции.
Во время тестов в автомобиле — помимо водителя и инженера-оператора — находились испытуемый, который называл замеченные во время движения объекты, и человек, который фиксировал его ответы. Параллельно велась запись результатов распознавания ИИ той же линейки объектов. По итогам тестов робот и человек показали одинаково высокую точность (около 99%) и скорость распознавания при хороших погодных и дорожных условиях.
В дождь искусственный интеллект оказался чуть точнее и быстрее в распознавании дорожных знаков — 98,3% против 97% у человека. Такой результат разработчики объясняют большей устойчивостью ИИ к подобного рода помехам при детекции объектов относительно небольших размеров.
Практически одинаково обе команды замечали другие транспортные средства, а вот пешехода на дороге человек распознавал быстрее. Естественный интеллект обошел искусственный со счетом 99,2% против 98% как ночью, так и в дождь.
«Человек — довольно сложный объект для распознавания: пешеходы не имеют постоянной формы, люди могут идти, обнявшись, взявшись за руки, нести на себе груз и т.д. И если в хороших условиях ИИ не уступил человеку, то в сложных условиях возможности ЕИ пока оказались чуть лучше», — комментирует Юрий Минкин.
Искусственный интеллект лучше проявил себя в условиях, когда объекты были видны не полностью: например, быстрее распознавал дорожный знак, закрытый ветвями дерева или стоящими машинами. Выигранные доли секунды, по мнению разработчиков, дают системе управления дополнительное преимущество для обработки и анализа информации о дорожной ситуации в целом.
Победу робот одержал и при резком переходе из света в тень и в ситуации ослепления: искусственный интеллект адаптировался к новым условиям быстрее человека, хотя время его реакции укладывалось в 1 секунду, точность при этом совпала — 98%.
В Cognitive Technologies уверены: с увеличением производительной мощности вычислителя, а также качества сенсоров и ПО преимущество искусственного интеллекта станет очевидным, как это прежде случилось в шахматах.
«Конечно, многие моменты организации и проведения исследования не могут претендовать на совершенство, и мы будем совместно с экспертным сообществом работать над развитием как методики, так и самих тестов. Но нужно понимать, что это первая в истории попытка сравнить возможности ИИ и человека. В первом приближении мы получили реальные результаты, с которыми можно и нужно считаться, на основе которых можно прогнозировать развитие направления создания ИИ для автороботов», — говорит президент Cognitive Technologies Ольга Ускова.
Результаты исследования
Автор: Анна Орешкина
