ENGВ России каждый год пропадает более 100 тыс. человек. К счастью, более половины пропавших находятся в первый день, но часто поиски затягиваются на месяцы и даже годы. От скорости нахождения зависят здоровье и жизнь потерявшегося человека. Команда дата-сайентистов-добровольцев тренирует нейросеть для распознавания потерявшихся людей за пределами города с дрона для спасательного отряда «Лиза Алерт», чтобы ускорить процесс. Детали проекта «Инвест-Форсайт» узнал у капитана команды на Data Fest.
Слепой дрон
«Лиза Алерт» — поисково-спасательный отряд волонтеров, который занимается поиском пропавших без вести людей. Существует с 2010 года, не финансируется государством, необходимое оборудование (от батареек до специализированных автомобилей и вездеходов) получает в подарок, от спонсоров. У отряда есть свои медики, кинологи, следопыты, джиперы, квадроциклисты, воздухоплаватели и водолазы.
Недавно «Лиза Алерт» стала использовать беспилотные летательные аппараты для поиска людей, и у них возникла проблема с обработкой данных. Эта проблема решалась следующим образом — был сделан сайт, где добровольцы могли вручную отсмотреть фотографии и сказать, есть ли на ней люди. Это долго и неэффективно, через два часа такой работы люди устают и не могут продолжать, а в поисках пропавших людей критически важно время. Но специалисты по машинному обучению знают, что сделать в такой ситуации. Можно натренировать нейросеть определять по снимку, человек перед ней или какой-то другой объект, то есть сделать такой поиск автоматическим и быстрым. Сегодня многие дроны оснащены тепловизорами. Тепловизоры могут увидеть человека на фоне снега, но в лесу, летом, особенно в солнечный день они бесполезны: человека под кроной дерева не найдут. Кроме того, дроны пока летают в пределах до 30 минут без подзарядки.
Добровольцы создают дата-сет
Георгий Перевозчиков работает специалистом по компьютерному зрению в компании Rocket Lab и учится в Московском авиационном институте. Узнав о проблемах с обработкой данных у «Лиза Алерт», он решил помочь.
«Когда я пришел в “Лиза Алерт”, у меня была проблема, как получить фотографии: они были бессистемно разбросаны, у отряда не было централизованного хранения снимков. Вторая проблема — имеющиеся фотографии не были размечены (на них не были помечены люди — ред.)», — рассказывает Георгий Перевозчиков.
Когда программисты, получив их, отсмотрели, пригодными для создания дата-сета (или выборки данных в формате «множество из множеств признаков») оказалось всего 12 штук. Поэтому они решили собирать свой собственный дата-сет, выработали стандарты — с каких камер производить съемку людей с дронов, как должен летать беспилотник и пр. Это нужно, чтобы облегчить обработку данных нейросетью. Так, беспилотник летал перекрестными галсами — сначала змейкой — вверх-вниз, вверх-вниз, покрывая квадрат, а потом влево-вправо, влево-вправо. Он это делал на высоте в 50 метров и фотографировал взрослых людей, для поиска детей нужно летать на высоте в 40 м. Так было получено 500 снимков; через пару недель количество снимков вырастет вдвое. В проекте участвуют не только программисты, но и просто волонтеры. Дата-сайентисты нашли в интернете похожий дата-сет — съемка людей велась с беспилотников, вертикально, а не под углом, что очень важно для разметки снимков. Получив снимки, команда перешла к обучению моделей, валидируя данные на фотографиях, полученных в реальных поисках. На данный момент количество размеченных снимков, используемых для обучения нейросети только для зимнего сезона, превышает 1 миллион.
Все работы с нейросетью выполняют добровольцы: их сейчас примерно 15 — это некоммерческий open source-проект. И разметчики, и программисты не получают деньги за свою работу. Для разметки не нужно иметь каких-то специальных знаний, ее может сделать любой человек. Разметка одной фотографии, если известно, что на ней человек, занимает 2-5 минут. Сама операция выглядит следующим образом — на снимке земной поверхности в определенных местах лежат люди, разметчик выделяет каждого человека рамочкой и отправляет сохраненные данные дата-сайентисту. Для процесса используется в основном программа Retina Net — Resnet-50. Программа была переделана Перевозчиковым под нужды проекта.
Программа будет готова к осени
В итоге появится сервис, который будет обучать нейросети поиску потерявшихся людей.
«Наша цель — облегчить работу по поиску пропавших людей, особенно детей (на это делается особенный упор при создании фотобанка), чтобы любой пилот в поисково-спасательных операциях “Лиза Алерт” мог пользоваться нашей программой, чтобы не люди искали пропавших, а нейросеть», — говорит Георгий Перевозчиков.
На данный момент программа уже способна обрабатывать 1 кадр в секунду. Есть задача довести скорость программы до 26 кадров в секунду, что позволит в дальнейшем обрабатывать видео при помощи нейросети.
Программу не планируется продавать, она будет распространяться бесплатно. Сейчас нейросеть уже способна хорошо распознавать людей в зимних условиях, потому что проект был начат зимой. Летом будут собираться данные в летних условиях, и, скорее всего, к концу лета программа будет внедрена на летательных аппаратах «Лиза Алерт». Для этого уже заказано соответствующее оборудование. Полученные снимки дрон или вертолет посылает в «Лиза Алерт» немедленно, если есть интернет; если нет, летит к поисковой группе.
Программа может использоваться не только для поиска пропавших людей, но и поиска любых графических образов, если ее натренировать. Однако продукт разработан исключительно для гражданского применения, подчеркивают в «Лиза Алерт».
Кстати, АФК «Система» объявила конкурс на разработку технологии поиска потерявшихся людей с призовым фондом $1 млн. Участники конкурса должны представить технологическое решение, которое поможет найти потерявшегося человека без источника связи и сделать это максимум за десять часов в любое время суток и при любой погоде. Итоги конкурса будут подведены в ноябре 2019 года.
Правда, разработчики нейросети не участвуют в конкурсе АФК «Система», так как он ориентирован на разработку новых летательных аппаратов. Но, по словам Перевозчикова, их программа может быть использована производителями беспилотных дронов.
Автор: Наталья Кузнецова
