ENG
Нейросети и технологии машинного обучения сегодня на пике спроса и популярности. Используются они для распознавания текстов и объединены общим названием — Optical Character Recognition (OCR). Как они работают, какие документы умеют распознавать и почему этот процесс стоит доверить именно нейросетям?
Распознать все (но не сразу)
Нейросеть может распознать практически любой текст. Но лучше всего технология работает с печатными текстами высокого разрешения — от 300 dpi. При этом документ должен быть ровно сфотографирован или отсканирован, в нем не должно быть засветов, помятостей, пропусков и других искажений.
На проектах по распознаванию наша команда часто сталкивается с запросами заказчиков на оцифровку рукописных текстов. Они по-прежнему встречаются в банковском секторе (различные анкеты, опросники и так далее), страховой сфере, образовании (бланки ЕГЭ). С ними нейросети пока справляются не так легко. Технология совершенствуется на протяжении последних 5–6 лет, но все еще нет настолько хорошо обученных нейронных сетей, распознающих рукописный текст со 100%‑ной точностью. Кроме того, он бывает разным, что тоже добавляет сложностей.
Например, почерк инженера-конструктора, который вручную заполняет чертежи, система распознает довольно легко, так как он приближен к печатному тексту, содержит одинаковые межбуквенные интервалы, а все буквы похожи на один и тот же шрифт. А вот почерк обычного человека нейросетям распознать иногда сложно, так как он содержит большое количество соединений между буквами и распознать нейросетью их трудно. Как и знаменитый «нечитаемый» почерк врачей. Поэтому, если человек не может визуально распознать, что написано, то нейросеть с этой задачей тоже не справится.
Мы как-то решили протестировать одно из решений по распознаванию текстов и отсканировали написанную мной страницу, а пишу я не самым разборчивым почерком. Итог — система «сломалась», миссия оказалась для нее невыполнимой.
Зачем доверять распознавание нейросетям
Они это делают быстрее, не допускают ошибок и самое главное — сокращают трудозатраты на обработку документов. Например, если бухгалтер вручную вносит данные из первичной бухгалтерской документации, то делает это в разы медленнее решения на базе искусственного интеллекта и рискует допустить ошибки.
Платформы по распознаванию на основе нейросетей могут обрабатывать до сотен тысяч документов в сутки. Объемы зависят от мощности вычислительных ресурсов.
Для максимального ускорения процесса и миграции данных используются не только нативные интеграции, но и программные роботы. Они помогают в автоматическом режиме переносить данные из системы распознавания в учетную систему компании или электронный архив.
Кроме того, роботы могут проверять документы на подлинность. Сначала нейросеть распознает в договоре карточку контрагента, а затем робот сверяет данные с различными ресурсами или другими документами.
Что умеют нейросети
Помимо простого распознавания для дальнейшего переноса данных в другие системы, нейросети способны:
- распознавать наличие артефактов (штампы, печати) для понимания юридической силы документа;
- искать сущности и сверять их актуальность;
- определять комплектность документа по атрибутам. Система помогает проверить юридическую силу всего комплекта и его целостность, определяет тип документов, ищет экземпляры, которые требуют ручной обработки, а также выполняет кросс-проверку.
Кроме того, решения на основе нейросетей могут извлекать метаданные и сущности из документа и сверять их со справочниками.
Как это работает
Первый шаг — ввод документов. Это может быть выгрузка электронных версий из «горячей» папки в систему или бумажных экземпляров в сканер. Именно на этом этапе можно проверять полноту комплекта. Если какого-то документа не хватает, система сама попросит его догрузить.
Второй шаг — обработка документов. Нейросеть извлекает данные, проверяет наличие необходимых атрибутов, корректности расчётов и т. д. Третий шаг — верификация данных. На этом этапе проверяется корректность всей информации. Если нейросеть не распознала полностью документ, она отправляет данные человеку на ручную корректировку.
Четвертый шаг — экспорт документов. Например, в систему учета или архив.
Кейсы из практики
У заказчика в общий центр обслуживания поступало порядка 100 тысяч документов в месяц. Для обработки использовалась система распознавания всего потока документов, процесс выполнялся непосредственно на сервере, не контролировался пользователями и отсутствовал этап верификации. Для переноса документов в архив было необходимо проверять, как заполнились их карточки. Ключевыми пользователями системы были сотрудники склада, бухгалтерия, HR, администрация и отдельные группы менеджеров.
После внедрения нового решения процесс удалось выстроить иначе. Теперь 95% документов попадают в архив без распознавания, так как сначала система считывает штрих-код и QR-код пакетов документов. Далее распознавание происходит по заранее подготовленным шаблонам. На верификацию отправляются те документы, которые требуют внимания специалиста.
Время обработки документов сократилось с пяти минут до одной минуты на один документ. Если раньше надо было открыть карточку, документы и сверить с нераспознанными, то сейчас это делается автоматически. Также были оптимизированы расходы.
В одном из вузов требовалось внедрить систему распознавания для анализа наличия подписей и печатей в документах. Ранее учебное заведение использовало решение, которое просто регистрировало документацию и выгружало в архив без проверки. Из-за этого часть документов архивировалась без нужных атрибутов, что в дальнейшем приводило к спорным ситуациям с контрагентами и долгим поискам необходимого бланка.
В ходе проекта была создана нейронная сеть для анализа наличия подписей и печатей в документах. Также проверку прошел весь ранее сформированный архив. Точность распознавания составляет сейчас порядка 96%.
Кроме того, для работы с документами используются программные роботы. Трудозатраты сотрудников университета сократились в 5 раз, а риск возникновения каких-либо споров с контрагентами сведен к минимуму.
***
Несмотря на то, что сейчас все компании стараются уходить от бумажного документооборота, системы для распознавания по-прежнему актуальны и нужны. Нейросети помогают бизнесу ускорять рабочие процессы, обрабатывать и проверять документы. А так как системы постоянно совершенствуются, то в перспективе нас ждет повышение процента постоянной точности распознавания, в том числе рукописных текстов.
