Как CV-сервис достиг 10 миллионов проверок фото в месяц: инженерные решения и вызовы

В последние годы компьютерное зрение (CV) стало неотъемлемой частью множества сервисов, и один из таких проектов сумел вырасти с минимально жизнеспособного продукта (MVP) до впечатляющих 10 миллионов проверок фотографий в месяц. Однако за этим успехом стоит не только использование современных моделей, но и продуманная инженерная работа, позволяющая справляться с реальными вызовами, возникающими в процессе эксплуатации.

Путь от MVP до масштабирования

Создание MVP — это лишь первый шаг на пути к успешному продукту. Важно не только запустить сервис, но и обеспечить его стабильную работу под нагрузкой. В данном случае команда разработчиков столкнулась с необходимостью обработки огромного объема данных и запросов, что требовало тщательной оптимизации всех процессов.

Проблемы классификации: от фарша до грязи

Одной из главных проблем, с которой столкнулись разработчики, стал универсальный классификатор, который не всегда мог правильно различать объекты. Например, он путал фарш с грязью. Это подчеркивает важность качественной аннотации данных и обучения моделей. В некоторых случаях, несмотря на высокую степень автоматизации, часть анкет все же лучше передавать на проверку человеку. Это позволяет избежать ошибок, которые могут привести к серьезным последствиям.

Мониторинг качества моделей

Ключевым аспектом успешной работы CV-сервиса является мониторинг качества моделей. Важно не только обучать их на актуальных данных, но и регулярно проверять их эффективность в реальных условиях. Сезонные изменения, новые тренды и даже изменения в пользовательских предпочтениях могут существенно влиять на качество работы моделей. Поэтому команда внедрила систему мониторинга, которая позволяет отслеживать производительность и вносить корректировки в реальном времени.

Технологический стек: от CNN до Kafka

Для обработки изображений и выполнения классификации команда использует 26 различных моделей, включая сверточные нейронные сети (CNN) и векторные языковые модели (VLM). Для обеспечения высокой производительности и масштабируемости был выбран Triton, который позволяет эффективно управлять ресурсами. Также в архитектуре используется Kafka для обработки потоков данных, что обеспечивает надежную и быструю передачу информации между компонентами системы.

Human-in-the-loop: сочетание автоматизации и человеческого контроля

Важным элементом в работе сервиса является подход Human-in-the-loop. Он позволяет комбинировать автоматизированные процессы с человеческим контролем, что особенно актуально в случаях, когда требуется высокая степень точности. Это решение помогает минимизировать ошибки и повышает доверие пользователей к сервису.

Баги под нагрузкой и адаптация к изменениям

С увеличением нагрузки на сервис неизбежно возникают баги, которые необходимо оперативно исправлять. Команда разработчиков постоянно работает над улучшением стабильности и производительности системы. Реальный мир меняется быстрее, чем обучающая выборка, и это требует гибкости и готовности к изменениям. Регулярные обновления и адаптация моделей к новым условиям становятся залогом успешной работы.

Веган-версия ИИ

В последние годы также наблюдается рост интереса к этическим аспектам использования ИИ. Команда разработчиков уделяет внимание созданию "веган-версии" ИИ, что подразумевает использование только тех данных и методов, которые соответствуют этическим нормам. Это не только улучшает имидж компании, но и привлекает пользователей, которые ценят этические принципы.

Заключение

Таким образом, успешный рост CV-сервиса до 10 миллионов проверок в месяц стал возможен благодаря комплексному подходу к разработке и эксплуатации. Инженерные решения, мониторинг качества, сочетание автоматизации и человеческого контроля, а также внимание к этическим аспектам — все это сыграло ключевую роль в достижении поставленных целей. Команда продолжает работать над улучшением сервиса, готовясь к новым вызовам и изменениям в мире компьютерного зрения.