Наполнение сайтов контентом

Проект создан для автоматизации сбора, оценки, перевода и распространения статей определенной тематики. Контент агрегируется из нескольких десятков преимущественно иностранных источников на английском и китайском языках, перерабатывается и публикуется на собственных площадках.

Извлечение смысла, перевод, рерайт и распределение осуществляются автоматически в несколько этапов. Все процессы максимально автоматизированы, при необходимости допускают ручную правку на любом шаге.

Как это работает

1. Сбор и дедупликация — с помощью моделей эмбеддинга создаются смысловые вектора для каждой новой статьи. Если в базе знаний уже есть материал с таким же смыслом (первоначально на другом языке и впоследствии сильно переработанный), дубликат не сохраняется.
2. Оценка и ранжирование — выявляется ценность и важность каждого нового материала. Статьям выставляется рейтинг от 1 до 10. Отсекаются незначительные события и просто неинтересные посты с рейтингом ниже 6.
3. Рерайт и структурирование — текст переписывается в компактном, удобочитаемом виде на русском языке, из него удаляются частные мнения и «вода», остаётся только суть. Автоматически определяются заголовок, теги, сохраняются иллюстрации.
4. Распределение — готовые статьи прикладного характера с высоким рейтингом направляются на профильные сайты (по темам: ИИ, робототехника, e-commerce, маркетинг и др.), часть любопытных материалов остаётся здесь.
5. Доработка вручную — редактор может сгенерировать новые изображения (или видео), подправить заголовки и текст перед публикацией поста в соцсетях. Публикация в соцсетях считается этапом исключительной важности, без предварительной оценки человеком в полностью автоматическом режиме не осуществляется.

В процессе используется несколько моделей общего назначения и специализированных, что позволяет добиться высокого качества перевода и рерайта.