Задача
Проект столкнулся с несколькими проблемами:
- Извлечение ключевых данных из разных форматов сообщений
- Эффективная обработка большого объема сообщений
- Экономичное использование услуг LLM
Решение
Наш подход включал в себя:
- Создание разнообразной тестовой базы сообщений
- Разработку промптов для извлечения данных
- Реализацию прототипа решения на основе очередей
- Тестирование и оптимизацию производительности LLM
- Балансировку производительности и бюджета
- Развертывание окончательной версии решения
Обзор решения
Наше решение автоматизирует извлечение запросов на грузоперевозки из чатов групп Telegram и преобразует их в структурированные записи в базе данных для удобного поиска. Это решение реализовано в виде бота Telegram с правами администратора, который обрабатывает входящие сообщения.
Бот постоянно мониторит чат, проверяя новые запросы на перевозку. При обнаружении нового запроса он добавляется в очередь для обработки, что обеспечивает непрерывный поток данных.
Чтобы обеспечить точность данных и избежать дублирования, система сначала проверяет базу данных на наличие схожих запросов, зарегистрированных в последние 24 часа. Если таких записей нет, сообщение отправляется на дальнейший анализ.
Ключевой частью нашего решения является использование локальной LLM-системы, оптимизированной для оборудования Nvidia RTX. Эта настройка позволяет извлекать важную информацию из сообщений и представлять её в виде JSON-выводов, которые упорядочивают детали грузоперевозок.
Мы применяем многократные промпты для извлечения данных, специально настроенные для комплексного анализа информации. Эти промпты регулярно корректируются на основе данных из журналов, что обеспечивает точное извлечение даже из сложных сообщений.
Выбор локального решения LLM вместо внешних сервисов, таких как OpenAI ChatGPT или Anthropic Claude 3, был основан на его экономичности и лучшей производительности на нашем собственном оборудовании.
В итоге наше решение сочетает эффективную обработку сообщений с передовым извлечением данных на основе ИИ, обеспечивая эффективную обработку большого объема сообщений с минимальными операционными затратами.
Ключевые особенности
- Обработка до 4000 сообщений в день
- Использование экономичного локального решения LLM
- Интеграция с ботом Telegram для бесперебойной работы
Результат
Благодаря выдающимся когнитивным способностям моделей LLM и продуманной архитектуре команда смогла:
- Извлечь список запросов на перевозку из сообщений разного формата
- Эффективно обрабатывать 3000-4000 сообщений в день
- Значительно сократить затраты при использовании локальной модели