О клиенте
Наш клиент разрабатывает и поддерживает платформу для обработки данных, которая собирает информацию из различных внешних источников, хранит историю операций и формирует аналитические отчеты. Система включает пользовательский портал, внешние интеграции, несколько каналов обмена данными, фоновые задачи и инструменты мониторинга.
Платформа разрабатывалась и расширялась на протяжении многих лет. По мере накопления новой функциональности в монолитном приложении и увеличения объема хранимых данных существующая архитектура стала ограничивать дальнейшее развитие системы. Внесение изменений в критически важные компоненты становилось все более сложным и рискованным процессом.
Основное приложение было построено на PHP 7 и Symfony. Для дальнейшего развития платформы клиенту потребовалось модернизировать архитектуру, усовершенствовать процессы обработки данных и создать более гибкую основу для сопровождения и расширения системы.
- Платформа: Веб-приложение
- Отрасль: Обработка данных, аналитика
- Тип проекта: Модернизация платформы
Задача проекта
Основная задача заключалась в модернизации существующей монолитной платформы без нарушения бизнес-логики и действующих процессов обработки данных. Команда СКЭНД выявила несколько ключевых проблем:
- Временные сбои могли блокировать последующие операции, а механизмы повторной отправки и обработки ошибок не были унифицированы для разных каналов обмена данными.
- При формировании отчетов приложение загружало полные записи и обрабатывало их самостоятельно, что снижало производительность при увеличении объема исторических данных.
- Логирование в разных каналах не было унифицировано, а сообщения не имели сквозных идентификаторов. Инженерам приходилось вручную сопоставлять записи, поскольку поиск и повторная обработка сообщений с ошибками не были предусмотрены.
- Монолит объединял тесно связанные компоненты бизнес-логики и имел ограниченное покрытие автоматизированными тестами. Это повышало риск регрессий при изменении обработки данных, формирования отчетов и биллинга.
Обзор проекта
Команда СКЭНД модернизировала платформу по четырем направлениям: обработка сообщений, хранение исторических данных, логирование и архитектура монолита. Работы проводились поэтапно, без нарушения существующих бизнес-процессов.
Для разделения обработки сообщений команда внедрила отдельные сервисы на PHP 8.3 и RabbitMQ, сохранив бизнес-логику в основном приложении. Также была подключена TimescaleDB для хранения исторических данных. Переход включал параллельную запись, автоматическую сверку данных и постепенное переключение операций чтения.
Кроме того, команда объединила логи в Elasticsearch и Kibana, настроила сквозное отслеживание сообщений и их повторную обработку. В монолите выделили основные предметные области и расширили набор автоматизированных регрессионных тестов.
Решение
СКЭНД реализовала комплекс технических изменений, направленных на повышение надежности обработки данных, упрощение сопровождения платформы и снижение рисков дальнейшего развития системы.
- Разделение обработки сообщений. Команда вынесла прием сообщений в отдельные сервисы на PHP 8.3 и связала их с основным приложением через RabbitMQ. Входящие данные и исходящие команды стали обрабатываться независимо, а бизнес-логика осталась в основном приложении.
- Повторная обработка сообщений. Для каждого потока настроили правила доставки и обработки ошибок. Сообщения, которые не удалось обработать, стали сохраняться отдельно, чтобы их можно было найти и отправить повторно.
- Миграция исторических данных. Команда подключила TimescaleDB параллельно с существующей базой. Данные записывались в оба хранилища, автоматически сверялись, а затем операции чтения постепенно переводились на новую базу. При необходимости сохранялась возможность вернуться к прежней.
- Оптимизация хранения. Команда исправила ошибки переноса и сверки, которые могли приводить к потере или дублированию записей, а также оптимизировала индексы и структуру архива.
- Централизация логирования. Логи из разных каналов объединили в Elasticsearch, а для их поиска и анализа настроили Kibana.
- Отслеживание сообщений. Каждому сообщению присвоили единый идентификатор, по которому можно было проследить все этапы обработки, найти причину ошибки и повторно запустить обработку.
- Упорядочивание архитектуры монолита. Команда выделила основные области приложения: пользователи, интеграции, данные, вычисления и аналитика.
- Расширение тестирования. Регрессионные тесты охватили пользовательские сценарии, бизнес-сущности, отчеты, прием данных, фоновые задачи и проверку прав доступа. Это помогло зафиксировать текущее поведение системы и снизить риск ошибок при дальнейших изменениях.
Технологический стек
Для модернизации платформы использовались следующие технологии:
- Бэкенд: PHP 8.3
- Фреймворк: Symfony
- Брокер сообщений: RabbitMQ
- База данных временных рядов: TimescaleDB
- Централизованное логирование и поиск: Elasticsearch
- Визуализация и анализ логов: Kibana
Результаты
В результате платформа получила более надежную основу для дальнейшего развития, а команда — возможность безопаснее вносить изменения и поддерживать существующую функциональность. Основные результаты проекта включали:
- Рост тестового покрытия. Количество тестовых классов увеличилось более чем в 10 раз.
- Высокое покрытие основного модуля. Покрытие кода автоматизированными тестами по строкам достигло 93,53%.
- Снижение риска регрессий. Расширенное тестирование позволило контролировать изменения и сохранять существующую функциональность приложения.
- Повышение прозрачности архитектуры. Выделение предметных областей упростило понимание структуры монолита и дальнейшее сопровождение его компонентов.