Модернизация платформы обработки данных на PHP

Модернизация монолитной платформы на PHP и Symfony с разделением процессов обработки данных, переходом на специализированную базу для хранения данных, объединением логов в единую систему и расширением автоматизированного тестирования.

О клиенте

Наш клиент разрабатывает и поддерживает платформу для обработки данных, которая собирает информацию из различных внешних источников, хранит историю операций и формирует аналитические отчеты. Система включает пользовательский портал, внешние интеграции, несколько каналов обмена данными, фоновые задачи и инструменты мониторинга.

Платформа разрабатывалась и расширялась на протяжении многих лет. По мере накопления новой функциональности в монолитном приложении и увеличения объема хранимых данных существующая архитектура стала ограничивать дальнейшее развитие системы. Внесение изменений в критически важные компоненты становилось все более сложным и рискованным процессом.

Основное приложение было построено на PHP 7 и Symfony. Для дальнейшего развития платформы клиенту потребовалось модернизировать архитектуру, усовершенствовать процессы обработки данных и создать более гибкую основу для сопровождения и расширения системы.

  • Платформа: Веб-приложение
  • Отрасль: Обработка данных, аналитика
  • Тип проекта: Модернизация платформы

Задача проекта

Основная задача заключалась в модернизации существующей монолитной платформы без нарушения бизнес-логики и действующих процессов обработки данных. Команда СКЭНД выявила несколько ключевых проблем:

  • Временные сбои могли блокировать последующие операции, а механизмы повторной отправки и обработки ошибок не были унифицированы для разных каналов обмена данными.
  • При формировании отчетов приложение загружало полные записи и обрабатывало их самостоятельно, что снижало производительность при увеличении объема исторических данных.
  • Логирование в разных каналах не было унифицировано, а сообщения не имели сквозных идентификаторов. Инженерам приходилось вручную сопоставлять записи, поскольку поиск и повторная обработка сообщений с ошибками не были предусмотрены.
  • Монолит объединял тесно связанные компоненты бизнес-логики и имел ограниченное покрытие автоматизированными тестами. Это повышало риск регрессий при изменении обработки данных, формирования отчетов и биллинга.

Обзор проекта

Команда СКЭНД модернизировала платформу по четырем направлениям: обработка сообщений, хранение исторических данных, логирование и архитектура монолита. Работы проводились поэтапно, без нарушения существующих бизнес-процессов.

Для разделения обработки сообщений команда внедрила отдельные сервисы на PHP 8.3 и RabbitMQ, сохранив бизнес-логику в основном приложении. Также была подключена TimescaleDB для хранения исторических данных. Переход включал параллельную запись, автоматическую сверку данных и постепенное переключение операций чтения.

Кроме того, команда объединила логи в Elasticsearch и Kibana, настроила сквозное отслеживание сообщений и их повторную обработку. В монолите выделили основные предметные области и расширили набор автоматизированных регрессионных тестов.

Решение

СКЭНД реализовала комплекс технических изменений, направленных на повышение надежности обработки данных, упрощение сопровождения платформы и снижение рисков дальнейшего развития системы.

  • Разделение обработки сообщений. Команда вынесла прием сообщений в отдельные сервисы на PHP 8.3 и связала их с основным приложением через RabbitMQ. Входящие данные и исходящие команды стали обрабатываться независимо, а бизнес-логика осталась в основном приложении.
  • Повторная обработка сообщений. Для каждого потока настроили правила доставки и обработки ошибок. Сообщения, которые не удалось обработать, стали сохраняться отдельно, чтобы их можно было найти и отправить повторно.
  • Миграция исторических данных. Команда подключила TimescaleDB параллельно с существующей базой. Данные записывались в оба хранилища, автоматически сверялись, а затем операции чтения постепенно переводились на новую базу. При необходимости сохранялась возможность вернуться к прежней.
  • Оптимизация хранения. Команда исправила ошибки переноса и сверки, которые могли приводить к потере или дублированию записей, а также оптимизировала индексы и структуру архива.
  • Централизация логирования. Логи из разных каналов объединили в Elasticsearch, а для их поиска и анализа настроили Kibana.
  • Отслеживание сообщений. Каждому сообщению присвоили единый идентификатор, по которому можно было проследить все этапы обработки, найти причину ошибки и повторно запустить обработку.
  • Упорядочивание архитектуры монолита. Команда выделила основные области приложения: пользователи, интеграции, данные, вычисления и аналитика.
  • Расширение тестирования. Регрессионные тесты охватили пользовательские сценарии, бизнес-сущности, отчеты, прием данных, фоновые задачи и проверку прав доступа. Это помогло зафиксировать текущее поведение системы и снизить риск ошибок при дальнейших изменениях.

Технологический стек

Для модернизации платформы использовались следующие технологии:

  • Бэкенд: PHP 8.3
  • Фреймворк: Symfony
  • Брокер сообщений: RabbitMQ
  • База данных временных рядов: TimescaleDB
  • Централизованное логирование и поиск: Elasticsearch
  • Визуализация и анализ логов: Kibana

Результаты

В результате платформа получила более надежную основу для дальнейшего развития, а команда — возможность безопаснее вносить изменения и поддерживать существующую функциональность. Основные результаты проекта включали:

  • Рост тестового покрытия. Количество тестовых классов увеличилось более чем в 10 раз.
  • Высокое покрытие основного модуля. Покрытие кода автоматизированными тестами по строкам достигло 93,53%.
  • Снижение риска регрессий. Расширенное тестирование позволило контролировать изменения и сохранять существующую функциональность приложения.
  • Повышение прозрачности архитектуры. Выделение предметных областей упростило понимание структуры монолита и дальнейшее сопровождение его компонентов.

Нуждаетесь в разработке похожего проекта?

Свяжитесь с нами

Мы любим новые проекты! Напишите нам, и мы ответим вам в ближайшее время.

Спасибо, что написали нам! Ваше сообщение было успешно отправлено. Мы обязательно ответим на него в ближайшее время. Пожалуйста, проверьте, получили ли Вы от нас письмо-подтверждение на указанную Вами почту.