Обзор нашего клиента
Наш клиент — продуктовая компания, разрабатывающая low-code платформу нового поколения для корпоративной среды с большими объемами данных и сложными бизнес-процессами. Компания ориентирована на то, чтобы помочь организациям быстрее проектировать, внедрять и масштабировать бизнес-приложения, сохраняя строгий контроль над производительностью, целостностью данных и затратами на инфраструктуру.
Целью было создать платформу, управляемую моделями, которая сочетает скорость лоукод разработки с возможностями профессиональных инженерных инструментов. Платформа должна была обрабатывать операции в реальном времени и очень большие объемы данных. Также необходимо было обеспечить гибкие варианты развертывания — как локально, так и в облаке. Решение разрабатывалось для предприятий, которым требуется быстрая разработка приложений при одновременном обеспечении долгосрочной масштабируемости.
Задача
Клиент поставил задачу создать платформу, способную поддерживать нагрузки корпоративного масштаба, однако для того чтобы продукт был пригоден для реального использования, необходимо было решить ряд технических задач:
- Огромные объемы данных. Система должна была надежно хранить и обрабатывать миллиарды записей, сохраняя при этом отклик, ожидаемый от бизнес-платформы, работающей в реальном времени.
- Гетерогенные требования к данным. Необходимо было сочетать строгую транзакционную согласованность для чувствительных областей, таких как финансовые операции и контроль доступа, с гибкостью, необходимой для обработки больших объемов неструктурированных данных.
- Баланс между простотой и функциональностью. Платформа должна оставаться простой для моделирования и настройки, при этом предоставляя расширенные возможности, такие как скриптинг, отладка и полноценные инструменты разработки.
- Оптимизация стоимости и производительности в облаке. Клиенту также требовался подход, позволяющий переносить исторические данные в облачные уровни хранения без потери возможности эффективно выполнять аналитические запросы.
Краткий обзор проекта
В рамках проекта мы разработали высоконагруженную low-code платформу моделирования, предназначенную для поддержки сложных корпоративных приложений и работы с огромными объемами данных. Решение построено на гибридной архитектуре, разделяющей транзакционный и масштабируемый слои данных, при этом движок моделирования позволяет командам определять схемы, бизнес-процессы и бизнес-логику, автоматически генерируя пользовательские интерфейсы, сочетая быструю разработку с производительностью и гибкостью корпоративного уровня.
- Регион: Глобальный
- Отрасль: Корпоративное ПО / Большие данные
- Тип проекта: Высоконагруженная low-code платформа моделирования
Решение
В результате мы реализовали low-code платформу моделирования корпоративного уровня, предназначенную для высоконагруженных сред и работы с большими данными. Решение сочетает архитектуру, управляемую моделями, с автоматической генерацией пользовательского интерфейса, функциональным высокоуровневым DSL с поддержкой интегрированной IDE и отладчика, а также гибридный подход к хранению данных: MS SQL Server используется для транзакционных данных, MongoDB с автоматическим шардингом — для крупномасштабных наборов данных, а облачное хранилище — для экономичной аналитики. Это позволяет платформе масштабироваться до миллиардов записей при сохранении производительности и гибкости.
Ключевые возможности
- Интегрированная IDE и отладчик. Полноценная среда разработки для создания, тестирования и отладки сложной бизнес-логики.
- Гибридное кластерно-ориентированное хранилище. Автоматический шардинг в MongoDB в сочетании с надежным управлением MS SQL Server для транзакционных данных, ролей и финансовых операций.
- Встроенный скриптовый язык (DSL). Высокоуровневый гибкий предметно-ориентированный язык, позволяющий продвинутым пользователям задавать логику в терминах моделирования без использования языков программирования общего назначения.
- Автоматическая генерация UI. Динамическое создание интерфейсов на основе схем данных и бизнес-процессов, что значительно ускоряет разработку приложений. Несмотря на существующие решения, платформа генерирует насыщенный и современный веб-интерфейс на базе ExtJS и/или React с корпоративными сложными компонентами, такими как древовидные таблицы, таблицы, графики и интерактивная визуализация.
- Интеграция с облачным Data Lake. Поддержка AWS S3 и Google Cloud Storage с возможностью выполнения SQL-запросов к данным в форматах JSON и Parquet через AWS Athena. Также поддерживается интеграция с внешними REST JSON / WebServices API, а также импорт данных из различных форматов из облачных сервисов, таких как Dropbox, Google Drive и OneDrive.
- Движок бизнес-процессов. Встроенные возможности для определения и выполнения сложных бизнес-процессов.
Технологический стек
Для разработки ИИ-платформы мы использовали следующие технологии:
- Основное моделирование: Low-code движок моделирования / DSL.
- Инструменты разработки: Интегрированная IDE и отладчик логики.
- Реляционная база данных: MS SQL Server (пользователи, права доступа, финансы).
- NoSQL / большие данные: MongoDB (с автоматическим шардингом).
- Облачное хранилище: AWS S3, Google Cloud Storage (GCS).
- Аналитический движок: AWS Athena (запросы к данным в форматах Parquet/JSON).
- Форматы данных: JSON, Apache Parquet.
Результаты
- Экстремальная масштабируемость. Платформа способна обрабатывать миллиарды записей, что делает ее подходящей для корпоративных сред большого масштаба и приложений с интенсивной обработкой данных.
- Сокращение цикла разработки. Автоматическая генерация пользовательского интерфейса и скриптинг на базе DSL позволяют командам создавать и запускать сложные приложения за недели, а не месяцы.
- Финансовая целостность. Выделенный слой на базе SQL обеспечивает согласованность и безопасность для критически важных транзакционных областей, таких как финансовые операции и контроль доступа.
- Эффективность облака. Использование S3-совместимого хранилища и серверлес-аналитики (Athena) значительно снижает долгосрочные затраты на хранение и обработку данных.