DATAGRAM

Low-code data engineering platform

Постройте Data Lake быстро и легко

СМОТРЕТЬ ВИДЕО

Хотите быстро разрабатывать аналитические решения на основе Big Data?

Используйте удобное и интуитивно понятное визуальное средство разработки

Сталкивайтесь с дефицитом специалистов в области Big Data?

Используйте опыт ваших ETL и SQL-разработчиков для визуальной разработки процессов обработки данных

Хотите упростить поддержку сложных решений, построенных на технологиях Big Data?

Вносите изменения быстро и легко за счет визуального представления потоков данных и процессов их обработки

Визуальное проектирование Data Pipelines и автоматическая генерация кода на языке Scala

Используйте всю мощь библиотек Apache Spark для пакетной и потоковой обработки данных без необходимости написания кода на Scala в ручную. Scala-код будет сгенерирован автоматически с использованием подхода Model Driven Architecture по специальным моделям.

Datagram предоставляет удобные средства для отладки и оптимизации:

Просмотр содержимого, структуры источников и приемников;

Отслеживание происхождения объектов потока данных до отдельных полей (lineage);

Частичное выполнение преобразования с просмотром промежуточных результатов;

Выполнение отдельных шагов и веток преобразований;

Просмотр сгенерированного кода приложения;

Автоматическая валидация трансформации;

Поддержка Spark Catalyst Optimizer.

Загрузка данных любых источников в 2 клика

Загружайте данные на основе метаданных источников as-is, не опускаясь на уровень разработки source-to-target мэппингов. Экспортируйте метаданные источников в Apache Atlas для выстраивания инфраструктуры Data Governance и управления данными на уровне всей организации.

Streaming Processing

Проектируйте процессы потоковой обработки данных и получайте результаты вычислений в промежуток времени до нескольких милисекунд после появления данных.

Используйте Kafka и Spark Streaming для обработки данных в потоковом режиме. Создавайте и применяйте бизнес-правила для потоков событий в реальном времени за счет нативной интеграции с BRMS.

Data Pipeline с логикой
любой сложности

Встраивайте алгоритмы Artificial Intelligence/Machine Learning и бизнес-правила в потоки обработки данных.

Out-of-box доступен самый широкий спектр инструментов по обработке данных:

Анализ на основе машинного обучения с использованием Spark MLlib (decision trees, SVM, logistic regression и т.д.);

Jboss Rules (Drools);

Широкий набор операций реляционной алгебры: join, sort, aggregation, union, selection, projections, pivot, explode arrays, sequence generation;

Spark SQL.

Поддержка DevOps и CI/CD Pipeline

Захват изменений
из репозитория

Интеграция с системами
контроля версий

Сборка
и установка модулей

Поддержка UNIT-тестов

Запуск созданных
приложений

Запуск приложения не зависит от среды разработки

Уже используют в своей работе

DATAGRAM включен в Единый реестр российского ПО. Подробнее