Миграция работы с данными на российские платформы

Что делаем, ценность

Хранилищные и аналитические решения корпоративного уровня можно делать на российских платформах. Команда BI.Qube выполняет миграцию работы с данными на технологии open source и ПО, включенное в Реестр российского программного обеспечения. Гарантию успешного результата дает выполнение пилотного проекта, на котором выявляются проблемы миграции с иностранных программных продуктов. Совместно с заказчиком проверяется работа критически важные для бесперебойной работы функции и возможности внедряемой платформы.

Запуск и реализацию пилотного проекта IT осуществляет последовательно, с разработкой на каждом этапе новых слоев обработки. Для обеспечения непрерывной интеграции данных между процессами, командами и системами используем Agile-подход и методологию управления корпоративными данными DataOps и DevOps.

Результатами пилотных проектов команды BI.Qube являются созданные «под ключ» системы, которые содержат технологии для полного цикла работы с данными. Архитектура решения включает модули извлечения и транспортировки (ETL), хранения (Staging), построения модели данных (DWH), интерфейсы пользователя (в виде дашбордов, таблиц, интеграции с системами-потребителями). Такой результат можно передать в продуктивную эксплуатацию и масштабировать, добавляя новые данные для реализации более широкого круга задач на единой проверенной платформе.

В чём сложность

В чем сложность миграции

Следует понимать, что даже типовое ПО различных вендоров не дублирует «один в один» функции друг друга, в еще большей степени это касается экосистем для работы с данными. Альтернативы иностранным программным продуктам и платформам на российском рынке есть, но это неполные аналоги.

При миграции приходится подбирать и комбинировать несколько отдельных программных продуктов для оптимального решения бизнес-задач конкретной компании без потери функциональности и производительности. Нужно изучить, как все организовано и работает в решении, реализованном на иностранном ПО, а затем наиболее точно повторить все то же с использованием возможностей разрозненного отечественного ПО или продуктов open source.

Нужен опыт работы c open source решениями, их администрирования, практика написания запросов на различных диалектах SQL, и др. Такой проект из-за высокой сложности является более трудоемким, в сравнении с аналогичным проектом на стеке Microsoft или Oracle.

Например, в дополнение к знанию (T-SQL, диалект MS SQL Server) ещё (PL/pgSQL, диалект PostgreSQL), для ETL (MS Integration Services), MDX, DAX нужно +

Специальный инструментарий

Специальный инструментарий и типовые решения для быстрого пилота

Команда BI.Qube обеспечивает подтверждение возможности импортозамещения в сжатые сроки и с фиксированным бюджетом. Мы решаем большинство управленческих и технологических задач:

Построение DWH, data lake, ODS
Business Intelligence и оптимизация процессов на основе эвристик или ML
Визуализация данных
Создание и ведение любых справочников, проектирование систем нормативно-справочной информации с формированием золотой записи
Гибкие механизмы правил и аллокация по сложным условиям
Консолидация данных из разрозненных систем
Обеспечение и контроль качества, рассылка уведомлений
Low-code разработка эффективных процессов извлечения, трансформации и загрузки данных
Оптимизация хранилищ данных, дашбордов, аналитических витрин, BI-моделей
Система налогового мониторинга
Взаимосвязанные дашборды и отчеты, в т.ч. и для мобильных устройств

Для быстрой проверки архитектуры на новых технологиях мы готовы переносить корпоративные решения с иностранных платформ на российские, применяя опробованный стек технологий:

Для хранилищ и озер: HDFS, PostgreSQL, Postgres Pro, Greenplum, Arenadata
Для ETL: Airflow, Kafka, NiFi
Для витрин данных: Clickhouse (Arenadata)
Для визуального слоя: Yandex DataLens, Apache Superset

Также используем собственные инструменты BI.Qube, которые обеспечивают возможность реализации быстрого пилота за счет оптимизации и автоматизации многих процессов разработки, таких как:

Формирование метаданных
Подключение разнородных источников
Построение масштабируемого КХД по методологии DataVault
Master data management (MDM)

Инструменты BI.Qube организуют и структурируют использование open-source платформ, но при этом являются надстройкой и оркестратором. Это значит, что при необходимости open-source решение может эксплуатироваться в дальнейшем и без них.

На этапе планирования применяем методики организации работ Waterfall, а при реализации – Agile. Такое сочетание подходов при работе с данными дает синергетический эффект, благодаря чему процесс разработки и внедрения проходит еще быстрее и результативнее.

Типовые решения

Проекты на open source платформе – реальная альтернатива проприетарным решениям

BI.Qube создает основу информационной системы, масштабируемой по функциональности и производительности. Проектная команда помогает выбрать платформу, которая реально работает применительно к специфике заказчика.

Пилотный проект – это возможность в сжатые сроки и в ограниченном бюджете убедиться, что технологии подходят заказчику на примере решения практической задачи.