image.jpeg

Как известно, международные аналитические платформы покинули рынки РФ и Беларуси. У многих бизнесов возник закономерный вопрос: а каким способом и с помощью каких продуктов проще всего осуществить переход с продуктов Qlik/Tableau/Power BI.  

Для нас, в A2 Consulting тема миграции с зарубежных BI‑решений не является новой. За последние пять лет мы реализовали десяток проектов, в которых осуществляли миграцию из аналитических платформ в другие решения, прежде всего, в части хранилищ данных (ХД). Расскажу сегодня об опыте миграции с такого известного BI‑инструмента, как Qlik.

Зачем мигрировать с Qlik?

Актуальность миграции данных с платформ QlikView и Qlik Sense, в которых основные данные хранятся в файловом хранилище в виде QVD‑файлов, а весь ETL выполняется средствами Qlik, сохранялась из‑за нескольких факторов:

Первая причина — желание заказчиков глубже анализировать клиентские данные и пользоваться преимуществами предиктивной аналитики. Параллельно, у компаний из других отраслей существовало несколько систем бизнес‑аналитики, и им хотелось пользоваться данными из единого источника.

1115f618a0b0302c33b247ae9effdbe7

Для реализации этой задачи данные должны находиться в отдельном хранилище, а не в системе бизнес‑аналитики. Поэтому, часть данных мы выгружали из Qlik в хранилище, а затем, постепенно, выносили их все больше и больше. При этом, QVD‑файлы в системе остаются, но используются только для последнего слоя, витрины данных.

Дополнительно, ETL выполняется другими инструментами, например, Python, а оркестрация данных — AirFlow. Теперь данными из ХД может пользовать не только QlikView/Qlik Sense, но и другие информационные системы.

Вторая причина того, что мы начали организовывать ХД отдельно от Qlik, связана с бурным развитием Microsoft Power BI (PBI). У многих заказчиков возникал вопрос о миграции с Qlik на Power BI или с дополнением существующей бизнес‑аналитики еще и отчетами в PBI. Это связано с тем, что в подписку Microsoft обычно включается большое количество лицензий на PBI и это хороший повод для того, чтобы расширить количество пользователей системы бизнес‑аналитики, не увеличивая число лицензий.

При миграции хранилища в этом случае мы часть данных выносили в Microsoft Azure и обрабатывали их MS SQL Server либо Synapse. Данные шли и в Qlik, и в PBI. Новые пользователи работали с более простыми отчетами, но количество пользователей росло.
Следующая причина популярности миграции ХД из систем Qlik — это рост количества приложений и нагрузки на сервер BI‑системы. Традиционно, по утрам пользователи сталкивались с пиком нагрузки обновления данных, и вся система бизнес‑аналитики начинала тормозить. Логичным шагом было вынести хранилище, в котором данные в том числе и обновляются, в другой инструмент.

Как мигрировать?

Первый шаг, с которого надо начинать проекты по миграции, это выбрать формат: экспресс‑миграция или создание полноценной новой BI‑системы. Экспресс‑миграция означает, что мы выбираем самый простой инструмент, копируем в него данные из Qlik, а ETL и ХД реализуем на технологиях open source. Цель такого проекта — обезопасить свою BI‑систему, в условиях, когда ее могут отключить, например, и снизить нагрузку на Qlik.

8aafc0bb52c67f766da3cc2ec05c706f

Полноценное создание BI‑решения предполагает более длительный подготовительный этап проектирования системы в формате Data World. В связи с этим нужно будет сделать не просто ETL и ХД, а разработать полноценное хранилище и далее его наполнять данными.

А что на практике?

Разберем несколько реальных проектов.

  • Игрок рынка e-сommerce использовал BI‑систему QlikView для аналитики по продажам, финансам, остаткам и закупкам. Кроме 50 пользователей QlikView маркетологи компании использовали Tableau и для них требовалось построить хранилище данных на Snowflake. Параллельно группы data scientist‑ов компании испытывала трудности с неудобной выгрузкой данных из Qlik через Excel.

Наше решение включало в себя два этапа, первый из которых занял всего 3–4 недели, а второй около 3 месяцев. Мы создали базу в MySQL, с помощью Python вынесли туда ETL, обработку, QVD‑файлы и всю их цепочку преобразования — слой выгрузки, хранения и конечные витрины для каждого приложения, сделав отдельные SQL схемы под каждое приложение.

Так как у маркетингового департамента были свои цели, и, им нужно было отдельно готовить таблицы для прогнозов и предиктивной аналитики, мы развернули отдельно хранилище на Amazon Redshift.

В результате, компания сэкономила на стоимости владения Snowflake и ускорила работу BI‑систем из-за разгрузки QlikView.

4d3aab5b7e0849158704b9f108b85922

  • Еще один проект мы реализовали в розничной сети. Ритейлер работал одновременно с QlikView и Qlik Sense, у которых были общие QVD файлы. ETL и подготовка QVD‑файлов реализовывалась на QlikView, а визуализация — в Qlik Sense. В будущем сеть планировала полную миграцию на Qlik Sense. Объем данных постоянно рос, росло и количество пользователей, а ИТ отдел устал от постоянной необходимости увеличивать мощности.
    Мы предложили альтернативное решение: чтобы не переносить данные из QlikView в Qlik Sense, мы создали data lake на Greenplum. Из этой среды обе BI‑системы стали брать данные. Таким образом, была снижена нагрузка на ночную работу систем и ускорена работа приложений за счет предварительных расчетов, которые ведутся в ХД.

Через год, сеть начала полноценный проект по внедрению ХД по модели Data World и выяснилось, что значительная часть работ уже сделана, так как создан data lake. А в прошлом году этот же ритейлер всего за три месяца смог мигрировать полностью на другую BI‑систему.

  • В третьем случае, крупный дистрибутор столкнулся с ситуацией, когда через 30 дней он терял доступ к Qlik Sense. В системе работали 100 пользователей и была реализована аналитика по продажам и управлению дебиторской задолженностью. Причем данные для Qlik Sense собирались из систем 1С из различных филиалов, расположенных в разных городах.

Здесь мы пошли по схеме экспресс‑миграции. В течение двух недель мы вынесли основной ETL и QVD‑файлы в отдельную базу данных на PostgreSQL, настроили обновление данных с помощью AirFlow и таким образом получили копию данных, которые были в Qlik Sense в отдельной базе. Далее мы сохранили технические задания по всем расчетам и полное описание демоверсии.

4e4fe292aa9467fb32c1e721a8516163

За это время ИТ‑служба дистрибутора нашла BI‑систему, в которой было решено работать в дальнейшем. В течение трех недель мы повторили аналитику для продаж в ней, а затем в спокойном режиме мигрировали другие приложения.

  • Еще один кейс клиента, у которого хранилище было реализовано на AWS, а QlikView использовался для визуализации данных. При этом cервер Qlik был зашифрован и было отключено его бэкапирование. Пришлось в экспресс‑режиме за несколько недель перерабатывать все приложения. Но так как в Qlik была только визуализация, нам удалось оперативно все скопировать.

f1d0c05960632abfbfd894a137d6a40c

Все так просто?

С одной стороны, да. Но с другой, в них есть ряд сложностей. И это не развертывание ХД, хотя этот процесс может быть трудоемким или длительным. Важным моментом при реализации таких проектов является понимание специфики технологии Qlik. Из‑за нее часть процессов необходимо проектировать по‑другому — например, модели данных и работу с правами доступа.

Важным фактором является запуск проекта миграции и обучение пользователей работе с новой системой, так как логика анализа и работы поменяется. Важно заранее продумать визуализацию — будет ли это интерфейс новой BI‑системы от вендора или вы готовы дописывать собственную визуализацию на JS.

Еще один вопрос связан с выбором конкретной технологии — open source или проприетарного решения. Здесь выбор зависит от текущей инфраструктуры компании — если кто‑то работает на технологиях Microsoft, логичнее использовать программные компоненты этого вендора. Но, безусловно, текущая ситуация в РФ и РБ заставляет все чаще делать выбор в пользу платформ с открытым кодом.

Логика бизнес‑пользователя Qlik в self‑service и цепочках анализа отличается с возможностями импортозамещающих BI‑инструментов, на которые можно мигрировать, но мы понимаем, в чем именно заключаются эти отличия и готовы делиться этими знаниями c вами.

Для получения детальной консультации по вопросу миграции и построению аналитического хранилища данных обращайтесь, пожалуйста, в отдел продаж А2 Консалтинг:

Беларусь: +375296083700 | Россия: +74993481149 | Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.