qlik

Вибір сервіс провайдеру для менеджменту Qlik-проєктами

Git – це розподілена система контролю версіями файлів та спільної роботи, яка була розроблена у 2005 році Лінусом Торвальдсом. У перекладі з англійської назва «git» означає «негідник». Розробник пояснює таку назву з часткою сарказму: «Я егоїстичний негідник, а тому всі проєкти називаю на свою честь. Спочатку Linux, тепер – git».

Зараз Git є найпопулярнішим і безкоштовним інструментом, який є набором утиліт командного рядка. Він дозволяє відстежити історію розробки програмного забезпечення та працювати цілими командами з будь-якої точки світу над одним проєктом. Кожна зміна додається у вигляді комітів, що дозволяє відстежити, за необхідності скасувати зміну та повернутися до попередніх версій.

Крім комфортної роботи, гнучкості та можливості вести історію розробки, використання Git значно знижує появу помилок у розробці та втрату даних. Подібними SCM-системами управління версіями є Mercurial, Subversion, Darks, Bazaar. Однак, Git має ряд переваг:

висока швидкість та прозорість;
зручність використання під час нелінійної розробки;
ефективність для проєктів будь-якого масштабу, зокрема, для великих систем із 1000 учасниками;
збереження знімків репозиторіїв, що забезпечує високу швидкість роботи;
можливість відновити код із локальної копії у разі, якщо сервер з віддаленим репозиторієм вийде з ладу;
можливість швидко завантажити код із віддаленого сервера, при пошкодженні локальної копії.

Основні завдання Git:

збереження коду та історії змін;
збереження інформації про користувача, який вносить зміни до коду;
відновлення будь-якої версії коду;
поєднання різних версій, змін версій;
підготовка коду до релізу.

Використання Git здійснюється за допомогою спеціальних хостингів та репозиторіїв.

GitHub був створений у 2008 році, а в 2018 році його викупила корпорація Microsoft за $7,5 млрд. GitHub являє собою хостинг вихідного коду, а також велику соцмережу розробників з 20 млн користувачів, які можуть переглядати коди один одного, допомагати в розробці та залишати коментарі, та 80 млн репозиторіїв по всьому світу. Користувачі можуть створювати свій репозиторій і публікувати свої роботи. Безкоштовне використання можливе лише для публічних проєктів з відкритим кодом. Платформа написана на Ruby on Rails і має велику кількість загальнодоступних проєктів із відкритим кодом.

Переваги GitHub:

безкоштовне обслуговування;
висока швидкість пошуку у структурі репозиторіїв;
велика кількість користувачів, що забезпечує швидкий пошук допомоги у вирішенні задачі;
наявність практичних інструментів для співпраці та інтеграції з Git;
легкий процес інтеграції з іншими послугами;
можливість роботи на TFS, HG, SVN.

GitLab є альтернативою GitHub, а також веб-сховищем з наданням безкоштовних відкритих і приватних сховищ. GitLab був розроблений двома українцями: Дмитром Запорожцем та Валерієм Сизовим, використовуючи Ruby та деякі частини Go. Пізніше архітектура була вдосконалена за допомогою Go, Vue.js та Ruby on Rails.

GitLab є повною платформою DevOps, що дозволяє планувати проєкт, керувати вихідним кодом, проводити моніторинг, забезпечити безпеку тощо. Він також пропонує хостинг для вікі та систему відстеження помилок. Використання GitLab значно скорочує життєвий цикл продукту та підвищує продуктивність. Це, зі свого боку, збільшує цінність клієнта.

Переваги GitLab:

легкість налаштування;
зручний інтерфейс та інструменти;
нелімітована кількість безкоштовних приватних сховищ;
можливість інтеграції великої кількості API та сторонніх служб;
надійність та безвідмовність;
можливість самостійного хостингу;
ліцензія з відкритим кодом.

BitBucket – аналог GitHub, який призначений для хостингу проєктів та їхньої спільної розробки. Сервіс був розроблений австралійською компанією Atlassian, яка створила Jira та Confluence. Він дозволяє безкоштовно створювати відкриті та закриті репозиторії на основі технологій Git, має можливість інтегруватися з Jira та Snyk та вбудованими можливостями CI/CD. Сервіс є чудовим рішенням для невеликих команд.

Переваги BitBucket:

нелімітована кількість відкритих та приватних репозиторіїв;
підтримка публічних та закритих Git-репозиторіїв;
можливість інтеграції з іншими рішеннями (Jira, Trello);
можливість інтеграції зі сторонніми сервісами (Twitter, Google Analytics);
можливість використання сервісу більше мільйона команд із 10 мільйонами розробників по всьому світу.

Jenkins є системою з відкритим кодом на основі Java. Вона забезпечує автоматизацію елементів процесу розробки ПЗ без залучення людей і безперервної інтеграції ПЗ. Jenkins широко використовується в компаніях, де є потреба в автоматичному деплойменті додатків. Система безкоштовна, працює на Windows, macOS та інших Unix-подібних ОС, а також має інтеграцію з Docker та Kubernetes. Jenkins не містить репозиторію з вихідним кодом, а підключається до вже наявних через веб-хуки. Отже, це універсальний інструмент для CI/CD незалежно від вибраного хостингу віддалених репозиторіїв.

Переваги Jenkins:

безкоштовне використання;
широкі можливості інтеграції; велика бібліотека плагінів;
велика та активна спільнота;
розподіл навантаження на різні машини;
чудовий варіант для великих проектів.

QOps може ефективно працювати з усіма перерахованими сервісами.

GitHub і GitLab включають можливість встановлення ранерів, які в подальшому будуть виконувати команди з .yml файлу, включеного до репозиторію вихідних кодів при досягненні певної події. Як правило, такою подією є відправлення вихідних кодів (push) або злиття гілок (merge) у віддаленому репозиторії. При цьому синтаксис складання .yml файлів трохи відрізняється, хоча описує ту ж саму сутність поведінки ранера та управління процесом складання програми, тестування та подальшого розгортання. Обидві хостингові системи дозволяють встановлювати свої ранери в оточенні Windows, що поки не доступно для хостингу BitBucket.

Покажемо детальніше використання QOps з вищезгаданими системами. Для GitHub .yml файл є структурованим набором етапів, який складається з послідовних кроків. У наведеному нижче прикладі описується 3 етапи – init-build-reload.

Такий вигляд має цей пайплайн за умов його успішного виконання.

Для GitLab .yml файл являє собою такий самий структурований набір етапів. Відмінностями є інше найменування ключових слів і гнучкіша робота зі змінними. На жаль, розробники не використовують уніфікований формат .yml файлу та взаємна сумісність між ними не забезпечується.

При успішному виконанні вид пайплайну, що складається з тих самих етапів представлений нижче. Тут варто відзначити, що GitLab має більш розвинену інтерактивність. Наприклад, у пайплайні можна налаштувати ручне підтвердження від користувача.

Оскільки QOps зараз працює виключно в середовищі Windows, то автоматичний пайплайн, у разі вибору BitBucket для хостингу вихідних кодів, може бути розроблений при використанні Windows-версії Jenkins. Універсальність останнього та різноманітність плагінів дозволяє пов’язати будь-який віддалений репозиторій через веб-хуки. Структура пайплайна у разі налаштування через інтерфейс самого Jenkins записується у вигляді JSON-об’єкта, і для нашого прикладу містить ті самі 3 етапи – Configuration-Build-Reload.

Результат успішного виконання пайплайну в Jenkins показано нижче. При цьому інтерфейс цікаво зіставляє результати попередніх запусків.

Більше інформації ви знайдете за посиланням

Branching strategy при реалізації масштабних Qlik-проєктів

Швидкість та гнучкість розробки ПЗ відіграють важливу роль. Однак, за одночасної роботи великої команди розробників код розгалуження та злиття може стати безладним. Такі команди необхідно забезпечити процесом одночасного впровадження змін. Ефективна стратегія розгалуження (branching strategy) є пріоритетом у вирішенні цього питання.

Branching strategy є набором правил, яким слідують розробники при написанні, злитті та розгортанні коду при використанні контролю версій. У ситуаціях, коли працюють кілька розробників і вони одночасно додають зміни, стратегія розгалуження структурує репозиторій та дозволяє уникнути плутанини злиття. Конфлікти злиття перешкоджають швидкій доставці коду, заважають створенню та підтримці ефективного процесу DevOps.

Таким чином, стратегія розгалуження створює чіткий процес внесення змін до системи. Це допомагає вирішити цю проблему та надає можливість працювати декільком розробникам паралельно та незалежно для більш швидкого випуску релізів та мінімізації конфліктів.

Стратегія розгалуження дозволяє:

забезпечити координацію між розробниками та підвищити продуктивність;
паралельну розробку;
здійснити заплановані та структуровані релізи;
внести зміни до ПЗ;
підтримувати безпомилковий код, а також можливість швидко виправляти проблеми та повертати зміни до робочого середовища без переривання робочого процесу.

Стратегія розгалуження є важливим інструментом. Довільне створення гілок Git різними розробниками може призвести до хаосу. Стратегія розгалуження дозволить перенаправити увагу на процес розробки, а не на управління версіями.

Гілки в Git представлені тегами чи покажчиками. Усі зміни відстежуються у вигляді спрямованого ациклічного графа, кожен вузол якого є набором змін, зроблених одночасно. Гілки Git надають розробникам можливість відхилятися від основної гілки та створювати окремі гілки для ізоляції змін коду. Гілкою за замовчуванням у Git є «main branch»”. Головною перевагою гілки Git є її «незначна вага». Тобто, дані складаються із серії знімків і при кожній фіксації змін Git робить знімок поточного стану файлів і зберігає посилання на нього. Такі гілки є не просто копіями, а й покажчиком на останній коміт.

Основні стратегії розгалуження Git:

GitFlow – модель, що показує можливість проводити розробку у команді та індивідуально. При цьому життєвий цикл розробки супроводжують лише 2 основні гілки (master та develop). Інші гілки є тимчасовими, за рахунок чого забезпечується постійний порядок у репозиторії;
GitHub Flow – простіша версія. Вона має тільки гілки master та feature. Поєднання всіх змін у master та часте розгортання дозволило відразу випускати зміни, що відповідає принципам виробництва та безперервної доставки;
GitLab Flow – пропонує спеціальну гілку production для керування випуском коду у продакшен. Можливе налаштування автоматичного розгортання коду з цієї гілки при кожній зміні в ній. Реліз забезпечується за допомогою злиття з гілки master у production. За допомогою цієї гілки можна отримати дані про випущену версію коду, визначити приблизний час випуску можна за часом створення мерж-комміта;
Trunk-based development – підхід, що передбачає ведення розробки на основі однієї гілки trunk. Ключовими особливостями підходу є: тимчасове існування гілок (кілька днів), continuous code review (процес перевірки та аналізу коду розробником перед релізом), готовність майстра до релізу у будь-який момент. Такий підхід забезпечує мінімізацію конфліктів при розробці, готовність до релізу без підготовки, швидкий та якісний зворотний зв’язок на PR/MR.

Приклад мердж-конфлікту та його вирішення

Розглянемо приклад виникнення мердж-конфлікту та можливі способи його вирішення з використанням QOps для контролю версій програми Qlik Sense. Для цього візьмемо Qlik Sense додаток і за допомогою QOps створимо репозиторій вихідних кодів та 2 гілки dev1 та dev2 для окремих розробників. Уявимо ситуацію, коли кожен із розробників змінив якийсь загальний елемент (наприклад, колір фону об’єктів з виведенням KPI значень).

Оскільки на рівні вихідних кодів зміни відбулися в тих самих рядках, при виконанні злиття dev1 -> master і dev2 -> master, в останньому виникає мердж-конфлікт. Вирішення мердж-конфлікту вимагає прийняття рішення, який саме з варіантів повинен бути присутнім у зведеному варіанті. Засіб розробки VSCode дозволяє в інтерактивному режимі ухвалити це рішення. Однак, це накладає додаткову відповідальність на IT-фахівця, який виконає це злиття.

Існує ризик отримати від обох розробників частини коду для загального елемента в кінцевому додатку, які можуть бути несумісними. Наприклад, після злиття можна отримати наступний результат, коли для першого об’єкта було обрано рішення Accept Incoming, а для другого – Accept Current.

Зручно проводити злиття вихідних кодів, використовуючи веб-інтерфейс систем контролю версій. Нижче наведено хід виконання Pull Request у GitHub при безконфліктному злитті.

Наявність конфліктних змін призводить до виводу відповідного попередження та додаткової інформації.

Інтерфейс GitHub дозволяє виконати дозвіл мердж-конфліктів у невеликих файлах, при цьому користувачеві потрібно вручну відредагувати вихідний код, позначений конфліктним і підтвердити зміни. У разі неможливості виконання цієї операції через веб-інтерфейс GitHub запросить виконати вирішення конфліктів локально.

Розв’яжемо наявний конфлікт протилежно описаному вище. У результаті отримуємо очікуваний результат із протилежним кольоровим розфарбуванням загальних елементів.

Детальная інформація пhо QOps тут

Переваги використання CI/CD при розробці Qlik додатків

Безперервна інтеграція (СI – Continuous Integration) та безперервна доставка (CD – Continuous Delivery) є однією з типових практик DevOps, що дозволяє розробникам надійно та оперативно розгортати зміни програмного забезпечення. Ключова відмінність від ручної розробки полягає саме в автоматизації тестування та складання коду.

Довгий час, через відсутність у екосистемі Qlik інструментів повноцінного вилучення вихідного коду програми та відповідного автоматичного його складання з вихідних кодів, практика впровадження підходу CI/CD була недоступна для розробки та ефективного управління проєктами на основі технологій Qlik.

Утиліта QOps відкриває такі можливості і для Qlik-розробників, які раніше були доступні іншим розробникам, що використовують Git-репозиторій для зберігання вихідних кодів і налаштовані ранери для автоматичних тестів і розгортання.

Розглянемо детальніші основні аспекти концепції CI/CD як практики DevOps

Безперервна інтеграція. У процесі розробки програм розробником регулярно вносяться зміни, які завантажуються в репозиторій. Автоматичне тестування та перевірка забезпечується завдяки спеціальним інструментам (наприклад, події), зі свого боку, ініціалізуючи інтеграцію як процес, що складається з набору етапів та кроків. Виконання кожного кроку супроводжується логуванням, у якому зображуються зміни.

Безперервна доставка забезпечує автоматизацію розгортання в будь-якому середовищі (продакшн, тестування, середовище розробки). Завдяки автоматичному процесу тестування та розгортання розробник має можливість приділити увагу покращенню програмного забезпечення.

Перевага CI/CD полягає у скороченні часових витрат на розробку програмного продукту, мінімізації та виявленні помилок та дефектів на ранніх етапах створення коду, скороченні часу на виправлення помилок, скорочення циклів зворотного зв’язку.

Наприклад, є сайт, що відображає аналітику продажу деякої компанії. Архітектура цього рішення включає бекенд (може бути представлений базою даних з певним ETL-процесом для обробки даних) та фронтенд (у разі використання технології Qlik – фронтенд забезпечується встановленим веб-сервером). У процесі розробки та оновлень окремими розробниками вносяться зміни до однієї або до кількох частин. Потім зміни об’єднуються в репозиторії лише на рівні вихідних кодів, проходять весь пайплайн і, зрештою, зміни відображаються відразу у всьому продукті.

Етапи циклу CI/CD:

Створення (написання певної частини коду та наступне тестування; після успішного тестування частини коду з’єднуються в одне ціле та переносяться у робочу гілку розробки);
Складання (реалізація контролю версій з використанням Git, автоматичного складання з урахуванням змін та тестування отриманого коду);
Тестування (реалізація перевірки коду командою тестувальників);
Реліз (успішне проходження коду продовжується перенесенням коду в реліз, створення робочого складання оновлення поточної версії продукту до актуальної версії);
Розгортання (трансляція поновлення на серверах розробників для оновлення програмного забезпечення до останньої версії);
Підтримка (моніторинг відгуків користувачів);
Планування (створення списку змін для майбутніх версій).

Використання QOps у життєвому циклі розробки Qlik-додатку

Зазвичай автоматизація процесів інтеграції та розгортання виконується встановленим GitHub/GitLab ранером, який інтегрований із репозиторієм. Інструменти автоматизації Bitbucket також можуть інтегруватися з трекінговою системою Jira, що спрощує процес управління завданнями, дає можливість бачити в якій галузі репозиторія знаходиться потрібне оновлення і стежити за подальшим його просуванням. Для отримання команд від ранера QOps має бути встановлений на одному з ним сервері. Це дає можливість включати команди QOps у пайплайн інтеграції та розгортання програм Qlik.

Переваги використання QOps:

відсутність необхідності вручну переносити код з одного середовища розробки до іншого;
можливість поділу проєкту на більшу кількість завдань, які можуть виконуватись паралельно;
відсутність рутинних операцій у процесі розгортання, що, зі свого боку, сприяє економії часу.

Приклад застосування QOps у пайплайні інтеграції та розгортання комплексного Qlik-додатку

Для автоматизації процесів підтримки та оновлення комплексного Qlik-додатку одного з клієнтів компанії за допомогою GitHub Actions інтегровано наступний пайплайн.

Qlik-додаток має 4-х шарову структуру (трансформери – модель – дашборд – екстрактори) та виконано в архітектурі QlikView.

Пайплайн побудований таким чином, що етап його виконання визначається ім’ям гілки Git-репозиторію, в якій відстежуються всі зміни.

Нижче наведено активні етапи, які будуть виконані у разі використання гілки з ім’ям UAT-*. Завдання такого підходу вже під час створення нової гілки підготувати необхідні файли в окремій папці для пробного розгортання нового завдання.

Після підтвердження виконання завдання виконується зведення поточної розробки з основною гілкою репозиторію та ініціалізується виконання всіх етапів процесу. При цьому в пайплайні використовується логіка відбору тільки тих файлів програми, які були змінені, і ці файли переносяться в задане оточення, наприклад продакшн.

Процес розробки самого пайплайна значно спрощує функціональна можливість ранера як використання матричних операцій до списку додатків одного типу. Таким підходом зручно обробляти трансформери, які мають схожу структуру та призначення.

Такий результат виконання послідовних кроків пайплайна в межах одного етапу. Деякі кроки, залежно від поставлених умов, також можуть бути пропущені, ігноровані або зупинені у разі виявлення помилок.

У разі виникнення помилки виконання пайплайн сигналізуватиме про це наступним чином.

Для більш детального вивчення кожного кроку виконання на кожному етапі доступний консольний висновок, завдяки якому зручно відстежувати і усувати помилки.

Отже, варто зазначити, що впровадження CI/CD у процес розробки та підтримки Qlik-додатку скоротило витрачений час на зведення результатів паралельної розробки та значно спростило процес підготовки додаткових файлів для подальшого розгортання.

Більше інформації про QOps за посиланням

Правильна візуалізація даних для ефективного робочого процесу

Оперативно отримати повне уявлення про поточну ситуацію можна за допомогою візуалізації даних. Особливо це корисно в тому випадку, коли існують складні набори даних та непов’язана інформація. На цей момент існує безліч типів візуалізації даних. Велика кількість варіантів візуалізації даних (дугова діаграма, маркована діаграма, «водоспад», «скрипка» тощо) надає велику кількість способів аналізу даних, передачі інформації та пошуку нових ідей. Однак, кожна інформація потребує певного способу візуалізації для ефективного представлення даних та задоволення інформаційних потреб. Наприклад,

Slope Chart

Ця діаграма показує зміни між двома точками. Вона ефективна за наявності двох періодів часу або точок порівняння і коли необхідно продемонструвати збільшення чи зменшення за різними категоріями між двома точками даних. Такий тип діаграми підходить для візуалізації змін у продажах, витратах, прибутках з метою отримання інформації про те, які показники зросли, які знизилися і наскільки швидко це сталося.

Calendar Heat Map

Теплові карти демонструють зміни набору даних протягом певних періодів (місяці, роки). Дані накладаються на календар, кольором відображаються відносні значення часу. Цей варіант підходить для візуалізації змін кількості залежно від дня тижня, як воно змінюється у часі (роздрібні покупки, мережна активність тощо).

Marimekko Chart

Діаграма використовується для відображення ставлення частин до цілого. Вона порівнює групи та вимірює вплив категорій у кожній групі. Зазвичай цей інструмент використовується у фінансах, продажу та маркетингу.

За допомогою Qlik можна створити будь-яку візуалізацію, яка буде найефективнішою для досягнення мети. Інтерактивні діаграми, таблиці та об’єкти надають можливість глибокого дослідження та аналізу даних, що сприяє появі нових ідей та прийняттю правильних рішень.

DataLabs є сертифікованим партнером Qlik. Високий рівень компетенції команди та індивідуальний підхід дозволяє розробити кастомне рішення. Отримати додаткову інформацію можна шляхом заповнення форми за посиланням

Система управління для покращення якості та безпеки даних

Ключовим в ефективній роботі та аналітиці даних є якість та безпека даних. Якість рішень та дій безпосередньо залежить від якості даних, які використовуються для їхнього прийняття. Це, зі свого боку, впливає на ефективність бізнесу загалом. Неякісні, неповні та неточні дані підривають весь ланцюг бізнес-діяльності, що заважає досягти бажаних результатів. У цьому випадку користувач не має повного уявлення про поточний стан бізнесу, приймає рішення та розробляє стратегію, яка буде не тільки неефективною, але і може призвести до значних збитків. Якщо немає довіри до даних, все інше не має значення навіть за наявності хорошої інформаційної системи.

Забезпечити повний контроль за активами даних можна за допомогою Data Governance та Data Integration. Ці процеси включають відстеження, обслуговування та захист даних на кожному етапі життєвого циклу даних.

Data Governance – це впровадження процесів, політик та інструментів для управління безпекою, якістю, зручністю використання та доступністю даних протягом усього життєвого циклу.

Всі процеси управління даними повинні бути автоматизовані для запобігання помилок і неточностей, які виникають в процесі ручної обробки. Завдяки автоматизації є можливість впровадити правила та політики для управління виявленням даних та оперативного покращення якості. Керований каталог даних дозволяє документування та контроль кожного активу даних, визначення та контроль прав кожного користувача. Завдяки профілюванню, каталогізації та управлінню доступом користувач отримує необхідний доступ до структурованих наборів даних та точної інформації у потрібний момент часу.

Data Integration – це платформа, що забезпечує автоматизацію всього конвеєра даних (від прийому необроблених даних до публікації готових до аналітики наборів даних). Функції дедуплікації, стандартизації, фільтрації, перевірки тощо забезпечують процес надання чистих даних. Платформа включає каталог даних із надійним контентом для аналізу та дослідження даних.

Qlik vs Power BI

Продовжимо порівнювати лідерів у сфері BI та інтеграції даних. Нижче порівняння 12 ключових характеристик Qlik та Power BI.

Інтерактивний дашборд

Qlik: можливість досліджувати дані під будь-яким кутом безпосередньо з дашборду, створення нових ідей для дослідження;
Power BI: дослідження даних обмежено механізмом SQL. Для кожного запиту аналізується лише частина даних, що заважає виявити всі закономірності та зв’язки;

Візуалізація даних

Qlik: повний набір інтерактивних візуалізацій для вільного дослідження даних;
Power BI: має повний набір інтерактивних візуалізацій. Проте, підхід, заснований на запитах, обмежує користувача у фільтрації та дослідженні;

Гнучкість розгортання

Qlik: пропонує користувачам повну свободу та контроль над даними, надає повноцінне середовище SaaS, варіанти локальної та приватної хмари;
Power BI: необхідність використання Azure (хмарна платформа, яка призначена для розробників додатків хмарних обчислень, зберігання даних);

Сукупна вартість володіння (TCO)

Qlik: нижча вартість без прихованих додаткових витрат;
Power BI: порівняно не висока вартість на початковому етапі. Проте, для масштабування потрібні додаткові витрати на оновлення;

Масштабованість

Qlik: забезпечення високої продуктивності обчислень під час роботи з великими наборами даних та даними в режимі реального часу;
Power BI: використання динамічного запиту значно сповільнює роботу. Необхідність переходу за додаткову оплату на пакет Premium для масштабування;

Самообслуговування

Qlik: забезпечує централізацію та об’єднання даних у хмарі, створення керованих моделей даних із надійним захистом. Весь контент створюється, керується та контролюється у хмарі;
Power BI: використання децентралізованого підходу, розподіл даних між робочими столами користувачів та хмарою, відсутність у користувачів можливості створювати власні візуалізації та вносити зміни до існуючих, робить керування даними дорогим та трудомістким;

Інтеграція даних

Qlik: найкращі вбудовані можливості для інтеграції, об’єднання та перетворення даних;
Power BI: інтеграція даних потребує придбання додаткових продуктів Microsoft;

Аналітика на основі ШI

Qlik: вбудований у платформу повний спектр можливостей ШI;
Power BI: додаткові функції Microsoft AI (Quick Insights та Q&A) на панелі інструментів необхідно додавати щоразу;

Розширена аналітика

Qlik: створена на основі API платформа дозволяє вбудовувати панель моніторингу, окремі числа, значення, показники в новітні веб-технології та додатки;
Power BI: можливість вбудовування дашбордів в інші програми, однак багато можливостей недоступні в SDK;

Використання платформи

Qlik: усі користувачі мають можливість виконувати на одній платформі всі дії, використовувати автоматизацію програм, автоматичне машинне навчання, отримувати оповіщення, складати звіти, проводити аналітику в режимі реального часу;
Power BI: багато варіантів використання, проте потрібні додаткові витрати на придбання повного набору продуктів Microsoft;

Мобільна бізнес-аналітика

Qlik: нативний мобільний додаток з можливістю інтерактивних онлайн та офлайн досліджень;
Power BI: є мобільний додаток, проте він дозволяє лише перегляд;

Підтримка інформаційної грамотності

Qlik: користувач будь-якого рівня знань і навичок може переглядати дані, є можливість навчання;
Power BI: доступ до самообслуговування має лише автор.

Qlik vs Tableau

Згідно звіту Gartner, лідерами у сфері BI та інтеграції даних є Qlik, Power BI and Tableau. Кожен інструмент має багато переваг. Однак, щоб зробити правильний вибір, необхідно чітко розуміти потреби бізнесу, його завдання та цілі, потенційну цінність від впровадження BI-аналітики у робочі процеси різних відділів компанії тощо. З розумінням бізнес-потреб та можливостей кожного інструменту, легше зробити правильний вибір.

Порівняння 12 ключових характеристик Qlik та Tableau

Візуалізація даних – візуалізація даних за допомогою інтерактивних діаграм, графіків та карт. Це дозволяє детально вивчати дані у будь-яких напрямках, виявляти взаємозв’язки тощо.

Qlik: має повний набір інтерактивних візуалізацій. Асоціативний механізм дозволяє користувачеві досліджувати дані з усіх боків, а машинне навчання допомагає виявляти нові ідеї для дослідження даних та пропонує нові візуальні ефекти;
Tableau: також надає повний спектр візуалізацій. Проте, у цьому випадку використовується підхід, заснований на запитах. Такий підхід обмежує користувача лінійними можливостями в межах певного фрагмента даних, що унеможливлює дослідження даних під різними кутами;

Інтерактивний дашборд – можливість створювати інформаційні панелі для зручнішого та вільного вивчення даних.

Qlik: пропонує можливість вільно працювати з даними за допомогою дашборду. Машинне навчання дозволяє зробити дашборди більш потужними завдяки стиску великих наборів даних та виявлення форми даних;
Tableau: дозволяє з’єднати діаграми для створення дашборду. Підхід на основі SQL обмежує фільтрацію та дослідження запитами та набором даних, які були обрані початковим автором;

Сукупна вартість володіння (TCO) – облік усіх витрат, пов’язаних з використанням BI-рішень протягом 3-5 років (інфраструктура, налаштування системи, розробка додатків, системне адміністрування та підтримка).

Qlik: нижча вартість та відсутність прихованих витрат в процесі масштабування;
Tableau: необхідність вкладень в процесі масштабування;

Аналітика на основі ШІ – виявлення нових ідей та зв’язків, швидкий аналіз даних, підвищення продуктивності команди, прийняття обґрунтованих рішень на основі даних.

Qlik: має повний спектр можливостей ШІ, які вбудовані в платформу. ШІ є постійно включеним механізмом у контекст аналізу та пропонує нові ідеї та зв’язки;
Tableau: Ask Data (функція ШІ) не є основою платформи, яка додалася до інструменту пізніше. Немає можливості роботи з вбудованою в робочі книги бізнес-логікою, підключення лише до джерел даних, що унеможливлює використання знань, отриманих аналітиками;

Різні варіанти використання (на одній платформі) – безліч варіантів використання BI, працюючи з одними і тими самими даними та платформою.

Qlik: користувачі мають можливість виконувати всі дії, зокрема проводити аналітику в режимі реального часу, автоматизацію додатків, використовувати AutoML, оповіщення та звіти на одній платформі;
Tableau: головним чином це середовище розробки для аналітиків, щоб візуалізувати дані;

Керована функція самообслуговування – контроль даних та контенту завдяки можливості централізованого управління на основі правил та безмежних можливостей користувачів.

Qlik: централізація та об’єднання даних у хмарі, створення керованих моделей даних із надійним захистом. Створення контенту, його управління та контроль відбувається у хмарі. Керовані бібліотеки дозволяють повторне використання та стандартизацію аналітики;
Tableau: користувач має можливість створювати копії контенту. Однак, на управління такими ітераціями необхідно багато часу та зусиль;

Мобільна бізнес-аналітика – можливість дослідження та аналізу даних з будь-якої точки розташування та приладу.

Qlik: нативний мобільний додаток пропонує інтерактивне дослідження (онлайн та офлайн) та вбудовані сповіщення з push-повідомленнями;
Tableau: можливість завантажити лише 1 аркуш із книги на мобільний пристрій, немає можливості фільтрації.

Масштабованість – повне та актуальне подання даних, їх обробка у будь-якому масштабі без впливу на продуктивність та збільшення витрат, інтеграція та комбінування даних з різних джерел.

Qlik: миттєва продуктивність обчислень, зокрема під час роботи з великими наборами даних, даними в режимі реального часу та великою кількістю користувачів;
Tableau: повільний процес обробки великих обсягів даних та розрізнених даних, неможливість підтримки актуальності даних;

Вбудована аналітика – наявність повних аналітичних можливостей в інших процесах, додатках та порталах компанії для прийняття ефективних рішень співробітниками, партнерами, клієнтами, постачальниками тощо.

Qlik: можливість вбудовування інформаційної панелі та окремих чисел, значень та метрик;
Tableau: можливість вбудовування тільки повної панелі інструментів, але не окремих значень;

Інтеграція даних – об’єднання та перетворення необроблених даних у готові для аналізу дані. Сучасні інструменти дозволяють зробити дані доступними для всієї компанії за допомогою технологій інтеграції в режимі реального часу (збір змінених даних, конвеєр потокової передачі).

Qlik: найкращі можливості інтеграції даних, щоб об’єднати, перетворити та каталогізувати дані;
Tableau: 2 інструменти (Tableau Prep та Tableau Desktop) забезпечують підготовку даних. Кожен продукт вирішує певне завдання, проте жоден із 2 не вирішує всі;

Гнучке розгортання – наявність незалежної багатохмарної архітектури, яка дозволяє розгортання у будь-якому середовищі.

Qlik: повна свобода та контроль даних, повноцінне корпоративне середовище SaaS, варіанти локальної та приватної хмари;
Tableau: відсутність гібридного варіанта;

Інформаційна грамотність – підвищення інформаційної грамотності співробітників всіх рівнів, вміння працювати з даними і приймати рішення, спираючись на них.

Qlik: можливість дослідити дані користувача з будь-яким рівнем навичок, а також навчання інформаційної грамотності для будь-якого користувача;
Tableau: для роботи з даними та отримання вигоди від ініціатив користувач має бути автором.

Eфективне управління даними з Data Fabric

Сучасні компанії часто мають справу з великими та складними наборами даних із різних і, можливо, не пов’язаних між собою джерел (CRM, IoT, потокові дані, автоматизація маркетингу, фінанси тощо). Великі компанії часто мають філії у різних географічних точках. Це може ускладнювати процес використання даних або їх зберігання (у хмарі, гібридній мультихмарі, локально тощо). Об’єднати дані з різних джерел та репозиторіїв, перетворити та обробити їх для подальшої роботи допоможе Data Fabric. В результаті користувачі отримують цілісну картину поточної ситуації, що дозволяє досліджувати та аналізувати дані для ведення ефективної діяльності.

Data Fabric є архітектурою інтеграції даних з використанням активів метаданих для уніфікації, інтеграції та управління розрізненими середовищами даних. Основним завданням Data Fabric є структурування середовища даних, що не вимагає заміни існуючого. Управління метаданими та доступом до даних відбувається шляхом додавання додаткового технологічного рівня над існуючою інфраструктурою. Стандартизація, з’єднання та автоматизація методів керування даних Data Fabric підвищує безпеку та доступність даних, забезпечує наскрізну інтеграцію конвеєрів даних та локальних хмарних, гібридних мультихмарних платформ та платформ прикордонних пристроїв.

Переваги використання Data Fabric:

узгодженість в інтегрованих середовищах за допомогою управління метаданими, графів знань та машинного навчання;
цілісне представлення поточного становища бізнесу, що дозволяє користувачам, аналітикам та фахівцям з даних знаходити взаємозв’язки;
максимізація можливостей гібридної хмари та скорочення часу на розробку та управління процесами інтеграції, розгортання та обслуговування за рахунок спрощення конфігурації інфраструктури;
простий процес вивчення та аналізу даних для користувачів без участі IT-фахівців;
доступність всіх підходів до доставки даних завдяки підтримці ETL, віртуалізації даних, збору змінених даних, потокової передачі та API;
автоматизація рутинних завдань (наприклад, узгодження схеми з новими джерелами даних та профілювання наборів даних).

Data Fabric спрощує розподілене середовище даних, де відбувається їх прийом, перетворення, управління, зберігання, визначається доступ для безлічі репозиторіїв та варіанти використання (BI-інструменти, операційні програми). Це стає можливим завдяки безперервній аналітиці метаданих для створення веб-рівня. Він об’єднує процеси обробки даних та безліч джерел, типів та місцеположень даних.

Відмінності Data Fabric від стандартної екосистеми інтеграції даних:

Доповнений каталог даних, який включає та аналізує всі типи метаданих;
Графи знань, що відображають відношення між елементами даних (поняття, об’єкти, події тощо);
Активація метаданих – використання машинного навчання активним керуванням метаданими дозволяє створювати та обробляти метадані у великих масштабах;
Підготовка та прийом даних – підтримка всіх підходів щодо підготовки та доставки даних, зокрема ETL, ELT, потокова передача даних, інтеграція додатків, віртуалізація даних;
Система рекомендацій – постійний аналіз, вивчення та формування рекомендацій та прогнозів щодо інтеграції та управління даними;
DataOps – об’єднання команди DevOps з інженерами та фахівцями за даними.

Архітектура Data Fabric залежить від індивідуальних потреб у даних та запитів бізнесу. Однак, існує 6 основних рівнів:

Управління даними (забезпечення процесів управління та безпеки);
Прийом даних (визначення зв’язку між структурованими та неструктурованими даними);
Обробка даних (витяг лише релевантних даних);
Оркестрування даних (очищення, перетворення та інтеграція даних);
Виявлення даних (визначення нових способів інтеграції різних джерел);
Доступ до даних (можливість користувачів досліджувати дані за допомогою BI-інструментів).

При впровадженні Data Fabric необхідно забезпечити:

збір та аналіз усіх типів метаданих;
перетворення пасивних метаданих на активні;
створення та управління графами знань;
надійне підґрунтя для інтеграції даних.

Візуальна аналітика – визначення та переваги

Сьогодні одним з найбільш перспективних напрямків та тих, що швидко розвиваються, є візуальна аналітика. Її перевага полягає у можливості працювати з великими наборами даних, поєднуючи графічну візуалізацію та потужні аналітичні обчислення.

Візуальна аналітика є процесом використання складних інструментів і методів аналізу даних за допомогою візуальних уявлень даних у вигляді графіків, діаграм і карт. Це дозволяє користувачам виявляти закономірності та ідеї, що допомагають приймати ефективні рішення на основі даних.

Візуальна аналітика – це не просто графічне зображення даних і не варто плутати її з візуалізацією даних. Сучасна інтерактивна візуальна аналітика спрощує об’єднання даних із кількох джерел та глибокий аналіз даних безпосередньо у візуалізації. Застосування алгоритмів штучного інтелекту та машинного навчання генерують рекомендації для детальнішого дослідження. Головне завдання цього інструменту – перетворити великі масиви даних на успішні бізнес-ідеї.

Переваги візуальної аналітики:

Можливість систематизувати, обмінюватися інформацією щодо KPI та відстежувати прогрес за допомогою інтерактивних звітів та інформаційних панелей;
Можливість приймати рішення швидше, працюючи та розуміючи дані та їхнє значення;
Спрощення процесу дослідження даних за допомогою інструментів самообслуговування, що дозволяє користувачам взаємодіяти з даними, виявляти приховані взаємозв’язки та закономірності без втручання IT-фахівців;
Підвищення інформаційної грамотності з допомогою спрощення роботи з даними.

Ключові рекомендації для якісного використання візуальної аналітики:

Визначення конкретної мети та питань, на які необхідно знайти відповідь за допомогою візуальної аналітики;
Інтеграція та управління даними (об’єднання та реплікація даних з різних джерел, перетворення на стандартизовані формати);
Вибір правильної візуальної техніки;
Дослідити практику візуалізації даних.

Велика кількість постачальників, які пропонують функції візуалізації як частину програмного забезпечення, ускладнює процес вибору правильного інструменту.

Сучасні інструменти аналізу даних включають такі можливості:

Інтеграція та управління даними;
Вільне дослідження даних у будь-якому напрямку;
Візуальні ефекти, що дозволяють навіть початківцям створювати власні аналітичні візуалізації;
Можливість аналізу даних з будь-яких сайтів, порталів, програм та бізнес-процесів.

Більше можливостей з Qlik AutoML

Програми машинного навчання досягли повсюдного використання (від вирішення проблем зі здоров’ям до вибору музики чи продуктів). Бізнес є також активним користувачем інструментів на основі машинного навчання.

Сьогодні компанії, зокрема, які зацікавлені розширювати можливості своїх команд та фахівців, працюючих з даними. Наприклад, BI-інженер, який бере участь у процесі аналітики, міг би розробляти функції, навчати, автоматично обирати надійну модель та допомагати розгортати її без участі фахівців з даних та машинного навчання. Qlik AutoML допомагає компаніям максимізувати стратегію даних та аналітики.

Qlik AutoML – це автоматизована платформа машинного навчання, призначена для аналітиків та використовується для створення моделей, прогнозів та проведення тестування бізнес-сценаріїв. Простий інтерфейс користувача без коду дозволяє легко працювати з даними, визначати їхні ключові фактори, робити прогнози з повним розумінням даних, публікувати та інтегрувати моделі в інформаційні панелі Qlik Sense для проведення інтерактивного аналізу.

Цей інструмент визначає ключові фактори історичних даних, а також створює моделі машинного навчання, використовуючи найкращі алгоритми. Qlik AutoML дозволяє:

Оцінити та ранжувати моделі машинного навчання;
Визначити найбільш ефективну модель для певного набору даних;
Визначити важливість функції виявлення ключових бізнес-факторів;
Легко налаштовувати та покращувати модель;
Розгортати модель для створення прогнозів;
Опублікувати прогнозні дані;
Інтегрувати моделі з Qlik Sense з метою детального аналізу;
Тестувати різні сценарії «що, якщо»;
Планувати рішення та дії.

Використання Qlik AutoML:

Продажі (воронка продажів, прогнозування виграшів та програшів, відтік та утримання клієнтів, пошук клієнтів, таргетинг);
Маркетинг (прогнозування попиту, показник цінності клієнта, вибір оптимальної пропозиції);
Фінанси (оптимізація вкладень, управління витратами, управління ризиками);
HR (утримання співробітників, задоволеність співробітників, рекрутинг, профілювання кандидатів);
IT (використання ПЗ, ліцензування ПЗ, прогноз продуктивності інфраструктури);
Ланцюг постачання (управління запасами, прогноз дефіциту запасів, продуктивність ланцюга постачання, оптимізація транспорту);
Служба підтримки (прогноз звернення до служби підтримки, профілактичне обслуговування).