Данный курс вобрал в себя основную часть материалов, изложенных в курсах DataFlux Data Management Studio: Basics и DataFlux Data Management Studio: Advanced. В рамках курса слушатели знакомятся с DataFlux Data Management Studio и изучают как исследовать и профилировать данные, формировать задания для управления данными (такие как задачи по улучшению качества данных и устранению дубликатов), использовать мониторинг данных, как пользоваться языком DataFlux Expression Engine, создавать пользовательские метрики, макропеременные и интеграционные процессы.

Слушатели этого курса научатся

• Исследовать данные и использовать результаты исследований;
• Профилировать данные и применять результаты;
• Создавать интеграционные потоки (data jobs) и встраивать в них шаги по улучшению данных;
• Настраивать мониторинг данных;
• Работать с встроенным языком DataFlux Expression Engine;
• Создавать и использовать пользовательские метрики качества данных;
• Определять и использовать макропеременные;
• Создавать интеграционные процессы (process jobs).

Специальных навыков не требуется.

Введение в методологию DataFlux и структуру курса

• Введение в архитектуру интеграционной платформы DataFlux Data Management

• Структура курса

DataFlux Data Management Studio: начало работы

• Введение в интерфейс DataFlux Data Management Studio
• Понятие связности данных

Работа на фазе PLAN (Планирование) методологии DataFlux

• Создание коллекций данных
• Исследование данных (data explorations)
• Профилирование данных
• Разработка схем стандартизации данных

Работа на фазе ACT(Действие) методологии DataFlux

• Введение в понятие интеграционных потоков
• Работа с шагами улучшения качества данных, включая Стандартизацию данных, Обогащение информации и Парсинг
• Построение процессов дедупликации данных и построения «Золотой записи», включающие в себя узлы построения матч-кодов, Кластеризации и Поиск «Золотой записи».

Работа на фазе MONITOR(Мониторинг) методологии DataFlux

• Введение в понятие бизнес-правил и знакомство с Business Rules Manager
• Использование бизнес-правил и уведомлений в профилировании данных
• Использование бизнес-правил в интеграционных потоках
• Создание интеграционных потоков для мониторинга данных

Язык DataFlux Expression Engine (EEL)

• Введение в язык DataFlux Expression Engine
• Профилирование данных с помощью EEL
• Работа с узлом «expression» в потоках данных: операторы IF/ELSE
• Работа с узлом «expression» в потоках данных: оператор RETURN

Пользовательские метрики и макросы

• Создание и работа с пользовательскими метриками
• Создание и работа с пользовательскими макропеременными

Интеграционные процессы

• Введение в Интеграционные процессы
• Использование переменных в Интеграционных процессах
• Работа с условными переменными, временными таблицами и событиями

Советы и приёмы работы

• Исследуем как данные обрабатываются в Интеграционном потоке
• Обсуждение вопросов оптимизации потоков
• Советы по созданию и тестированию потоков
• Проблемы, связанные с переносом процессов и потоков на промышленные среды