Завод данных Azure Трубопроводы для автоматизированных данных Рабочие процессы

Одна критическая точка: триггер должен быть явно связан с трубопроводом, прежде чем он сможет начать работу. Вы можете связать один триггер с несколькими трубопроводами или один трубопровод с несколькими триггерами, в зависимости от вашего рабочего процесса.

Продвинутый триггер и интеграция трубопроводов

Триггерные зависимости и цепь

В сложных ландшафтах данных вам может понадобиться один трубопровод для запуска за другим или триггер для ожидания определенного события перед началом. Azure Data Factory поддерживает цепные трубопроводы с использованием Execute Pipeline Activity — контрольная активность внутри родительского трубопровода, который работает синхронно или асинхронно. Для внешних зависимостей между триггерами вы можете комбинировать триггеры с шаблонами на основе событий. Например, у вас может быть триггер расписания, который запускает трубопровод А (который загружает необработанные данные), а затем триггер события, который запускается, когда трубопровод А записывает маркер завершения в хранилище, тем самым запуская трубопровод B (который преобразует данные). Этот подход отделяет трубопроводы и делает их отказоустойчивыми.

Интеграция с Azure Monitoring и Alerts

Azure Data Factory глубоко интегрируется с Azure Monitor и Log Analytics. Каждый запуск трубопровода, запуск активности и событие триггера регистрируются в диагностических журналах ADF. Вы можете передавать эти журналы в Log Analytics и создавать панели инструментов, пользовательские запросы и правила оповещения. Например, вы можете настроить оповещение, которое запускает электронную почту или веб-хук, если запуск трубопровода выходит из строя более трех раз в 15-минутном окне. Кроме того, вы можете использовать встроенный в ADF Alerts и Metrics клинок в портале для быстрой настройки уведомлений о сбоях трубопровода или запуска пропущенных окон.

Преимущества автоматизации рабочих процессов данных с помощью ADF

Использование триггеров и конвейеров Azure Data Factory для автоматизации рабочих процессов данных дает измеримые преимущества:

• Операционная эффективность — ручная передача файлов и запланированные сценарии заменяются бессерверными управляемыми конвейерами. Это освобождает инженеров данных, чтобы сосредоточиться на логике, а не на инфраструктуре.
• Надежность и согласованность — ADF автоматически перезаписывает неудачные действия, соблюдает тайм-ауты и регистрирует каждый шаг. Как только трубопровод спроектирован и протестирован, он работает последовательно без дрейфа.
• Масштабируемость — ADF может обрабатывать петабайт данных и тысячи прогонов трубопровода в день. Базовая вычислительная (Azure Integration Runtime) шкала упругая, поэтому вам не нужно предоставлять серверы.
• Контроль затрат — Вы платите только за вычисления, потребляемые действиями. Триггеры событий и триггеры окна с обрушением уменьшают отходы, работая только при необходимости. Вы также можете установить пороги для остановки дорогостоящих трубопроводов, если они превышают бюджет.
• Конечная наблюдаемость — С помощью диагностических журналов, мониторинга и оповещения вы можете обнаружить и устранить сбои, прежде чем они повлияют на потребителей, находящихся ниже по течению.

Лучшие практики для триггеров и трубопроводов

Чтобы получить максимальную отдачу от триггеров и трубопроводов ADF в производственной среде, следуйте этим лучшим практикам:

• Проектирование для модульности и повторного использования. Разбивайте большие трубопроводы на более мелкие, сфокусированные трубопроводы (например, один для проглатывания, один для очистки, один для загрузки). Используйте параметры и продавайте их между трубопроводами с использованием эксплуатационной активности трубопровода. Это облегчает тестирование, отладку и техническое обслуживание.
• Используйте зависимости триггеров осторожно. Для рабочих нагрузок, требующих строгого последовательного выполнения, предпочтите цепь через активность Execute Pipeline, а не полагаться на внешние маркеры событий. Для слабо связанных этапов спусковые механизмы событий идеальны.
• Внедрить надежную обработку ошибок. Внутри каждого трубопровода добавьте действия If Condition для проверки на успех или неудачу. При отказе введите ошибку в журнал и необязательно отправьте оповещение. Используйте зависимость «On Failure» для запуска конвейера восстановления (например, отправьте файл повторно, уведомите команду).
• Параметризуйте все. Используйте параметры трубопровода для путей файлов, строк соединений или интервалов расписания. Избегайте значений жесткого кодирования. Это позволяет продвигать один и тот же артефакт в средах разработки, тестирования и производства.
• Версия контролирует ваши трубопроводы. Экспортируйте свои трубопроводы и триггеры в качестве шаблонов ARM и храните их в репозитории Git (Azure Repos или GitHub). Используйте встроенную интеграцию Git ADF для связи репозитория с вашей фабрикой. Это позволяет сотрудничать, просматривать код и откатывать.
• Мониторинг затрат и производительности. Включите диагностические журналы и отправьте их в Log Analytics.Запрос на дорогостоящие или длительные действия. Настройте настройки Azure Integration Runtime DIU (Data Integration Unit) для копирования действий для оптимизации пропускной способности.
• Сначала тестируйте триггеры в непроизводственной среде. Всегда подтверждайте, что триггер загорается в нужное время или в нужном событии, прежде чем включить его в производство. Распространенной ошибкой является оставить активным триггер графика при разработке трубопровода, вызывая неожиданные прогоны.
• Используйте фильтрацию событий для снижения шума. При создании триггеров событий укажите префиксы имени файла, суффиксы и пути, чтобы избежать запуска нерелевантных событий с блобами. Это экономит вычислительную стоимость и предотвращает потерянные запуски.

Случаи общего использования

Инкрементные загрузки данных

Один из наиболее распространенных шаблонов заключается в загрузке только новых или измененных данных из исходной системы (например, транзакционной базы данных) в хранилище данных. Триггер окна, работающий каждые 15 минут, может выполнять конвейер, который копирует строки, где «последняя измененная» временная метка попадает в это окно. Затем трубопровод может вставлять данные в Azure Synapse Analytics или Azure SQL Database.

Потребление файлов в реальном времени

Когда партнер загружает файл CSV в контролируемый контейнер Azure Blob Storage, триггер событий запускает конвейер, который проверяет схему, перемещает файл в папку «обработка», запускает поток данных для преобразования данных и, наконец, загружает его в базу данных SQL. Этот шаблон распространен в розничных и логистических системах.

Ночной пакетный процессинг

Триггер расписания, установленный до 2:00 утра UTC, выполняет ряд конвейеров: во-первых, копирует данные о дополнительных продажах с локального SQL Server на Azure Blob; во-вторых, запускает работу HDInsight Hive для агрегирования данных; в-третьих, выполняет сохраненную процедуру в базе данных Azure SQL для обновления таблиц отчетов.

Гибридная оркестровка данных

Для организаций с локальными источниками данных ADF устраняет пробел с помощью автономного времени выполнения интеграции. Триггер расписания может запускать конвейер, который копирует данные с локального файлового сервера на Azure, затем запускает блокнот Azure Databricks для расширенной аналитики. Весь рабочий процесс автоматизирован и контролируется из Azure.

Мониторинг и устранение неполадок

Использование Azure Monitor и Log Analytics

Чтобы получить глубокое представление о выполнении триггеров и трубопроводов, настройте диагностические настройки на вашей фабрике данных для отправки журналов в рабочее пространство Log Analytics. После этого вы можете запускать запросы Kusto, такие как:

ADFActivityRun
| where ActivityName == 'Copy data1' and Status == 'Failed'
| project TimeGenerated, PipelineName, ActivityName, ErrorMessage

Настройте правила оповещения, чтобы уведомить вас о том, что трубопровод не работает или триггер не запускается в ожидаемом окне. Вы также можете визуализировать историю запуска с помощью Azure Workbooks или Power BI.

Общие вопросы и решения

• Трейггер не зажигает: Проверить состояние триггера (старт/стоп). Проверить, что соответствующий трубопровод опубликован и находится в Активном состоянии. Для триггеров событий подтвердить, что учетная запись хранения или тема сетки событий правильно настроена и что подписка на событие не отфильтрована.
• Пипелайн висит или раз отключается: Деятельность имеет по умолчанию тайм-аут 7 дней. Установите явные тайм-ауты для трубопроводов, которые должны быстро выйти из строя. Используйте активность «Валидация» для проверки существования файлов перед продолжением.
• Параметрическое несоответствие: Если триггер проходит параметры трубопровода, которые не соответствуют определению трубопровода, прогон будет неуспешным. Убедитесь, что имена и типы параметров согласованы. Используйте значения по умолчанию в трубопроводе, чтобы обеспечить гибкость.
• Проблемы с параллелями: По умолчанию трубопровод может работать до 100 одновременных экземпляров.Если у вас есть триггер с перекрывающимися окнами, установите максимальную параллель на триггере до 1 для обеспечения последовательной обработки.