Azure Data Factory Otomatik Data Workflows için Tesadüfler ve Borular

Azure Data Factory (ADF) Microsoft'un tamamen yönetilen, bulut tabanlı veri entegrasyonu servisidir. Organizasyonların ölçeklendirme, hareket etme ve veri akışları çeşitli kaynaklar ve destinasyonlar arasındaki verileri dönüştürmelerini sağlar.ADF'nin iki temel bina blokları ve DFLT:2) ve ekin çemberleri oluşturmak için (Döneticileri) ve ayrıntılı bir şekilde üretim hatlarıyla birlikte, işlem veya analiz eder.

Azure Data Factory Borularını Anlamak

Borular Nedir?

Bir boru hattı, Azure SQL Database'den mantıksal bir gruplamadır:0) SQL Server'ı çalıştırın veya özel bir REST API'yi çağırın. Faaliyetler, koşullu şube kurma, döngüleme ve paralel işleme dahil olmak üzere bir uygulama alanı oluşturmanıza izin verir.Her bir boru hattının bir veya daha fazla aktiviteye sahip olması gibi, bir veri kümesine bağlanabilir.

Anahtar Aktivite türleri

Azure Data Factory üç ana gruba faaliyetleri kategorize eder:

• [FONT=0]Data Movement Activities – Desteklenen veri depoları arasındaki bu kopya verileri. birincil etkinlik, [FONTD:2)Copy Activity) 90'dan fazla inşa edilmiş bağlantı (örneğin Amazon S3, Google BigQuery, Snowflake, SAP HANA).
• [FONT=0)Data Transformation Activities)[Döneticileri kullanarak veri dönüştürme işlemleri[FONTD:2}HICE Hive)Azure Databricks)[Python, Scala, veya R) Mağaza Prosedürleri) ve )
• [FONT=0) Kontrol Faaliyetleri) - Bu boru hattı akışı. Örnekler [FONTD:2)Her [Dönetici için 3 ) (bir koleksiyon üzerinden)) [[Dönetici[Dönetici))[Dönetici[Dönetici)))))[Dönemli (geçmiş)) ve/veya (bir başka bir boru hattı))))))))))))))))

Bu aktiviteleri birleştirerek, hemen hemen hemen herhangi bir veri entegrasyonu iş akışı modelleyebilirsiniz - basit veri gölünden çok adım ETL işlerine hata işleme ve yeniden kayıtlarla.

Faaliyetler Bağır ve Boru Hattı

Bir boru hattının içindeki aktiviteler bağımlılıklarına dayanıyor. Varsayılan olarak, aktiviteler sıra dışı faaliyetler yürütmek için, dinamik ifadeler ve parametreleri kullanma yeteneğidir. Örneğin, bir veri kümesi adı, bir tarih parametresi veya bağlantı noktası olarak, çevreler boyunca yeniden kullanılabilir hale getirmek. Etkinlikler aynı zamanda yeniden deneme politikaları (Retry interval) ve zamanouts, retry interval) ve zamanouts, hangi üretim güvenilirliğinin önemli olduğunu destekler.

Azure Data Factory Tesirleri: Event-Driven ve Scheduled Execution

Boru hatları tanımlarken:0)Yapılması gereken (Dönetici) ne varsa, tetikleyiciler tanımlanır.[Dönetici:2). Bunu yapmak için ). ADF'deki Tetikler otomatik olarak başlangıç boru hattından sorumludur.

Schedule Tesir

Kayıtlar sabit bir takvim programına boru hatları atar - örneğin, saatte 15 dakika, saat 3:00'te veya günlük olarak saat 3:00 AM.Bir gece veri deposu veya bir saat boyunca yenilenen bir bildirim veya basit bir aralık ( dakikalar, saatler, günler, haftalar, aylar) zamanlama, başlangıç zamanı gibi gelişmiş seçenekleri de teşvik eder.

Olay Tesirleri

Olay dış olaylara cevap verir, Azure Blob Storage veya Azure Data Lake Storage Gen2'den en yaygın olaylar. Örneğin, yeni bir dosya belirli bir konteynere geldiğinde veya bir dosyanın iki kategorisini desteklediğinde yangınlar yaratabilirsiniz.

• [FONT=0]Storage Event Tetikleyiciler[[Dönetici:0)) – bir satış sistemindeki gelen CSV dosyaları işleme gibi gerçek zamanlı kesinti kalıpları için yaygın olarak kullanılmaktadır.
• [FONT:0)Müşteriler [[Dönetici:0))Müşteriler (CFONT) - Bu, herhangi bir alana özel bir etkinlik için, tamamlanmış bir makine öğrenme modeli eğitimi gibi, bir kullanıcı eylemi veya üçüncü taraf sisteminde bir değişiklik yapmanıza olanak sağlar.

Olay tetikleyicileri sabit bir programda çalışmaz - sadece tanımlanmış olay gerçekleştiğinde, onları hem maliyet verimli hem de zamanında geçirirler.

Pencere Tetikleyiciler

Bu tetikleyici türü, program ve olay tetikler arasında oturuyor. Bir tling pencere tetikleyicisi sabit bir frekansta çalışır, ancak aynı zamanda GÜNCÜ:0) Devlet yönetimi) - pencerelerin tam olarak işlendiğini unutmayın. Örneğin, her saat boyunca bir tling pencere tetikleyicisi ayarlayabilirsiniz ve her pencerenin başlangıcında tam olarak bir aralığı veya çakışmadan herhangi bir süre için gerekli olan verileri artırmanız gerekir.

Tesir oluşturma ve yönetme

Tesirler birden fazla arayüz aracılığıyla oluşturulabilir ve yönetebilir:

• [FONT:0)Azure Portal (UI):[Dönetici:0) Bir set için en basit yöntem, bir tetikleyiciyi tanımlayabilirsiniz, test edebilir ve bir veya daha fazla boru hattı ile ilişkilendirebilirsiniz. portal, recurrence, event filtreler ve parametreler için bir görsel arayüz sunar.
• [FONT=0] [FONT=0] [FONT=0] [FONT=0][FONT=0][D][/FONT=0][D][/FONT=0][DNT=0)[D][/FONT=0][D][/FONT=0][D][/FONT=)[D][/FONT=0][FONT=)[FONT=[FONT=)))
• [FONT:0)ARM Şablonları (Azure Resource Manager): ), altyapı kodu için önerilen yaklaşım (IaC) . Bir ARM şablonu içinde JSON kaynakları olarak tanımlanabilir ve onları Azure DevOps veya GitHub Actions ile dağıtabilirsiniz.
• [FONT:0]REST API: [Döneticileri ile bütünleşmek veya dış orkestralama sistemleriyle entegrasyonda ADF REST API'si doğrudan çağırabilirsiniz.

Bir kritik nokta: Bir tetikleyici açıkçası olmalıdır:0)[[Dönlendirmek için bir boru hattı ile çalışır. Birden çok boru hattı veya tek bir boru hattını birden çok tetikleyici ile ilişkilendirebilirsiniz.

Gelişmiş Tetika ve Boru Entegrasyonu

Tefsiyonlara ve zincirleme

Karmaşık veriler peyzajlarında, başka bir kanaldan sonra çalıştırmak için bir boru hattına veya başlangıçta belirli bir olay için beklemeye ihtiyacınız olabilir. Azure Data Factory, zincirleme boru hatları kullanarak zincirleme boru hatları destekler:0)Execute Boru Aktivitesi[FLT 1: 1 – bir çocuk boru hattının içindeki kontrol aktivitesine ihtiyaç duyar, böylece boru hattının sabit bir şekilde veya bir şekilde yüklenmesine bağlı olarak, bu şekilde yükleme işlemine yol açarsınız.

Azure İzleme ve Uyarılarla entegrasyon

Azure Data Factory, ADF'nin tanı girişlerinde derin bir şekilde entegre eder:0)Azure Monitor[D:0) ve [[Döneticiler:2)Log Analytics)[tr|Dönder, faaliyet çalıştırın ve tetiklenen bir etkinlik ADF'nin teşhis girişlerinde başarısız olur.If a pipeline run, activity run, and trigger events to Log Analytics and create dashboards, custom query, and warning rules.For example, you can set up an email or a weblog run, and ahook if a pipeline run, and trigger event is login more than three times in a 15-in.

Automating Data Workflows with ADF

Azure Data Factory kullanarak veri iş akışlarınızı otomatikleştirmek için Azure Data Factory'leri ve boru hatları kullanın ölçülebilir avantajlar:

• [FONT:0]Operasyonel Verimlilik[[[Dönetici: 1) Manual dosya transferleri ve planlanan senaryolar sunucusuz, yönetilen boru hatlarıyla değiştirildi. Bu, altyapıdan ziyade mantıka odaklanmak için veri mühendislerini serbest bırakır.
• [FONT=0]Reliability and Consistency[Döneticiler: ADF otomatik olarak başarısız aktiviteler, zaman aralıkları ve her adımın her adımını gösterir ve test edilirken, sürekli olarak sürüklenmeden çalışır.
• [FONT:0]Scalability[DÜT:1] – ADF, petabayları ile günde binlerce boru hattı çalıştırabilir. temel hesaplama (Azure Integration Runtime) ölçekler elastik olarak, bu yüzden belirtilmeniz gerekmez.
• [FONT:0]Cost Control[[DÜT:1) – Sadece aktiviteler tarafından tüketilen hesaplama için ödersiniz. Etkinlik, gerekli olduğunda sadece şarj edilen pencereyi tetikler ve tling pencereleri, maliyeti olan boru hatları durdurmak için eşleri ayarlayabilirsiniz.
• [FONT:0]Bitiş-Bitişsellik[[Dönetici: 1))[Döneticileri, izleme ve uyarılama ile, alt tüketicileri etkilemeden önce başarısızlıkları tespit edebilir ve çözebilirsiniz.

Tetikleyiciler ve boru hatları için en iyi uygulamalar

ADF'nin en çok tükenmesi ve üretim ortamındaki boru hatlarının alınması için, bu en iyi uygulamaları takip edin:

• [FONT=0) modülerlik ve yeniden kullanım için tasarım.[DÜT:1] Büyük boru hatları daha küçük, odaklanmış boru hatları (örneğin, bir tane temizleme için, yükleme için bir tane) kullanın.
• [FONT:0)Demokratlar, dış olay işaretlerine güvenmek yerine, sabit devreler gerektiren iş yükleri için, dışsal kontraseptör aktiviteye güvenmek yerine zincirlemeyi tercih eder.
• [FONT=0]Her bir boru hattında sağlam hata işleme işlemine giriş yapın, başarı veya başarısızlık için kontrol etmek için koşul faaliyetleri eklerseniz, hata ve seçim olarak bir uyarı gönder. "On failure" bağımlılığını kullanın.
• [FONT:0] Her şeyi parametre olarak kullanmak.[[Dönetici:0) Dosya yolları, bağlantı dizeleri veya program aralıkları için boru hatları kullanın. Sert kodlama değerleri kaçının. Bu, aynı sanatifact'yi canlı, test ve üretim ortamları ile teşvik etmenizi sağlar.
• [[Döneticileri kontrol edin.([Döneticileri ve bunları bir Git havuzunda depolayın (Azure Repos veya GitHub) ADF'nin ana Git entegrasyonunu fabrikanıza bağlamak için kullanın.
• [FONT=0]Monitor maliyetleri ve performans.[[Döneticileri) ve bunları pahalı veya uzun süren aktiviteler için Log Analytics. Query'e gönder.Tone the Azure Integration Runtime DIU (Data Integration Unit) Ayarlama faaliyetleri için kopya işlemleri için ayarlar.
• [FONT:0)Test, ilk önce üretim olmayan bir ortamda tetiklenir.) Her zaman doğru zamanda yangınları tetikledi veya üretimde izin vermeden önce doğru olayda doğru bir olayda. Ortak bir hata, boru hattını geliştirirken, beklenmedik bir şekilde aktif hale getirmektir.
• [FONT:0) Gürültüyü azaltmak için olay filtrelemesi kullanın.[DÜT:1] Olay tetiklerken, dosya adı ekleri, ekleri ve geçici blob olayları hakkında ateşlenmeden kaçınmak için yollar.Bu tasarruflar hesaplama maliyeti ve boşa harcanmasını önler.

Common Use Cases

Aremental Data Loads

En yaygın desenlerden biri, yalnızca yeni veya değiştirilmiş verileri bir kaynak sistemi (bir işlemsel veritabanı gibi) bir veri deposuna yüklemektir. Her 15 dakika çalışan bir pencere, "son değiştirilmiş" zamanların bu penceredeki sıralarını çalıştırabilir.

Gerçek-Zaman Dosyası

Bir partner, izlenen Azure Blob Storage konteynerine bir CSV dosyası yüklerken, bir olay tetikleyicisi, dosyayı “işleme” klasörüne doğrulayan bir boru hattı başlatır, verileri dönüştürmek için bir Data Flow çalışır ve sonunda bir SQL veritabanına yükler.

Gece Batch Processing

Bir program tetik seti 2:00 AM UTC bir dizi boru hattı çalışır: ilk olarak, SQL Server'dan Azure Blob'a kadar her adımın tamamının tamamının tamamının tamamının tamamının tamamının tamamının gerçekleşmesine bağlı olarak Azure SQL Database'de depolanan bir işlem yapılır.

Hibrit Data Orchestration

Yerel dosya sunucularından Azure'a kopyalanan bir boru hattı çalıştırılabilir, sonra gelişmiş bir analitik için Azure Databricks defterini tetikler. Tüm iş akışı Azure'da otomatik ve takip edilebilir.

İzleme ve Sorun Giderme

Azure Monitor ve Log Analytics kullanarak

Derin öngörüler tetik ve boru hattı yürütmesi, Data Factory'nizin oturum açmaları için Info Factory'de yapılandırma ayarlama, Log Analytics çalışma alanına göndermesi için.Bir kez orada Kusto sorgularını çalıştırabilirsiniz:

ADFActivityRun
| where ActivityName == 'Copy data1' and Status == 'Failed'
| project TimeGenerated, PipelineName, ActivityName, ErrorMessage

Bir boru hattı başarısız olduğunda veya bir tetikleyicinin sizi beklenmeyen bir pencere içinde ateş etmediğine dair uyarı kuralları ayarlayın. Azure Workbooks veya Power BI kullanarak tarihe de görselleştirebilirsiniz.

Common Issues and Solutions

• [FONT:0)Trigger ateşlenmez:[Dönetici:0)[Dönetici:0)Trigger ateş etme;[Dönemli/kapılı) Uygulamanın, ilişkili boru hattının yayınlandığı ve aktif bir durumda olduğunu kontrol edin.For event triggers, doğru bir şekilde yapılandırıldığını onaylayın ve olay otomatik olarak yapılandırılır.
• [FONT:0)Pipeline ass veya zaman dışarı çıkar:) Faaliyetler 7 gün varsayılan bir süre boyunca devam etmeli. Hızlı başarısız olan boru hatları için açık zamanlar ayarlamalıdır.
• [FONT:0]Parametre yanlış bir şekilde:[Dönetici:[Dönetici:0)[Dönetici:0) Parametre yanlış bir şekilde ayarlandığında, bir tetikleyici, boru hattında ayarlanmamış parametreler devre dışı bırakacaktır.
• [FONT:0)İklim sorunları:[Dönetici:[Dönetici: 1) Varsayılan işlem için bir boru hattı çalıştırılabilir.Eğer pencereleri çakıştırarak, [[Döneticileri ayarlayın.

Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç

Azure Data Factory, veri iş akışlarını herhangi bir ölçekde otomatikleştirmek için güçlü, esnek bir platform sağlar.Sistem, etkinlik ve pencereleri tetikler ve modüler olarak, doğru boru hatları tasarımı ve sağlam izleme uygulamaları uygulayarak, veri mühendisleri güvenilir, maliyetle etkili ve kullanılabilir veri entegrasyonu çözümleri sağlayabilir.