Azure Data Factory Nedir ve Neden Bu Önemli

Azure Data Factory (ADF) tam olarak yönetilen, bulut destekli veri entegrasyonu servisi Microsoft'tan inşa etmenize, program oluşturmanıza ve orkestra veri boru hatları ölçeklendirmeye olanak sağlayan bir veri hattıdır. 90 yerleşik, bakımsız bağlantı - veritabanı üzerinde keşfedin, SaaS uygulamaları ve diğer bulut platformları - kod yazmadan verileri hareket edebilir ve dönüştürebilirsiniz. ADF hem ETL (extract, yükleme) hem de ELT (extract, yükleme, dönüşüm) ve ELT (extract, yükleme, dönüşüm) modelleri, analiz için çok yönlü bir arka kemiği yapmak.

Modern organizasyonlar onlarca kaynaktan veri toplar: işlemsel veritabanı, CRM sistemleri, IoT akışları, sosyal medya beslemeleri ve dış API'ler. Bu verileri analiz veya operasyonel kullanım için bir araya getirmek, veri tabanını da destekler. ADF bunu Azure hizmetleri ile ölçeklenen ve Google Cloud ile derin entegrasyon sağlayan bir sunucusuz yürütme motoru sağlayarak çözüyor.

Hizmet, veri mühendisleri, ETL geliştiricileri ve ADF kene'ye ihtiyaç duyan analitik, işletme sınıfı bir araç için tasarlanmıştır. Ödemeli veri hareketi ve dönüşümü.Ücretli fiyatlandırması ile, kendi altyapınızı yönetmek için maliyet ve karmaşıklıktan kaçınırsınız. aşağıdaki bölümlerde, ADF kene yapan bileşenleri araştıracağız, onları nasıl etkili bir şekilde kullanacağımızı ve en iyi bir şekilde inşa edilmiş bir boru hattını kırılgan bir kişiden ayırmak için.

Azure Data Factory'nin temel bileşenleri

Etkili veri entegrasyonu çözümlerini tasarlamak için, ADF'nin sağladığı bina blokları anlamanız gerekir. Her bir bileşen belirli bir role sahiptir ve birlikte veri iş akışları için esnek, tekrarlanabilir bir çerçeve oluştururlar.

Boru Hattı Boru Hattı

Bir boru hattı, bir veya daha fazla aktivite içeren bir çalışma mantıksal bir birimdir.Gerekli, dönüştürme ve veri yükleme işlemi için gerekli görevlerin sırasını tanımlar. Boru hatları planlanabilir, olaylarla tetiklenebilir veya talep üzerine çalıştırılırlar.

Faaliyet Faaliyet Faaliyetleri Faaliyet Faaliyet Faaliyet Faaliyetleri Faaliyet Faaliyet Faaliyet Faaliyet Faaliyet Faaliyetleri

Faaliyetler bir boru hattının içindeki bireysel adımlardır. Ortak aktivite türleri şunlardır:0)Copy Data) (Pazarlar arasındaki akış verileri hareket etmek için),Data Flow) ( koduzorsuz dönüşümler için), [[Döneticiler için[Döneticiler için) [Döneticileri için[Döneticileri çalıştırın (vardırıda) ve verileri doğru şekilde doğru şekilde çağırın.

Dataset

Veri setleri, faaliyetlerinizde kullanmak istediğiniz verilere işaret eden referanslar olarak adlandırılır. Bunlar, aynı veri kümesini birçok boru ve aktivitede yeniden kullanmanıza olanak sağlar. Örneğin, bir veri kümesi Azure Data Lake Storage veya SQL Database'de belirli bir Parkt dosyasına işaret edebilir.

Linked Service

Bağlantılı hizmetler bağlantı ayrıntılarına sahiptir - sunucu adreslerini, kimlik doğrulama bilgilerini ve güvenlik ayarlarını - her boru hattına dokunmadan bir yere erişmek için ayrılmışsınız. Azure SQL Database, on-premises Oracle, Amazon Redchange, Casey ve birçok bilgiden ayırarak, her bir boru hattına dokunmadan bir yerde kimlikleri güncelleyebilirsiniz.

Bütünleme Runtime

Uygulama süresi (IR), faaliyetlerin yürütülmesinde bulunan hesaplama ortamı sağlar. ADF, üç tür IR: ESFLT:0)Azure) (muhtemelen sunucusuz, bulut bulut bulut bulut bulut-bul operasyonları için), [[Dövme hizmetleri paketleri) Doğruyu seçmek için kritiktir.

Tetika

Tefsirler bir boru hattı çalışırken tanımlarlar.Dörtücüler, pencere tetikleyicileri [Düzücük Olmayanlar İçin Tıklayınız) ve DÖRTÜŞÜNCÜŞÜNCÜŞÜNCÜŞÜNÜŞÜNCÜŞÜNCÜŞÜNCÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNCÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜN

En İyileştirme Runtime Type

İntegra zaman boru hatlarınızı yönlendiren motordur. Doğru türü seçmek bağlantı, güvenlik ve maliyet etkileyen temel bir karardır.

Azure Entegrasyon Runtime (Azure IR)

Azure IR, bulut tabanlı senaryolar için varsayılan seçimdir.It run in a managed, serverless environment that scales otomatik olarak iş yüküne dayanan. VMs veya yazılım güncelleştirmeleri ile ilgili ayarlamanız gerekmez. Azure IR, performans ihtiyaçlarınızı karşılamak için optimize edilmiş veriler için idealdir.

Kopya faaliyetleri için, bir iş bitmeden sonra otomatikliği kontrol edebilirsiniz, ancak sonraki kullanım için geç saatlere kadar DIUs'u optimize etmek için manuel olarak ayarlayabilirsiniz.(TTL))[Döneticileri için işlem gücü, bir iş bittiği için otomatik olarak çalışır, ancak bir sonraki kullanım için geç saatlere kadar geç saatlere kadar devam edebilirsiniz.

Kendi kendine ait integral Runtime

Veri kaynaklarınızın bir güvenlik duvarının arkasında yaşadığı zaman - şirket veri merkezleri, sanal özel ağlar veya önceden gelen veritabanına - Self-Hosted IR'ye ihtiyacınız var. Bu runtime, a Windows makinesi (veya VM) ağınızda hafif bir uygulama olarak kurulur.

Kendi kendine özgü IR, ADF ve özel verileriniz arasında bir köprü olarak hareket eder. Tüm trafiği şifreler ve yalnızca iletişim kurar, böylece yazılım güncelleştirmelerini yönetmek zorunda değilsiniz. Ortak kullanım koşulları, barındırma verilerini Azure'a dahil etmek, zaman zaman zaman zaman çizelgesine entegre etmek ve iç dosya paylaşımları ve Azure Data Lake arasındaki dosyaları hareket ettirmek.

Azure-SSIS Entegrasyon Runtime

Mevcut SQL Server Entegrasyon Hizmetleri (SSIS) paketleri varsa, Azure-SSIS IR, onları minimum değişikliklerle Azure'a kaldırmanıza ve değiştirmenize izin verir. Bu runtime, SSIS motoru çalıştıran Azure VM'lerin tam yönetilen bir kümesidir.You can deploy your .ispac files directly, and they will execute on-premises server.

Azure-SSIS IR, mevcut SQL Server lisansları varsa tüm standart SSIS bağlantılarını destekler ve Azure SQL Database ile entegre edebilir ve SSIS'te ağır yatırımlar yapan kuruluşlar için doğal bir geçiş yolu sunar. Microsoft, mevcut SQL Server lisansları ile% 88 maliyet tasarruf sağlar.

Veri Akışları Haritası: Kod-Free Transformations

Mapping data akışları karmaşık veri dönüşümlerini görsel olarak tasarlamanıza izin verir, tek bir kod hattı yazmadan Apache Spark kümeslerinde ADF tarafından yönetilen, böylece ölçeklendirilen bir grafikte dağıtılırsınız. Data flows, dönüşüm adımlarını eklediğinizde, gerçek zamanlı olarak önizleme sonuçları ve debug mantığını kullanarak.

Görsel Tasarım Deneyimi

Veri akışı tasarımcısı bir tuval içerir (çalış ve dönüşümleri birbirine bağlarsınız), bir yapılandırma paneli ( sütun haritaları ve ifadeler gibi özellikler için), ve gerçek zamanlı bir veri önbelleği. Her adımdan sonra çıktıyı inceleyebilirsiniz, bir akış kurmak için deneyim benzerdir: bir kaynakla başlarsınız, bir dizi dönüşüm ve bir bataklığa dönüşürsiniz.

Dönüşüm Kategoriler

ADF, doğru aracı hızlıca bulmanıza yardımcı olan gruplara dönüşümler düzenler:

  • [FONT:0) Çok sayıda giriş / Seminerler:[Dönetici:[Döneme, Var, Birlik, Bakup ve Yeni Branş veri akışlarını birleştirip bölmenize izin verir.
  • [FONT:0]Schema modifiers:[Döntilmiş Köşe, Seç, Aggregate, Pivot, Unpivot, Pencere ve Rank, verinizin yapısını ve içeriğini yeniden şekillendirmenize izin verir.
  • [FONT:0]Row modifiers:[Dönetici:[Dönder:)[Düzücüler:[Düzücüler:[DüzDüz, Dizi, Yaş Row, ve Assert seçmeye, sipariş etmeye veya etiketleme satırlarına odaklanır.
  • [FONT:0)Formatters:[Döneticiler:[Dönderler, Parse ve Stringify JSON, XML ve diziler gibi karmaşık veri türlerini ele alır.

Her dönüşüm, dizeyi, tarihi, matematiği destekleyen ve koşullu mantığı destekleyen optimize edilmiş bir ifade oluşturucu içerir. yerleşik işlevleri kullanabilir veya ADF veri akışı ifade dili kullanarak kendi ifadelerinizi yazabilirsiniz.

Performans ve Scalability

Sahnelerin arkasında, veri haritanızı optimize edilmiş Spark işlerine derlemektedir. ADF bölme, paralellik ve kaynak tahsisi.You can control performance by using type (General amacı veya hafıza optimize) and the number of cores for the cluster. ADF şu anda performans kılavuzuna erişim sağlar.The current uses Spark 3.3, which performance steps.For large datasets, partitioning strategy (e.g., round-robin, hash, range) dramatik bir şekilde hızlanabilir.

Azure Data Factory'de bir veri borusu oluşturmak

Bir sonlu veri hattı oluşturmak altı temel adım içerir. Her adım öncekinde inşa eder, veri entegrasyonu mantığınızı tekrarlanabilir, otomatik bir süreç haline getirir.

Adım 1: Bağlantılı Hizmetleri Tanımlayın

İlk olarak, boru hattınızın her veri deposu için bağlantılı hizmetler dokunacaktır. Örneğin, Azure Blob Storage için bağlantılı bir hizmet hesap anahtar doğrulamasını kullanabilir, ancak bir on-premises SQL Server için bağlantılı bir hizmet SQL doğrulamasını ve bir Self-Hosted IR'ye işaret eder.

Adım 2: Datasets oluşturun

Sonraki, veri kümelerini temsil eden belirli veri yapıları tanımlayın. Bir veri kümesi ile bağlantılı bir hizmette çalışacak ve dosya yolları, masa isimleri ve format seçenekleri (CSV, Parkt, JSON) Örneğin, Blob Storage'da bir başka bir tablo için bir veri kümesi oluşturabilirsiniz.

Adım 3: Boru Hattını Tasarlamak

Faaliyetleri eklemek için boru hattı tuvali kullanın. BirİLDÜS:0)Copy Data) aktivitesini kullanarak, kaynak ve oluşturulan veri setlerine ve karmaşık orkestralar oluşturmak için herhangi bir sütun haritasını kullanın.For conversions, add aENFLT:2Data Flow) aktivitesini önceden inşa eden bir haritalama verileri akışına yönlendirin.

Adım 4: Configure Tesirleri

Boru hattınızı nasıl kapatacağını seçin. Bir program tetikleyicisi her sabah 6 AM. Bir tling pencere tetikleyicisi saatli parlar. Bir olay tetikleyicisi belirli bir klasörde yeni bir dosya toprakları olarak ateş edebilir. Tesadüfler parametrelerini geçebilir (örneğin, pencere başlangıç zamanı) boru hattına, onları dinamik hale getirebilir.

Adım 5: Test ve Debug

Yayınlanmadan önce, ADF'nin debug modu kullanarak boru hattını etkileşimli olarak çalıştırabilirsiniz.Kapa noktaları ayarlayabilirsiniz, ara verileri kontrol edin ve uygulama logları.Debug yayınlanmaz, böylece hızlı bir şekilde kanala basabilirsiniz, böylece planlanan veya manuel infaz için mevcut olan ADF hizmetine boru hattını yayımlayabilirsiniz.

Adım 6: İzleme ve Optimize Edilmesi

Dağıtımdan sonra, boru hattınızın ADF izleme görünümünde çalıştığını izleyin. Durum, süresi, verileri oku / yazılı ve ayrıntılı aktivite düzeyindeki logları takip edin. Ayarları ayarlayın (ADF Monitor) bir boru hattının başarısız olduğu veya geçemediğinde, bu verileri yavaş aşamaları tespit etmek, maliyetleri optimize etmek için gereklidir.

Azure Data Factory Kullanımının Faydaları

Azure Data Factory, herhangi bir veri entegrasyonu iş yükü için güçlü bir rakip haline getiren geniş bir fayda yelpazesi sunar.

Scalability and Performance

ADF ölçek için inşa edilmiştir. Bu sunucusuz yaklaşım, çalıştırılan boş kapasiteye dayalı olarak büyük veri patlamaları için yeterli kaynaklara sahip olmanızı sağlar.Seks boru hatlarınızı tanımlar ve ADF kümeleri yönetir, ağ ve retries.Bu sunucusuz yaklaşım, çalıştırılan veri patlamaları için yeterince kaynak sağlar.

Aşırılıkçı Bütünleme

90'dan fazla inşa edilmiş bağlantı ile, ADF neredeyse herhangi bir kaynaktan veri alabilir: büyük veri depoları (Amazon Redchange, Google BigQuery, HDFS), kurumsal veri depoları (Oracle Exadatata, Teradata), SaaS uygulamaları (Satış, Marketo, Service Now), ve dosya paylaşımı. Tüm konektörler Microsoft tarafından korunur, böylece sürücülerin veya API değişikliklerini yüklemeniz gerekmez.If no built-FLT:0.Copy[SatD)

Otomasyon ve Orkeasyon

ADF çok adımlı akışları otomatikleştirmekte başarır. Programlamayı planlayabilirsiniz, bunları dosya varışlarına göre tetikleyebilir veya boru hattında 80 aktiviteyi sınırlaabilirsiniz, koşullu iş mantığını bile desteklemektedir. Örneğin, verileri kopyalamaya çalışan bir boru hattı tasarlayabilirsiniz ve başarısız olursa, bir e-posta gönderirsiniz.

Kapsamlı İzleme ve Uyarılama

Her boru hattı çalıştırı ADF portalında veya Azure Monitor'e ihracat yapabileceğiniz ayrıntılı oturumlar oluşturur ve Log Analytics'e giriş yapabilirsiniz. Faaliyetler boyunca satırları takip edebilirsiniz, veri hareket performansını ölçebilir ve başarısızlıklar veya şüpheli gecikmeler için proaktif uyarılar ayarlar. Azure Monitor ile entegrasyon, uyumluluk için özel panolar ve saklama politikaları oluşturmanıza olanak tanır.

Maliyet-Effective Fiyat Model

ADF, bir tüketim bazlı fiyat modeli kullanır. Faaliyet için ödeme yapılır, veri hareketi (DIU saatler), dönüşümler (vCore saatlerini veri akışları için alır), ve sabit boru hatları.ŞUUDÜSÜ:0 aylık ücret, bu kadar küçük iş yükleri maliyeti çok az. öngörülebilir yüksek hacimli işler için, iş yük parametrelerinize göre maliyetleri optimize edebilirsiniz.

Hybrid and Multi-Cloud Support

Kendi kendine özgü IR ile, güvenlik birimlerinin arkasındaki veri kaynaklarına bağlanabilirsiniz, ADF'yi hibrit mimariler için doğal bir uyum sağlar. Ayrıca çapraz bulut veri hareketini de destekler: AWS S3'ten Azure Data Lake'a veya Google Cloud Storage'dan Azure Blob'a kopyalayabilirsiniz, tüm çoklu bulut kapasitesi içinde organizasyonlara tek bir boru hattını kilitlemeyi ve her iş yükü için en iyi depolamayı seçmenizi sağlar.

Enterprise-Grade Security ve Uyum

Güvenlik her katmanda gömülüdür. ADF yönetilen kimlikleri (bu, credential management), Azure Key Vault entegrasyonu ve kimlik doğrulama için hizmet müdürleri. Tüm veriler transitte TLS 1.2 ile şifrelenir. Özel bağlantı için, Azure Private Link'i Microsoft ağı içinde tutmak için kullanabilirsiniz. ADF, HIPAA ve diğer endüstri standartları ile uygun şekilde, finans ve sağlık hizmetleri gibi organize endüstrilere uygun hale getirir.

Azure Data Factory Fiyat Açıklandı

ADF suçlamalarının size bütçe ve maliyetleri optimize etmenize yardımcı olduğunu anlamak. Fiyat modeli, kullanıma dayalı birkaç boyutla granular.

Boru Orkestrası ve Execution

Faaliyet başına faturalanmışsınız, uygulama sırasında tüketilen işlem süresi saatlerini alır. Faaliyetler infaz için ücretlendirilir (örneğin, bir Kopya Data aktivitesini bir kez çalıştırın) Bir kez küçük miktar maliyetine göre değişir.Entegrali saatler, kullanılan işlem için Azure IR suçlamaları, kendi orkestrası için yalnızca doğrulanırken (tabanlı ev sahibi makine sizin sorumluluğunuzdadır).

Data Movement Maliyetleri

Kopya faaliyetleri, Data Integration Birimleri (DIUs) Microsoft, DIU saat başına 0,25 $ 'lık ücret (en son halka açık fiyattan) talep edilen DIU'ların sayısı veri hacmine, kaynak/sink performansına ve veri haçlarının bölgelere göre daha az DIU saatlerini kopyalayabilir. Örneğin, 100 GB kıtalarında kopyalamadan 10 GB kıtaları kopyalayabilir.

Data Flow Execution Execution

Haritalama verileri vCore-hours tarafından faturalandırılır. Hesap tipini (genel amaç veya hafıza optimize edilir) ve daha sonra 8, 16, 32) Daha küçük bir kümede çalışan toplam maliyetle eşitlenir ve TTL'yi IR'de azaltırsınız, ki bu da uygulama sonrasında kısa bir süre boyunca canlı tutar ve daha sonra çalışır.

Operasyonlar ve İzleme

Okuma/yazma işlemleri 50.000 $ 'a mal oldu veya referanslı varlıklar (veriler, bağlantılı hizmetler, boru hatları) İzleme işlemleri (terieving run records) 50,000 kayıt başına $ 25 $ 'a mal oldu. Bu maliyetler genellikle uygulama maliyetlerine kıyasla uygun değildir, ancak takımınızın yüzlerce boru hattı inşa edip derin izleme sorguları yürütür.

Maliyet Optimizasyon Stratejileri

  • LUD:0)Azure Fiyatlama Hesaplayıcısı), boru hatları inşa etmeden önce modelleme maliyetlerine sahip.
  • Konsülteler küçük, tekrarlayıcı borular parametreli, yeniden kullanılabilir şablonlara.
  • Net veri akışları için TTL'yi sıcak kümeleri korumak için ayarlar (projektör için minimum 10 dakika).
  • Makyaj faaliyetleri için doğru boyut DIU dağılımı: otomatik ölçek ile başlayın ve performans loglarına göre ayarlayın.
  • Zaman dışı sabit boru hatları olmayan zamanlar, değişken fiyatla bir bölgedeyseniz.
  • Düzenli olarak denetim ve kullanılmamış boru hatları, veri kümeleri ve tetikler.

Azure Data Factory vs. AWS Glue: Karşılaştırma

ADF ve AWS Glue, önde gelen bulut ETL hizmetleridir, ancak felsefe ve güçlü yönleri farklıdır.

Mimari ve Tasarım Felsefesi

AWS bir koda ilk yaklaşımına doğru eğilir: PySpark veya Scala senaryolarını dönüşümleri tanımlamak için yazabilirsiniz. ADF, aksine, görsel, düşük kod deneyimi vurgular, ancak aynı zamanda özel aktiviteler veya notlar aracılığıyla kod desteklerseniz, ekibiniz daha doğal hissedebilir.Eğer zengin görsel önizlemelerle sürüklenmeyi tercih ederseniz ADF'nin haritalama verileri akışları daha iyi bir uyum sağlar.

Fiyatlar Modelleme

Bir basit DPU-hour model (Data Processing Unit) ADF'nin birden fazla maliyet bileşeni vardır (veyachestration, DIU, vCore, operations) ve bunu birçok aktivite ile karmaşık hale getirebilir, ADF, basit iş yükleri için de daha esnek hale gelebilir. Örneğin, ADF'de küçük, infreknt kopya işi bir iş için daha az maliyetli olabilir, çünkü tam bir Spark kümesi için ödeme yapmazsınız.

Bütünleşme ve Ekosistem

Kuruluşunuz Microsoft araçlarını (SQL Server, Active Directory, Power BI, Azure Synapse), ADF doğal olarak AWS ekosistemine (S3, Redchange, Athena, Glue Kataloğu) uygun olarak sunar.

SSIS Paket Destek Desteği

ADF, Azure-SSIS IR aracılığıyla SSIS paketlerini yerel destek sağlar, böylece yeniden yazmadan mevcut kodu taşıyabilirsiniz. AWS Glue herhangi bir SSIS uyumluluğu sunmuyor; manuel çaba veya üçüncü taraf araçları kullanarak Rolls-SSIS yatırımlarıyla paketler dönüştürmeniz gerekir, ADF açık seçimdir.

Scalability and Workload Management

Ultrasonik tamamen sunucusuz ve otomatik olarak Spark kümesleri. ADF, çevre yapılandırması üzerinde manuel kontrol veren entegrasyon Runtimes'e dayanır (bölgeler, hesap türü, temel sayı). Bu kontrol, ADF'nin bulut ve en-premises sistemleri için daha uygun hale getirir.

Azure Data Factory Kullanımı için En İyi Uygulamalar

Oluşturulan en iyi uygulamalar, boru hatlarınızın sağlam, kullanılabilir olmasını ve maliyet verimsiz olmasını sağlar.

Design modüler ve Reusable Borular

Örneğin, herhangi bir tablodan veri kopyalayan bir parametreli boru hattı oluşturmak için parametre kullanın.Bu, tablo adı ve kaynak bağlantısı ile, tutarlı mantığı korumak ve sağlamak için ihtiyacınız olan boru hatlarının sayısını azaltır.

Robust Hatasını Uygulama

Geçici başarısızlıklar için yeniden yönlendirilen bir tabloya veya dosyaya uyarı gönderen bir “Failure” şubesi ekleyin.Refigure retry policies (e.g., retry twice with a 5 dakikalık interval) for Geçici başarısızlıklar için bir uyarı ekleyin.Intratch patternleri e-posta veya Slack. Log detailed error messages to a table or file for post-mortem analysis. Design pipelines so that partial failures do not downstream systems.

Parametreleme ve Dinamik İçerik

Dosya yolları, bağlantı dizeleri ve zaman pencerelerini çalıştırın. ADF'deki Dinamik içerik ifadeleri (örneğin, 03), manuel düzenleme olmadan çevresel değişikliklere uyum sağlayan boru hatları inşa etmenize izin verin. Bu özellikle son zamanlayıcıyı geçmek için kullanışlıdır.

Verin ve Credentials

Azure Key Vault'da onları hiçbir zaman zor kodlama sırları kullanmayın ve bunları Anahtar Pencere bağlantı tipi kullanarak bağlantılı hizmetlerden referans alın.İnternetten trafik tutmak için her zaman yönetilen kimlikleri kullanın. Rol bazlı Access Control (RBAC) hangi kullanıcıların veya servis analarının ayarlayabileceğini sınırlandırın. Tüm veri hareketlerinin halka açık internetten uzak tutulması için enable Private Link.

Bütünleme Runtime Konü

Üretim verileri akışları için, belirli bir bölgeye ait Azure IR'nizi oluşturun, işlem türü (genel amaç), ve en az 8+8 (16 toplam) vCores. Sıcak bir küme korumak için 10 dakikalık TTL ayarlayın, başlangıç gecikmesini dakikaya yakın sıfıra kadar azaltın.

Monitor ve Optimize Performansı

Azure Monitor panolama panolama panoları için düzenli olarak incelenir. Yüksek süre veya yüksek DIU tüketimi ile faaliyetleri tanımlayın.Kaynak verileri ile kopya faaliyetleri optimize edin, çapraz kopyalar için yönlendirmeyi ve paralel kopyaları etkinleştirin.For data flows, ayarlı bölümler stratejileri ve küme boyutu için.

Implement CI/CD and Version Control

ADF örneklerinizi bir Git havuzuna bağlayın (Azure DevOps veya GitHub) değişiklikleri takip etmek ve işbirliği yapmak için ayrı ADF örneklerini kullanın, test etmek ve üretime giden ARM şablonları oluşturun.Bu, manuel hataların riskini azaltır ve gerektiğinde geri yüklemenizi sağlar. ADF şimdi AzureOps Server 2022'yi önceden gelen kullanıcılar için otomatik dağıtım hatları oluşturun.

Boru hatlarınız ve Süreçlerinizi Dokümanlar

Tüm eserler için anlamlı isimler kullanın (örneğin, [[DüzDÜDÜT:1) Açıklamalar ve karmaşık aktivitelere notlar ekleyin.Her veri kümesinin nereden geldiğini ve hangi dönüşümlerin hızlı bir şekilde yardımcı olduğunu gösteren bir veri hattı belgesi koruyun.

Gelişmiş Özellikler ve Cap Yükleri

Temellerin ötesinde, ADF gerçek dünya veri zorluklarını çözen birkaç gelişmiş özellik sunar.

Data Capture (CDC)

ADF, CDC'yi yalnızca son ekstraksiyondan beri değiştirmiş olan sıraları çıkarmak için destekliyor. Yerel CDC bağlantılarını kullanabilirsiniz ( SQL Server, Oracle, PostgreSQL gibi veritabanılar için) veya sumark sütunlarını manuel olarak uygular.

Data Flow Debug Mode

Haritalama veri akışları, canlı verilerinizin örneklenmesine interaktif olarak dönüşümleri test etmenize olanak sağlar. Her adımdan sonra çıktıyı önleyebilirsiniz, sütun değerlerini inceleyebilirsiniz ve çabucak iterate.Debug oturumları, saniyede başlayan küçük bir Spark kümesi kullanır, tam boru hattının çalıştırılmasından çok daha hızlı bir şekilde geliştirir.

Yönetilen Sanal Ağ Ağı

Yönetilen sanal ağ (VNet) size ADF kaynaklarınız için ağ izolasyonu sağlar. Azure hizmetleri (Blob Storage, SQL Database, vs.), verileri asla Microsoft back Bone'dan bırakmaz. TTL'yi Yönetilen VNet, özel uç noktalarınızın aktif, dengeleme güvenliği ve maliyetinin ne kadar süre kaldığını kontrol etmenizi sağlar.

Schema Drift

Veri kaynakları genellikle şemaları değiştirir - yeni sütunlar ortaya çıkar, veri türleri değişir veya sütunlar kaldırılır. ADF'nin haritalama verileri akışları otomatik olarak şemaları sürükleyebilir.Suçta yeni sütunları tespit etmek için dönüşümleri yapılandırabilirsiniz, oturum açın ve bunları kopyalayın.Bu boru hatları manuel müdahale olmadan yukarı esnek hale getirir.

Pencere Tetikleyiciler

Tling pencere sabit, devirsiz zaman pencereleri için süreci tetikler. Ekran verileri veya günlük fatura raporlarının kısaltılması gibi senaryolar için idealdir. tetikleyici otomatik olarak pencereyi başlangıç ve son kez parametre olarak geçirir ve gerekirse geri yüklemeyi destekler.

Azure Synapse Analytics ile entegrasyon

ADF Azure Synapse Analytics ile derinden entegre edilmiştir. Doğrudan Synapse Studio içinde boru hattı inşa edebilirsiniz, aynı veri akışını motorunu ve orkestraz yeteneklerini paylaşabilirsiniz. Bu, veri entegrasyonunu, veri savaşını bir platformda veri analizini bir araya getirmenize olanak sağlar.TheurFLT:0Synapse Belgeleri).

Gerçek Dünya Vakaları Kullanıyor

Azure Data Factory endüstriler genelinde veri entegrasyonudur. İşte ortak desenler.

Data Depo Modernizasyon

Şirketler, yeni şemalara uymaya yönelik tarihsel tabloları taklit ederler ve verileri yeni şemalara uymaya hazırlar. ADF'nin verileri ayrıştırır.

Data Lake Ingestion

Organizasyonlar modern veri gölleri inşa eder (Azure Data Lake Storage Gen2), operasyonel veritabanı, SaaS uygulamaları, IoT cihazları ve dış API'ler. Borular arazisi Park veya Delta formatındaki ham verileri uygular, sonra Spark, Power BI veya ML işleriyle disko-okuyucu tüketimini uygular.

Hibrit Data Entegrasyon

Birçok işletme hem isimsiz hem de bulut sistemleri üzerinde çalışır. ADF'nin Kendi kendine özgü IR köprüleri bu ortamlara izin verir, örneğin, bir üretim şirketi gerçek zamanlı sensör verilerini tahmin edici bakım modelleri için Azure'a kopyalayabilir.

İş Zekası ve Raporlama

ADF birçok BI çözümlerinin arka kemiğidir. Kaynak sistemlerinden veri toplar, iş mantığı (aggregations, hesaplamalar), ve Power BI veya Tableau'nun sorgulayabileceği analitik veritabanına yükler.Bu boru hatları otomatikleştirerek, organizasyonlar raporlarının her zaman güncel olmasını sağlar.

Makine Öğrenme Data Hazırlık

Veri bilim insanları ADF'yi ML projelerinin veri hazırlığı aşamasına otomatik olarak kullanıyor. Boru hatları birden fazla kaynaktan veri toplayabiliyor, özellik mühendisliği (örneğin, encoding, ölçeklendirme, tarih parsing), ve temiz veri setlerini Azure Machine Learning'e teslim ediyor. Bu otomasyon, deneyleri üretmek ve modellemek için daha kolay hale getiriyor.

Legacy ETL Tools'dan Göç

Buluta mevcut ETL iş yüklerini taşımak korkutucu görünebilir, ancak ADF geçişlerini kolaylaştırmak için birkaç geçiş yolu sunar.

SSIS Migration

SSIS paketleriniz varsa, bulut destekli özelliklerin yararlanmak için onları Azure-SSIS IR'ye değiştirebilirsiniz. Azure-SSIS IR oluşturun, .ispac dosyalarını dağıtın ve onları çalıştırabilirsiniz. Zamanla, yerel ADF faaliyetleri veya veri akışları ile bulut destekli özelliklerden yararlanmak için değiştirebilirsiniz.

Fabric Migration Asistan

Microsoft'un Fabric migration asistanı (ADF portalı içinde kullanılabilir) boru hatları, not defteri ve ADF veya Synapse'den Microsoft Fabric'e kadar Spark havuzları otomatik olarak geliştirmelerine yardımcı oluyor.Bu araç, Fabric'nin birleşik gölhouse mimarisini benimsemeye çalışan kuruluşlar için özellikle kullanışlıdır.

Değerlendirme ve Planlama

Migrating öncesinde, mevcut tüm ETL işlerini, belge veri kaynaklarını ve destinasyonları, harita bağımlılıklarını ve mevcut performansı ölçmeyi amaçlayan Azure Migrate gibi araçları kullanarak ADF'nin bileşenleri kullanarak bir hedef mimarisi tasarlayın, en yüksek değerli, en düşük değer boru hatlarıyla başlayın. Her bir kontrasepsiyonel sistemi tamamen test edin.

Azure Data Factory ile başlayın

ADF kullanmaya başlamak için, Azure abonelikine ihtiyacınız var.Bir boru hattını oluşturmak için kaydolabilirsiniz:0 Azure hesabı[[Döneticileri keşfetmek için krediler içeren). sonra [Üye Olmayanlar Linkleri Takip Et:2) İlk veri fabrikanızı oluşturmak için, bir boru hattı tanımlamak ve basit bir kopya aktivitesi yürütmek için yeterince sezgiseldir.

Küçük başlayın: Blob Storage'da örnek bir veri kümesine bağlanmak, Azure SQL masasına kopyalayın ve sonra daha karmaşık senaryolara güven oluşturun. Resmi Microsoft belgeleri, topluluk forumları ve Microsoft'ta eğitim modülleri kapsamlı destek sağlar.

Azure Data Factory yeni konektörler, performans iyileştirmeleri ve Microsoft Fabric ile entegrasyonlar geliştirmeye devam ediyor. Yeni bir veri platformu inşa edip mevcut ETL süreçleri modernize etme, ADF, modern veri entegrasyonunda başarılı olmak için gerekli olan güvenilirliği sunuyor.