Azure Data Factory vs. Ssis: Veri Entegrasyonunuz için Daha İyi Nedir?

Data integration modern, dağıtılmış veri ortamları yönetmek için kritik bir kapasite olarak kalır. İşletmeler birden fazla bulut hizmeti, mirası veritabanı ve gerçek zamanlı veri akışları, sağlam ETL (Extract, Dönüşüm, Load) ve ELT araçları asla daha fazla anlamaz. Bu farklılıkların ikisi Azure Data Factory (ADF) ve SQL Server Entegrasyon Hizmetleri (S) ve aynı temel amacına hizmet ederken - aynı temel amacı taşır - mimaride önemli ölçüde değiştirir ve dönüşüm, maliyet ve kullanım koşulları.

Azure Data Factory Genel Bakış

Azure Data Factory, Microsoft'tan gelen bulut tabanlı bir veri entegrasyonu servisidir. Azure Synapse Analytics, Azure Database, Blob Storage veya Google BigQuery gibi üçüncü taraf platformlarını oluşturmanıza olanak sağlar.

ADF, Azure portallarında görsel bir tasarımcı kullanarak, yalnızca JSON SDK'ları için ödeme yapmanız veya REST API'leri kullanarak özetliyor.ADF ayrıca Apache Spark kümelerinde çalışan ve ölçeklendirme gibi temel altyapı yönetiminden uzaklaşıyor. - Kullanıcılara özel kod yazmadan karmaşık veri dönüşümünü gerçekleştirmek için yapılandırıyor.

Azure Data Factory'nin temel özellikleri şunlardır:

• [FONT=0]Hybrid veri hareketi: [Dönetici: [FONT=) veya Kendi ev sahibi IR, ADF SQL Server, Oracle ve SAP gibi önceden gelen veritabanına bağlanabilir ve ayrıca, Casey, Dynamics 365 gibi bulut hizmetleri ve HTTP uç noktaları gibi.
• [FONT:0)Orchestration ve scheduling:[Dönetici:[Dönetici: 0) Zincir faaliyetleri (copy, data akışı, boru hattı, depolanmış prosedür, özel .Net/HDInsight/Spark işleri) ve onları bir programda veya olaylara yanıt olarak tetikleyebilirsiniz (örneğin, Blob Storage’da gelen yeni bir dosya).
• [FONT=0]Monitoring and uyarılar: [Dönetici:[Dönetici:0) ADF, Azure portalında, görsel koşu logları, metrikler ve Azure Monitor ve uyarı kuralları ile entegrasyon sağlar.
• [FONT:0)Scalability:[Dönetici:[Dönetici: Servis, iş yüküne dayanan otomatik olarak hesap kaynakları ölçekler - çoğu senaryo için gerekli olan manuel ayar.
• [FONT:0)Version kontrolü ve CI/CD: Borular ARM şablonlar olarak ihraç edilebilir veya Git havuzlarında depolanabilir, takım işbirliği ve dağıtım otomasyonuna olanak sağlar.

Azure Data Factory'yi ne zaman kullanın

ADF, Azure'da bulunan kuruluşlar için idealdir, bulut-ilk stratejiye doğru hareket eder veya donanım olmadan veri entegrasyonu iş yüklerini ölçeklendirme yeteneği gerektirir. Onun gücü bulut-natif entegrasyon, etkinlik odaklı boru hatları ve birçok küçük orta ölçekli veri yükü eş zamanlı olarak işleme yeteneği.For newer data Engineering team, the visual Interface and lowcode Mapping Data Flows without managing the depend on deep programming skills.

SSIS'in genel bakışı

SQL Server Entegrasyon Hizmetleri (SSIS), grafik kontrol akışı ve veri akışı tasarımcısı kullanarak karmaşık bir ETL paketleri oluşturabilecek sağlam bir veri kümesidir. SSIS Server 2005 yılından beri SQL Server'ın bir parçası olan SQL Server Tools (SSDT – SQL Server işi veya komut satırı) ile ilgili olarak, geliştiricilerin karmaşık bir eTL paketler oluşturabileceği bir dosyadır.

SSIS özellikle veri dönüşümleri, hata işleme ve olay kaydı üzerinde iyi kontrol gerektiren senaryolar için uygundur. Yerel konektörler ve özel adaptörler aracılığıyla geniş bir veri kaynağı destekler, ancak en yerli ve optimize edilmiş deneyim SQL Server veritabanı ile birliktedir.

SSIS'in temel özellikleri şunlardır:

• [FONT=0)IOTII: 0 [FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=FONT=
• [FONT:0] Eller ve Giriş: SSIS özel etkinlik eller (örneğin, OnError, OnWarning) ve log paket uygulama detayları SQL Server, metin dosyaları veya Windows Event Log Log.
• [FONT=0]Sent ve özel bileşenler: Geliştiriciler C# veya VB.NET senaryolarını bir senaryoda (Depres) veya script komponsiyonunu uygulamak için mantık uygulamak için (Data Flow) özel SSIS nesne modelini genişletebilirsiniz.
• [FONT:0]İşletme ve yürütme: [Dönetici: [Dönetici:0))SSIS paketleri bir SQL Server örneği (proje dağıtım modeli) veya dosya sistemi için kullanılabilir. Execution SQL Server Agent veya üçüncü taraf programlayıcıları kullanarak planlanabilir.
• [FONT:0) İlişkili kaynaklar için yüksek performans: Çünkü SSIS özel donanıma çalışır ve veri hacmi için çok yüksek düzeyde kullanılabilir, özellikle de kaynak ve varış noktası her iki SQL Server'dır.

SSIS'i ne zaman kullanacağım

SSIS, SQL Server'da önemli yatırımlara sahip kuruluşlar için sağlam bir seçim olmaya devam ediyor, önceden belirlenmiş SSIS uzmanlığını kullanarak, karmaşık veri temizleme, bulanık aramalar veya özel senaryolamadan yararlanan birçok eşdeğer dönüşümler için iyi çalışıyor. Ayrıca paket davranışı ve hata işlemlerini de sunuyor.

Anahtar farklılıkları genişletildi

İşsizlik ve Altyapı

Azure Data Factory bulut hizmetidir; asla düzenleme veya sunucuları yönetemezsiniz. Veri hareketi ve dönüşüm koşu zamanı otomatik olarak ölçeklenir. SSIS, diğer yandan, kendi sunucularınız üzerinde çalışır (fiziksel veya sanal).If you must install SQL (With SSIS) and manage the account resources, security yamalar ve yüksek kullanılabilirlik.If your corporate requires an on-premises solution because to uyumluluğu or latency constraints, SSIS provides you full control. but if you prefer a completely managed service that reduce a operator.

Scalability

ADF ölçekleri yatay olarak: Paralel olarak birçok boru hattı çalıştırabilirsiniz ve hizmet gerekli hesap yapılandırmaları kullanarak Azure Data Flows'ı daha büyük Spark kümelerini ağır dönüşümler için kullanmayı da yapılandırabilirsiniz. SSIS ölçekler dikey olarak - sunucuyu yükseltebilirsiniz veya daha fazla hafıza / animasyonlar ekebilirsiniz. Son derece büyük veri hacimleri için ölçeklendirme yapılandırmaları kullanarak çeşitli sunucularda veri bölmeniz gerekebilir.ADF'nin bulut ölçeklendirmeleri ekliyor.

Bütünleşme ve teşvikler

ADF, bulut hizmetleri için 100 tane yerleşik bağlantı sunar (paze uygulamaları, Azure hizmetleri ve birçok üçüncü taraf veritabanı dahil). Ayrıca dosya paylaşımları gibi kendi barındırdığı entegrasyon Runtime'ya bağlanmak için, SAP, Oracle ve SQL Server. SSIS'in geniş bir dizi yerel adaptöre sahiptir, ancak Microsoft ekosistemleri ile en güçlüdür (SQL Server, Azure SQL, Excel, düz dosyalar).

Geliştirme Deneyimi

SSIS geliştirme, ETL sürecinin her adımını görselleştirebilmek için Visual Studio'da yapılır - sürüklenme tasarımcıları ile güçlü bir IDE, ADF'deki bazı derin silme yeteneklerinden yoksundur.ADF'deki Advanced scenarios'ler genellikle JSON'u veya Azure Data Flows'u yazabilir, bu da geleneksel SSIS geliştiricilerine aşina olmayabilir.

Maliyet Model

SSIS maliyetleri SQL Server lisanslarına (Standart veya Enterprise) bağlıdır ve onu çalıştırmak için donanıma sahiptir. Ayrıca SQL Server CALs veya temel lisanslara da ihtiyacınız vardır. zaten SQL Server lisansına sahip olan kuruluşlar için, SSIS'in marjinal maliyeti düşük. Azure Data Factory, veri hareketine göre ayrıntılı bir maliyet analizi yapmanız önerilir, çünkü veri hacminize ve frekansınıza göre ödeme yapabilirsiniz.[0]

Güvenlik ve Uyum

Her iki araç da SQL doğrulama, Windows entegre güvenlik ve kimlikleri (ADF) ADF Azure Active Directory'den faydalanır ve geri kalanı için şifreleme sunar ve veri akışları için geçiş yapın. SSIS, sizin on-premises ağınızın ve SQL Server'ın yerel güvenliğiniz için güvenilirdir.Eğer verileriniz belirli bir coğrafi sınırda veya şirket duvarının arkasında kalmalıysa, SSIS aynı zamanda VNet'i de çalıştırabilir veya özel bir şekilde kullanmak için özel Linki kullanabilir.

Hangi Tool İhtiyacınız için daha iyi?

Evrensel “en iyi” bir araç yoktur - seçim, organizasyonunuzun mevcut altyapısına, veri mühendisliği beceri setlerine, uyumluluk gereksinimlerine ve bütçeye bağlıdır. Aşağıda değerlendirmenizi yönlendirmek için daha ayrıntılı kriter vardır.

Azure Data Factory'yi seçin:

• [FONT:0) Bulut İlk veya Hibrit Bir Stratejiyi Kabul Ediyorsunuz: [Dönetici: 1) ADF bulut için inşa edilmiş ve Azure sinerji (örneğin, Azure Synapse, Power BI ve Azure ML ile).
• [FONT:0) Verileri geniş bir bulut SaaS ve on-premises kaynaklardan entegre etmeniz gerekir:[Dönemli kaynaklar:[Dönetici:0) ADF'nin bağlantı kütüphanesi ve Self- ev sahipliği yapan IR bu basit hale getirir.
• [FONT:0]Scalability and elastikity önemlidir: ADF, bir altyapı yönetimi olmadan çok sayıda boru hattı çalıştırabilirsiniz.
• [FONT:0) Ekibiniz düşük kod veya görsel gelişim tercih eder:) Mapping Data Flows geleneksel kodlama ihtiyacını azaltır, veri analistlerinin katılmalarına izin verir.
• [FONT:0) Sermaye harcamalarını en aza indirmek istiyorsunuz: ADF'nin opex modeli değişken iş yükleriyle uyumlu ve ön donanım yatırımını azaltır.

SSIS'i seçin:

• [FONT:0) Organizasyonunuzun SQL Server ayak izi ağırdır:[Dönetici:[Dönetici:0) Mevcut SQL Server lisansları (Enterprise baskı) SSIS'i ekstra maliyetle, ekonomik hale getirmek.
• [FONT:0) Karmaşık, özel dönüşümler ve iyi bir hata işleme gerektirir: SSIS'in senaryo yetenekleri ve yerleşik görevleri (örneğin, Fuzzy Lookup, Term Ekstraksiyon) size rakipsiz kontrol verir.
• [FONT:0)Data latency ve throughput kritiktir: Özel donanıma çalışan SSIS ile, bufferları optimize edebilir ve çok büyük on-premises veri setleri için bulut bant genişliği sorunları kaçınabilirsiniz.
• [FONT:0) Ekibiniz derin SSIS deneyimine sahiptir: ADF'ye göç etmek, mevcut ETL'niz iyi çalışırsa, geçiş maliyeti bizim de aşırı fayda sağlayabilir.
• [FONT:0) Katı veri uzmanlığı veya egemenlik gereksinimleriniz var: On-premises işleme, ağınızda verileri tutar, belirli uyumluluk düzenlemeleri tatmin eder.

Hybrid Scenario: SSIS Inside Azure Data Factory

Birçok kuruluş sadece bir şekilde seçmek zorunda değildir. Azure Data Factory, SSIS mantığına yatırım yaparken mevcut SSIS paketlerini çalıştırabilir ve çalıştırabilirsiniz.Bu, Azure-SSIS Entegrasyon Runtime.0SSIS paketlerinizi Azure-SSIS için daha fazla yüklemenize olanak sağlar.).

Benzer şekilde, ADF'nin Kendi kendine ev sahipliği yapan entegrasyon Runtime'yu buluttan onları orkestraya davet ederken SSIS paketlerini yürütmek için kullanabilirsiniz. Bu size her iki bulut ve on-premises boru hatları için birleşik bir kontrol uçağı verir.

Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç

Azure Data Factory ve SSIS güçlü, savaş destekli araçlardır, ancak farklı dağıtım modellerini, usta setlerini ve operasyonel felsefeleri hedef alır. ADF, mevcut altyapınızın net bir değerlendirmesine dayanan, bulut destekli veri entegrasyonu platformunu, gelecekteki bulut hırslarını, takımı yeteneklerini ve bütçe kısıtlamalarına dayalı olarak yapılandırır.

Yeşil bir bulut ortamında yeni bir veri entegrasyonu projesi başlatılırsanız, ADF her ikisinden de büyük bir yanardağlar SQL Server'ı karmaşık SSIS paketleriyle birlikte sürdürmek, SSIS ile kalmak - veya Azure-SSIS IR ile bir karma modeli benimsemek - en iyi yaklaşım her ikisine de fayda sağlayan stratejik bir kombinasyon olabilir, organizasyonunuzun ihtiyaçlarına uygun bir geçiş sağlamak.