Azure Big Data ve Data Warehousing için Analytics

Birleşik Analytics Platformların Yükselişi

Modern işletmeler işlem sistemlerinden çok fazla veri üretir, IoT cihazları, sosyal medya ve operasyonel uygulamalar. Geleneksel veri depoları bu bilgiyi işlemek için mücadele eder, farklı büyük veri siloları parçalanma ve yönetişim zorlukları yaratırken, Azure Synapse Analytics, bu ayrımı birleştirilmiş büyük veri işleme ve veri işleme işlemine ihtiyaç duyan birleşik bir analitik hizmet sağlayarak ele alır.Microsoft'un Azure bulutunda inşa edilen bu bilgileri kullanarak, organizasyonları en büyük veri kümesine hazırlamak, yönetmek ve işletme zekası, makine öğrenmesi ve daha ileri analitik iş yükleri için hizmet eder.

Azure Synapse Analytics'in temel yetenekleri

Azure Synapse, depolamadan ayrı olan sınırsız bir analitik hizmet olarak tasarlanmıştır, bağımsız kaynakları ölçeklendirmesine izin verir. Apache Spark gibi büyük veri motorlarını işletme verileriyle ilgili veri boru hatları ve sunucusuz SQL ile birleştirir.Bunce, veri mühendisleri ve analistleri T-SQL, Python, Scala ve .NET gibi aynı ortamda çalışabilir. Platform ayrıca Power BI ve Azure Machine Learning ile ilgili yerleşik veri bağlantılarını içerir.

Apache Spark ile Büyük Veri İşleme

Azure Synapse, Synapse Studio çalışma alanı içinde yerel Apache Spark havuzları sunar.Bu havuzlar büyük ölçekli veri dönüşümlerini destekler, analitik ve makine öğrenme modelini kullanarak veri analizlerini sağlar ve API'li veri depoları için uygun olmayan veri depoları için idealdir.Bu kurulum sırasındaki dijital veri toplama ve doğrulama işlemlerinin çok yavaş veya kısıtlayıcı olması için ısıtılabilir.

Enterprise Data Warehousing with Private SQL Pools

yapılandırılmış veriler ve yüksek performanslı analitik için, Azure Synapse, belirli SQL havuzları (eski SQL Data Deposu) ile ilgili olarak, iş yükleri boş olduğunda, arama işlemine yönelik büyük bir paralel işlem (MPP) mimarisini kullanır. T-SQL arayüzü, mevcut SQL profesyonelleri için alt saniye sorgu yanıtları ile tam olarak uyumlu hale getirir.

At-Demand Queries için sunucusuz SQL

Özel havuzların ötesinde, Azure Synapse, Azure Data Lake veya Blob Storage'daki dosyaları doğrudan Azure Data Lake veya Blob Storage'da standart T-SQL kullanarak sorgulamanıza olanak sağlayan bir sunucusuz SQL uç noktası içeriyor; sadece tarama verileri için faturalanmış veriler için idealdir.Bu, depoya gitmeden önce göldeki verileri doğrudan sorgulayın.

Detaylı Bilgi İçin Anahtar Özellikler

Aşağıda, her biri pratik sonuçlar ve teknik ayrıntılarla genişletilir.

Birleşik Krallık Platform

Azure Synapse, Synapse Studio adlı tek bir çalışma alanı sunuyor, bu da verileri enjeksiyon, keşif, dönüşüm, sorgulama, görselleştirme ve yönetim. ETL, veri savaşını, SQL Server ve büyük veri işleme için ayrı araçları ihtiyacınız olan önceki nesillerden farklı olarak, Synapse Studio kod-ilk ve düşük kod arabirimlerini sunar. Bu birleştirme, UIs ile yönetişim arasındaki geçişin yükünü azaltır ve tüm varlıklar – boru hatları, dizüstü bilgisayarlar, notları, SQL Serverlar, veri setleri – depolanır ve merkezi olarak idare eder.

Scalability

Azure Synapse'de yer alan çeşitli düzeylerde olur. adanmış SQL havuzları için, oturumda düğümlerin sayısını ve oturumda otomatik ölçeklerini yapılandırabilirsiniz. Serverless SQL otomatik olarak iş yüklerini değiştirmek için ölçeklendirmek gerekir.Bu elastiklik yalnızca kullanabileceğiniz ve oturumda yukarı boyutlarını yapılandırabilirsiniz.

Data Integration

Azure Synapse, Synapse Boruları, Azure Data Factory'den elde edilen bir bulut tabanlı ETL/ELT hizmeti içerir. 100'den fazla yerleşik bağlantı ile, Spark kümeleri kullanarak dönüşümleri çalıştırabileceğiniz veri akışları destekleyebilir, Azure hizmetleri (Blob, Data Lake, Cosmos DB), ve üçüncü taraf bulut kaynakları (Amazon S3, Google BigQuery).

Gelişmiş Analytics

Aeroe Machine Learning[[Dönetici:0) ile Yerli entegrasyon, doğrudan Synapse Studio'dan trene dağıtmanıza ve modellerinizi doğrudan Synapse dizüstü bilgisayarlar veya R kullanarak, daha sonra metin analizi için en iyi modeli kaydetmenize ve REST uç noktası olarak dağıtmanıza olanak sağlar. Power BI entegrasyonu eşit derecede sorunsuz bir şekilde yapılır: Power BI veri kümelerinden doğrudan Synapse veri kaynaklarından kaynaklanabilir ve en son verilerle yenilenen canlı raporları oluşturabilirsiniz.Youapse support. add the best model in the best practices services for text analysis, computer vision, and anomaly detect, which be captured in data.

Güvenlik ve Yönetme

Azure Synapse'deki güvenlik, iş alanında, veritabanı ve veri varlık seviyelerinin şifrelendiği durumlarda şifrelenir ve TLS. Azure Active Directory entegrasyonu, veri maskeleme ve denetim yoluyla yapılan veri analizi aracılığıyla tek işaret tabanlı erişim kontrolü (RBAC) sağlar.For 1/2, ISO 27001, HIPAA ve FedRAMP, veri analizi için uygun verileri kontrol eder ve denetim altına alır.

Mimari Derin Dive

Azure Synapse'nin mimarisinin performans ve maliyetle yardımcı olduğunu anlamak. Servis, kalıcı bir depolama katmanıyla iletişim kuran dağıtılmış bir hesap katmanı üzerinde inşa edilmiştir (Azure Data Lake Storage Gen2 veya Blob Storage). Özel SQL havuzlarında, veriler paralel olarak 60 dağıtımda dağıtılır ve sonuçlar hiçbir şekilde otomatik olarak otomatikleştirilmemektedir.Bu MPP tasarımı, onları derlemeye olanak sağlar ve düğümleri hesaplamak için taahhüt eder.

Spark iş yükleri için, mimarlık benzer: Spark master kontrol düğümü üzerinde çalışır ve çalışan düğümleri paralel olarak işlem düğümleri ile uyumludur.Data is read directly from the storage floor, Canoning pushdown predic and caching to speed.The serverless SQL endpoint uses a shared metadata store and hesaplar on-the-fly by scan partitions in parallel. All three engines share the same catalog (Azure Data Lake Storage) and can access the same data with consistent security policies, enable multi-modal analitik without data duplication.

Şeytanın Değeri Değerini Kullanan Vakaları

Azure Synapse çeşitli senaryolar için endüstriler arasında dağıtılır:

[[FONT:0)Log Analysis:[Dönetici:[Dönetici: 0 3) Bir perakende şirketi, e-ticaret platformlarından Azure Data Lake'e kadar milyarlarca tıklama olayı satın alıyor. Synapse Spark notları kullanarak, verileri temizleyip askıya almalarına izin veriyor. Serverless SQL, analistlerinin kullanıcı davranışını düzeltmeden gerçek zamanlı olarak sorgulayabilmelerine izin veriyor, özel SQL havuzları pazarlama ekipleri için günlük panolar gücü günlük panoları.
[FONT:0) Tahmin edici Bakım: [Dönetici: [Dönetici: 1) Bir üretim firması, fabrika ekipmanlarından gelen sensör verilerini toplamaktadır. Synapse Borular verileri, bir anomali tespit modellerinin çalıştırdığı bir Spark oturumuna girer.
[[Aff:0) Müşteri 360: [Dönetici:[Dönetici: 1) Finansal hizmetler şirketi CRM verilerini, işlem kayıtlarını ve web analizlerini tek bir veri modeli haline getirir. Azure Synapse'nin SQL havuzları, karmaşık aralıklar ve agresyonlar sağlarken, sunucusuz SQL, yeni verileri hızlı bir şekilde keşfetmesine olanak sağlar.
[[Dön zamanlı Analytics:[Dön zamanlı):[Dönetici:[Dönetici:0) Gerçek zamanlı bir veri akışı için Azure Synapse ile Azure Stream Analytics ile gerçek zamanlı akış için veri akışları ile veri akışları, o zaman Spark akışına dönüştürülür ve bir Power BI paniğinin canlı ölçümler gösterdiği özel bir SQL havuzuna yazılır.

Performans Optimizasyon Teknikleri

Azure Synapse'nin en çok ortaya çıkması için, bu en iyi uygulamaları göz önünde bulundurun:

[FONT=0]Distribution Choices:[Distribution Choices:) Özel SQL havuzları için, yüksek kartinality (e.g., müşteri ID) ile yüksek çözünürlükte bir sütunda veri yüklerini dengelemek için yuvarlak-robin kullanın ve veri hareketinden kaçınmak için küçük boyut masaları çoğaltmak için.
[FONT:0)Indexing ve Katılımcılık:) Büyük gerçek masalar için yüksek sıkıştırma ve daha hızlı tarama performansı elde etmek için kümelenmiş sütun indeksleri kullanın. Zaman tabanlı sorgular ve verimli arşiv /truncate işlemleri için bölüm ortadan kaldırmak için tarihle tablolar.
[FONT:0]Result Set Caching:[Dönetici:[Dönetici:0)Enable sonuç, sık sık sık sorgu için sorgu sonuçları yeniden yapılandırmak, hesaplama kullanımlarını azaltmak ve yanıt süreleri geliştirmek için özel SQL havuzlarında caching.
[FONT:0]Workload Management:[Dönetici:[Dönetici:0) İş yükü sınıflandırması ve kritik sorgulara öncelik vermeleri için önem kullanın.Anahtar SQL havuzları, hafıza ve koncurrency slotlarını ayırarak, ETL veya pano performansını etkilemeden sorgular.
[FONT=0)Data Skew Mitigation:[Dönetici:[Dönetici:0)Data Skew Mitigation:[Dönetici:0)Data Skew Mitigation:[Dönetici:[Dönetici:0) Takip edilen bir masaya taşınmadan önce veriyi farklı bir dağıtım anahtarı veya kullanmak için yuvarlak-robin stating table.If one distribution hold disproportionately more data, performance degrads. Rebuild tabloları farklı bir dağıtım anahtarı ile yeniden inşa etmek veya kullanmak.

Azure Ekosystem ile entegrasyon

Azure Synapse izolasyonda çalışmaz. Kapsamlı bir veri platformu oluşturmak için diğer Azure hizmetleriyle derinden entegre eder:

[FONT=0) ● {0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{0}{
[FONT:0)Azure Data Factory:[Dönetici:[Dönetici:0) Synapse Boru Hattı Data Factory üzerinde inşa edilmiştir, böylece aynı entegrasyon runtime ve konektör kütüphaneleri için de kullanılabilirsiniz.
[FONT=0)Power BI:[[Dönemli ve ithalat mod bağlantıları desteklenmekte. Ayrıca Power BI veri setlerini diğer kaynaklarla birleştiren kompozit modeller oluşturmak için kullanabilirsiniz.
[[Dönetici:0)Navige Purview:[Dönetici için[Dönetici:0) Purview, veri katalogunu popüle etmek için Synapse çalışma alanları, veri sınıflandırma politikalarını takip etmek ve uygulama verileri sınıflandırma politikalarını uygulamak için. Data sahipleri Power BI'a ve diğer kullanım araçlarına akan hassas etiketler ayarlayabilir.
[FONT:0)Azure DevOps ve GitHub: Synapse Studio, depolar, boru hatları için CI/CD'leri kullanarak kaynak kontrolü entegrasyonunu destekliyor ve CI/CD'leri boru hatları, dizüstü bilgisayarlar ve SQL senaryoları için kritik.

Maliyet Yönetimi ve Fiyatlandırma Modelleri

Azure Synapse, optimize edilebilir birkaç fiyat bileşeni sunuyor:

[FONT:0)Dedikated SQL Pool:[Dönetici:[Dönetici:0)[Dönetici) için DWU (Data Warehouse Unit) ödeme işlemi için havuza tıklayabilirsiniz.
[FONT:0]Serverless SQL:[[Dönetici:[Dönetici:0) İşlenmiş veri için ödeme yapın.Eğer öngörülemeyen veya reklam sorgu kalıpları varsa, sunucusuz, özel bir havuzdan daha ekonomiktir. Tekrarlanan taramaları azaltmak için sonuç seti kalibrasyonunu kullanın.
[FONT=0]Apache Spark Pool:[Dönetici:[Dönetici:0)[0]Apache Spark Pool:[[Dönetici: 0,8|Dönetici) Hesaplama için uygun olmayan işler için havuzları kullanabilirsiniz.
[FONT:0]Synapse Borular:[Dönetici: 1) Billed, birçok aktiviteye dayanan ve entegrasyon süresi saatlerini kısaltabilir. büyük veri setleri üzerinde orkestrasyon yalnızca gerekli olduğunda veri akışları kullanarak optimize edilebilir.
[FONT:0)Data Storage:[Dönetici:0) Azure Data Lake Storage ayrı depolama ücretleri (per GB/ay) Tarihi veriler için serin veya arşiv katmanı kullanarak, ancak gerektiğinde erişilebilir olmasını sağlar.

Azure Synapse ile başlayın

İlk analitik iş yükünüzü başlatmak birkaç adım içerir. Azure Synapse Analytics çalışma alanı Azure portalından itibaren ayarlamak için entegre ders galeriyi kullanın.Bölgeyi, veri göl depolamasını ve SQL havuzu ayarlarını kendiniz yapın.İş alanı hazırlandığında, açık Synapse Studio inşa etmeye başlayın.In the entire tutorial gallery to learn by example: a örnek bir dataset, run a Spark note, create a T-SQL view, and build a Power BI report - all without leave the studio. For production, set up code repories, define pipeline triggers, and configure monitoring with Azure Monitor and Log Analytics.

Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç

Azure Synapse Analytics, veri mühendisliği ve veri analizi arasındaki sürtünmeden gelişmiştir. Azure Synapse Analytics, büyük veri işleme, işletme savaşını birleştirerek, mevcut bir veri deposunda bilgi birikimini ortadan kaldırır veya kendi hizmet analizi ile derin entegrasyon sağlar, Azure Synapse, stratejik kararlara göre maliyetleri ve performanslarını artırmak için stratejik kararlar verir.

Daha fazla araştırmak için, [[0)Microsoft'un resmi belgeleri[Döneticileri için mimarlık rehberleri, en iyi uygulamalar ve hızlı başlangıç öğreticileri için.Gerçek dünya dağıtım modelleri için, checkENFLT:2)Azure veri mimarisi kılavuzları) ve [[Döneticileri [FLT: 5)Power BI entegrasyon örnekleri).