Data Throughput ve Storage'ı Büyük ölçekli ADC Data Acquisition Systems'de Nasıl Yönetilir

Data Throughput in Large-Scale ADC Data Acquisition Systems

Analog-to-Dijital havuzlar (ADCs) modern ölçüm ve izleme sistemlerinin arka kemiğidir, bu sürekli analog sinyalleri ayrı dijital değerlere çevirmektedir. Büyük ölçekli dağıtımlarda - parçacık fiziği deneyleri, fazlı tıbbi görüntüleme sistemleri gibi - ADC'lerden gelen veriler ikinci başına yüzlerce gigabit'ye ulaşabilir.Bu tür verilerdeki bu tür kısıtlamalarla ilgili derin bir anlayış gerektirir, bu tür stratejiler ve depolama mimarisi olmadan.

Bir ADC sistemindeki veriler, örnekleme oranının ürünü ve örnek başına biraz derinlik olarak tanımlanır, tipik bir kiriş dizisiyle çarpılır ve toplam oranı ikinci başına 12bit ADC örneklenir (GSPS).

Tartışmalar

Bağlantı gereksinimleri ile karşılayan bir sistem tasarlamak için mühendisler dört birincil kısıtlama domaini değerlendirmelidir:

Bu kısıtlamaları anlamak, tasarımcıların donanım seçiminden önce ayrıntılı bir bağlantı bütçesi analizi gerçekleştirmesine olanak sağlar. Ortak bir hata, ADC'leri yüksek örnekleme oranlarıyla belirtmektir, ancak sonra onları yetersiz arka plan bant genişliği ile eşleştirir, veri kaybının devam ettiği şekilde.

Yüksek Lisans için mimarlık: ADC'den Kalıcı Depolama

Büyük ölçekli ADC sisteminde güvenilir verilere ulaşmak için, mimarlık bağlanmak ve dirençli olmalıdır. Veri yolu üç aşamaya ayrılabilir: satın alma ve sayısallaştırma, iletim ve aggregasyon ve depolama ve analiz.

Aşama 1: Satınalma ve Digitization

Sensör ön sonunda, ADC ve analog doğrulama devreleri fiziksel olarak sinyal kaynağına gürültüyü ve sinyal bozulmasına yakın olmalıdır.ADC modülü, küçük FPGA veya mikrokontroller serileştiricileri ve şerit hizasını yönetir. ”ENGT:0Embedd geçerli verileme). - Yüksek ısı kesintileri gibi - JESD204B protokolünde gömülü JESD204B protokolü - bir sonraki aşamada gelen örneklerin düzeltilmesi.

Aşama 2: Translaksiyon ve Aggregation

Bir kez sayısallaştırılmış, birçok ADC kanallarından gelen veriler ortak bir arka plan veya ağ üzerinde toplanmalıdır.In real-time systems like Radar or staged arrays, the second approach is prefer because it allows data reduce (e.g., via digital Beam information, or matched filter) before the network, lowering the network. For real-time systems like Radar or staged arrays, the second approach is prefer because it allows data decrease (e.g.g., data deployment or matched filter) before the network, the network.

Her iki durumda da yüksek hızlı bir anahtar kumaş (örneğin, 1024-port 100GbE geçiş) bir aggregasyon geri kemiği olarak hizmet eder. RDMA Over Converged Ethernet (RoCEv2) veya TCP offload motorları aynı anda CPU yükünü azaltır ve devam eden bir iletiyi azaltır.

Aşama 3: Depolama ve Analiz

Son aşama, büyük ölçekli satın almalar için, dağıtılmış bir depolama sistemi (örneğin Ceph, Lustre veya özel bir NVMe-Fabric serisi) zorunludur.Yazanlama, veri toplamadan geçici patlamaları aşmalıdır ve sistem minimum jitter.FLT:0) Depolama katmanında (FLT:1) sabitlenme ve flaşlama işlemine izin verirken, büyük DRAM önbellekleme işlemine izin verir.

ADC Systems'de Verimli Veri Deposu için Stratejiler

Depolama yönetimi sadece kapasiteyle ilgili değildir; erişilebilirlik, dayanıklılık ve maliyetle ilgilidir. Aşağıdaki stratejiler, organizasyonlar, performans veya veri bütünlüğünden ödün vermeden üretilen son derece ADC sistemlerini ele alır.

Scalable Storage Architectures

Tek bir disk veya hatta tek bir depolama Node 100+ GSPS sisteminin ihtiyaçlarını karşılayabilir. Bunun yerine, hiyerarşik bir yaklaşım gereklidir:

Örneğin, tiers arasındaki veri transferi otomatik ve politika odaklı olmalıdır. Örneğin, bir ölçüm tamamlandıktan sonra, satın alma sistemi, sıcak depolamaya sıcaktan veri taşıyabilir, kayıp sıkıştırma (örneğin, LZ4 veya zlib) herhangi bir örnek bitmeden kapasite ihtiyaçlarını azaltmak için.

Gelişmiş DataCompleksiyon Teknikleri

Promosyonlar ADC veri depolamasını yönetmek için en güçlü araçlardan biridir, ancak gerçek zamanlı bir satın alma sisteminde, sıkıştırma hattında çalıştırılmalıdır - özel FPGA veya GPU kaynakları gerektirir. Common algoritmaları şunları içerir:

Maksimum verimlilik için, veri özelliklerini karşılayan bir sıkıştırma algoritması seçin. İyi bir başparma kuralı, gerçek ADC verileri üzerinde birkaç algoritmayı karşılaştırmak - açık kaynak kütüphaneleri bu şekilde, örneğin [[ENFLT:0)Z standard by Facebook).

Veri Yönetimi Politikaları ve Yenidenleme

Net veri yönetimi olmadan, depolama, yetimsiz veya kırmızı yedek veri setleriyle hızla doldurur. Aşağıdaki politikaları uygulayın:

Balancing Throughput and Storage: Practical System Design

Büyük ölçekli ADC satın alma sistemi inşa etmenin en zorlu yönü, son zamanlardaki en yüksek transfer ve depolama arasında bir işlemdir.En yüksek kesinti için tasarlanmış bir sistem genellikle yüksek hızlı depolama katmanına veya risk veri kaybına doğrudan sahiptir.Ancak, depolama katmanı süresiz olarak devam edemezse (örneğin, SSD veya ağ tıkanıklık nedeniyle), sistem ADC veya risk veri kaybına zarar verir.

[[Dönetici:0) Önerilen bir yaklaşım, satın alma ön sonu ile depolama sistemi arasında bir geri bildirim kontrolü döngüsü uygulamaktır.ADC kontrol cihazı, örnekleme oranını veya aktif kanalların sayısını dinamik olarak ayarlar.Bu, sağda kullanılan yazılım tanımlı radyo (SDR) sistemlerinde yaygındır.

Başka bir teknik, depolama süresini yönetmek için 100 GB /s, depolama süresini belirlemek için depolamayı sağlamak içindir.Bu% 50 marj, SSD'lerde kısa vadeli patlamalar ve aşınma seviyesinde gecikmeler sağlar.Örneğin, bu artışlar maliyetle büyük ölçüde sistem karmaşıklığı ve yüksek kullanım süreleri boyunca veri kaybı riskini azaltır.

Büyük ADC Data Management

Bu ilkeleri göstermek için, ADC veri yönetiminin önemli olduğu iki alan düşünün:

Square Kilometer (SKA) Radyo Teleskobu

SKA, 50 MHz'den birkaç GHz'ye kadar yüksek hızlı optik fiber ağının merkezi bir işleme tesisine üretecektir.Her anten, veri oranını ~1 Tbps'ye kadar, 10 PB ile bir Lustre dosyası sistemi üzerinde depolanır.It is aggregated via a high- speed fiber network to a central processing facilities.0Compression rates of 3-4×[DDDDönetici)

Büyük Hadron Collider (LHC) Deneyler

CERN'de ATLAS ve CMS gibi dedektörleri ADC'leri on megahertz'ı dijitalleşme olaylarıyla karşılaştırır.Her bir demetten gelen ham veri oranı ikinci başına petabaytlar, ancak bir tetikleyici sistemi, kaydedilen oranı 1 GB /s'e azaltır, ancak toplam veriler yılda depolanır 50 PB. depolama mimarisi, milyonlarca kaset maliyeti kullanır.

Bu örnekler, transkript ve depolamanın bir donanım, sıkıştırma ve politikalar için ortak bir optimizasyon olduğunu gösteriyor - bir sonraki değil.

ADC Data Throughput ve Storage'daki Future Trends

ADC teknolojisi ilerledikçe, örnekleme oranları ve biraz derinlikler artacaktır. GaN tabanlı ADCs yüzlerce GSPS'ye itilirken, bu gelişmelerle, “daha sonra her şeyi ve mağazayı bitiren geleneksel yaklaşım muhtemelen güvenilemez hale gelecektir.

Bu gelişen teknolojilere yatırım yapan kuruluşlar, bir sonraki ultra yüksek hızlı veri satın alma sistemlerini işlemek için daha iyi hazır olacaktır.

Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç

Büyük ölçekli ADC veri satın alma sistemleri, tümleşik bir mühendislik yaklaşımı gerektiren çok yönlü bir meydan okumadır.ADC arayüzlerinden ağ kumaşlarına ve depolama yazma hızlarına kadar -mühendisler, modern ağ ve depolama teknolojilerini önlemek için mimarlık tasarlayabilirler, her örnekten alınan değerin ezici altyapıdan elde edilmesi ve güvenilir bir şekilde yararlanılabilir olmasını sağlar.