Tümleştirici Makine Öğrenme Hızlandırıcıları CISC Processor Systems ile bütünleştirin

Mekanik Öğretim Setleri (CISC) işlemci sistemleri ile ilgili önemli entegrasyon, modern bilgisayar mimarisinde önemli bir değişim anlamına gelir.TCISC işlemcileri, Tensor Processing Birimleri gibi sürekli olarak hesaplamak için talep eder - gelişmiş vektör uzantıları olan kişilerle birlikte -daha iyi kapı dizileri (FPGA) ile hız tutmak için en iyi şekilde çalışır ve tümleşik devreleri ile birlikte CISC işlemcileri ile birlikte inceleyebilir.

CISC Processor Systems

CISC işlemcileri, yüksek seviyeli diller ve makine kodu ile genişletilebilir, zengin öğretim setleri için x86 ekosistemi faydalarını, çok düşük seviyeli işlemleri tek bir talimata hazırlamak için tasarlanmıştır.Bu tasarım felsefesi, üst düzey diller ve makine kodu arasındaki semantik boşlukları azaltır, derleyici gelişim ve zengin öğretim setleri basitleştirir. x86 ekosistemi, yazılım optimizasyonundan, geri yüklemeden ve büyük bir yüklü bir temel haline gelir.

Makine Öğrenme Hızlandırıcıları Nedir?

ML hızlandırıcıları, sinir ağ eğitimine ve inference'e hükmeden lineer algebra ve onor operasyonları için zeminden tasarlanmış özel hesaplar motorlarıdır.

  • [FONT=0]Tensor Processing Birimleri (TPUs): ), Google'ın TensorFlow iş yükleri için zirve sağlayan özel ASICs. Her bir BTC, hem eğitim hem de inferans için binlerce matrix tabanlı bellek içerir.
  • [[0)FieldProgramlanabilir Kapı Dizileri (FPGA):), ASICs'den biraz daha düşük performans için yeniden yapılandırılabilirlik. Intel's Stratix ve Xilinx'in Alveo (şimdi AMD) aileleri, veriye dayalı operatörlerinin belirli ML modellerine özel olarak donanıma geri yüklemesine izin verir, ASIC'lerden daha düşük performans için yeniden yapılandırılabilirlik sağlar.
  • [FONT:0) Uygulamalı Tümleşik Devreler (ASIC): [Döneticileri, daha dar bir işlem seti için tasarlanmış sabit işleyen çipler. Örnekler, NVIDIA'nın GPU tabanlı hızlandırıcıları içerir (bu, saf ASIC'ler dahil, on veya çekirdekler dahil), ve Habdi işlemciler eğitim için sunar. ASICana Gaudi işlemciler daha uzun verimlilik sağlar ancak daha uzun gelişim döngüleri gerektirir.

Bu hızlandırıcılar ortak mimari özellikleri paylaşıyor: büyük paralellik, yüksek bant genişliği hafıza arayüzleri ve karışık-precision arithmetic (FP16, BF16, INT8). Hesaplamalı onlarca veya operasyonları CPU'dan yükler, veri orkestrası, kontrol akışına odaklanmaya izin veriyor ve I/O.

Entegrasyon Nasıl Çalışır

Interconnect Topologys

Bir ML hızlandırıcısını bir CISC sistemine entegre etmek, yüksek bant genişliği, düşük çözünürlükte bir bağlantı gerektirir.En yaygın seçimler PCI Express (PCIe) 4.0/5.0, CXL (Compute Express Link), ve NVIDIA'nın NVLink gibi özel kumaşlar, kontrol edilen AMD'nin hafıza alanına 32 GT /s teklif eden ve doğrudan haritalama sağlar. CXL, BIOS'un hafıza alanına entegre edilmesi ve hafıza havuzlu, şifreleme ve CPU'nun tümleşik modellerini paylaşmasını sağlar.

Memory Coherency ve Data Movement

Anahtar bir meydan okuma veri kopyaları ile karşı karşıyadır. Geleneksel bir ayrı hızlandırıcıda, CPU hafıza tamponları ve sorunu DMA transferleri, geç erişimli bağlantılarını tanıtarak, DRAM'ı (CXL, Intel UPI, AMD IF) doğrudan okuma ve yazmaya izin verir ve CPU'nun hafıza kontrollerini azaltır.

Yazılım Özeti

Donanım entegrasyonu tek başına yetersizdir; yazılım, işbölümünü orkestraya sokmalıdır. TensorFlow, PyTorch, ve ONNX Runtime abstract, GPU işlemlerinin uygun bir cihazla ilgili grafik derlemesi ile hızlandırıyor. Sistem seviyesinde, sürücüler (örneğin, Intel'in OpenCL, FPGAs için açık işlem süresi, GPU için ROCm, GPU'lar için ROCm, Google'ın XLA'sı için en iyi şekilde kullanması için) cihazı çalıştırıyor.

Bütünleşme Faydaları

  • [FONT:0)Enhanced Performansı: [Dönetici:[Dönetici: 0,5 $ 19.5 TFLOPS FP32 ve 312 TFLOPS (tek Tensor Cores) Uygulamalı CISC sunucularının, milisaniyeden mikrosaniye geçebilmelerini sağlar.
  • [FONT:0)Enerji Verimliliği: [Döneticiler ve FPGA'lar genel amaçlı CPU çekirdeğinden daha az baskı tüketiyor.In data-center settings, ML-acceleration tasks can be processed 5-10× daha iyi FLOPS /watt, toplam mülk ve karbon ayak izi maliyeti.
  • [FONT:0)Scalability:[Dönetici:[Dönetici:0) Hibrit sistemler yatay olarak ölçeklenebilir ( CPU başına çok fazla hızlandırıcılar) ve dikey olarak (bu düğümlerin beşikleri) Memory-pooling ve koherent kumaşlar dinamik kaynak tahsisi sağlar, FPGA veya Ataris havuzu birçok CPU ev sahipliğinde dikkat çekicidir.
  • [FONT:0]Flexability:[Döneticiler, CISC işlemcileri, gelişmekte olan ML iş yüklerini ele alırken, bu ikili amaçlı yetenek, örgütlerin mevcut altyapıyı değiştirmeden AI-ye dayalı iş akışlarına geçiş yapmasına izin verir.

Bütünleşmede Meydanlar

Uyumluluk ve Interoperability

Pilotlar ve CISC ekosistemleri arasındaki sorunsuz iletişim, CPU'yu değil, tek bir soyut SYCL diliyle programlamayı amaçlar, ancak kabul edilebilirliği kontrol eder. Sistem bütünleştiricileri, AMD ROCm açık kaynaktır, ancak belirli çerçeveler için desteklenir. Intel bir API, ve FPGA programlamayı tek bir soyut SYCL dili aracılığıyla kullanır, ancak kabul edilemez. Sistem bütünleştiricileri güvenli bir şekilde doğrulanır.

Programlama Kompleksi

Her iki CISC CPU ve bir hızlandırıcıyı verimli bir şekilde kullanan yazı kodu yazmak zordur. Geliştiriciler veri akışı grafiklerini, hafıza hiyerarşilerini ve cihazı yeteneklerini anlamalıdır. 10sorFlow gibi üst düzey çerçeveler bile, suboptimal çekirdek yerleştirme veya veri kopyalama kalıpları olumsuz donanım kazanımlara sahiptir.Debugging sistemleri özellikle zorlanır: bir kaza CPU sürücüsünde, hızlandırıcı veya bağlantı birimlerinde olabilir.

Maliyet ve Tasarım Kompleksi

Bir hızlandırıcı ekledik sistemi Bill-of-Malzemeler, pilotun yüksek ısı dağılımını karşılamak için - tek A100'e kadar bütçeler sınırlı; birden fazla hızlandırıcı eklemek, özellikle de hızlandırıcıları paylaşan, CPU'da bir soket veya sistemle (SoC) ısıtılmalıdır.

Yazılım Fragmentation

ML Framework'ün hızlı değişen doğası, hızlandırıcı desteğin en son operasyonların arkasındaki sık sık sık sık gecikme anlamına gelir. yeni bir aktivasyon fonksiyonu veya katman tipi, belirli bir FPGA veya ASIC için optimize edilmiş bir çekirdeke sahip olmayabilir, bu parçalamanın bakım yükünü azaltır ve devlet-of-the-art modellerini yavaş bir şekilde kabul edebilir. endüstrinin MLIR (MultiLevel Interte Representation) ve OpenXLA bunu ele almayı amaçlar, ancak yakınlaştırmayı hedefliyor.

Gerçek Dünya Uygulamaları

Intel Xeon + FPGA

Intel'in Xeon işlemcileri, entegre Arria FPGA'lar (örneğin, Intel Xeon Platinum 8580 + Intel FPGA AI Suite) müşterilerin gerçek zamanlı dolandırıcılık algılama veya video analizi için mikrop geliştirme konusunda bilgi sahibi olmalarına izin veriyor. FPGA, yakın bir projeksiyon hızlandırıcı olarak bağlantılı ve CPU'nun önbellek boru hatlarına dokunmadan düşük performans boru hatlarıyla bağlantılı.

PPYC + Alveo

AMD'nin EPYC işlemcileri Xilinx ile eşleştirilmiştir (şimdi AMD) Alveo hızlandırıcıları, PCIe 4.0 ve açık kaynak Xilinx Runtime (XRT) Finansal hizmetlerde, bu kombinasyonlar risk modellemesi için kullanılır: EPYC, Monte Carlo simülasyonlarını lineer fiyat modelleri için gerçekleştirirken gerçekleştirir.

NVIDIA Grace Hopper

NVIDIA'nın Grace Hopper süperçisi, 72-core Arm-based CPU (Grace) bir Hopper GPU (H100) yüksek bant genişliği NVLink-C2C bağlantı üzerinden bir araya gelirken, Grace, CISC'den daha önce CPU'ya erişimi sağlarken, mimarlık, kontrol sistemleri için eğimli bir sabit CPU'ya kıyasla 7× hız verir.

Bulut Veri Merkezlerinde Özel ASIC + x86

Büyük bulut sağlayıcıları Intel Xeon veya AMD EPYC işlemcileri ile birlikte özel ASIC'leri dağıtıyor. Google'ın Seiko v4 pods, yüksek hızlı bağlantılarla CPU'ya ev sahipliği yapıyor; bu bulut tasarımları, TensorFlow'ı toplam mülk ve enerji yoğunluğuna öncelik veriyor - bu entegrasyon modelinin EC2 örneklerinde PCIe ile entegre olduğunu gösteriyor (Inf1, Inf2), NactsorFlow'ı otomatikleştirmek için.

Benchmarking ve Performansı

Entegre sistemleri değerlendirmek için, uygulayıcılar ham TFLOPS'in ötesinde ölçümler kullanıyor (İkinci başına 100 m P99 gecikmeli), geç kalmış kuyruklar ve enerji verimliliği (girişler için 10 ms geç saatlere kadar) önemli ölçüde daha fazla.Örneğin, bir BERT-base modeli hizmet ederken, bir Intel Xeon sadece 100 ms P99 gecikmeli çalışma süresine sahip olabilir - FPGA hızlandırıcısı eklemek için gerçek bir çalışma süresine hükmedebilir.

MLPerf Inference ( MLCommons) gibi standart karşılaştırmalar, CPU'daki kenar ve veri merkezi sistemleri için kategoriler içerir, ölçeklenebilirlik argümanını gösteren sonuçları sunar.

Tümleşik Sistemlerin Kabul Edilmesi için Tasarım

Workload Analysis

Her ML görevi, hızlandırıcı entegrasyondan eşit olarak faydalanmıyor. Hesaplamalı ve düzenli hafıza erişim kalıplarına sahip olan modeller (konvolu ağlar, dönüştürücüler) en büyük kazanımlara sahip olmaları gerekir.Tam olarak, bellek-latency-bound (örneğin, grafikler sinir ağları, söndürücüyü etkin bir şekilde kullanmayabilir ve hatta ek olarak eklenen eksperticilerden zarar verebilir. Sistem mimarları, yalnızca ve donanıma girmeden önce tüm platformları çalıştırmalıdır.

Güç ve Termal Bütçe

Datacenter güç yoğunluğu büyüyen bir endişedir. Hızlandırıcılar genellikle ek soğutma gerektirir: bazı yüksek uç ASICs sıvı soğutma gerektirir. Toplam güç zarfı tesis kapasitesinden daha fazla ölçeklenebilir, CPU'lar tek bir güç rayını paylaşan daha pratik tasarımlar olabilir (örneğin, Intel'in H serisi işlemcileri) ayrı kartlardan daha verimli olabilir.

Yazılım Maturity

Seçilen hızlandırıcınız için yazılım yığınının olgunluğunu değerlendirin. Popüler ML çerçeveleri desteklenen? Hata toleransı ve dinamik ölçeklendirmeli sürücüler var mı? FPGAs için, birazstream derlemenin saatlerce alabileceğine bakın - gerçek zamanlı model güncellemelerini zorlayın. ASICs ve JPGs genellikle daha az esneklik sağlar.

Future-

Hızlandırıcı teknoloji hızla gelişti. PCIe 5.0 ve CXL 3.0, birçok hızlandırıcıya bellek takmak için bant oluşturma ve açık programlama modellerini seçmek için bir araya getirir. CXL'nin CPU ve hızlandırıcılar tarafından aynı anda erişilebilir bir şekilde bir bellek havuzu oluşturma yeteneği, büyük ölçekli model eğitimi için bir oyun değiştirici olabilir.

Future Perspektifleri

Yön açık: Hibrit CISC-akseler sistemleri yüksek performanslı hesaplama, bulut veri merkezleri ve hatta kenar cihazlarının gelişmişleri, farklı ISA'ların tek bir koherent hafıza sistemine sahip olmak gibi - CPU aynı pakette kalmak için ölür ve hızlandırıcı ölür ve hızlandırılır. Intel'in gelecek Falcon Shores ve AMD'nin MI300 serisi bu teknikleri kullanır, farklı ISA'ların hesap birimlerini tek bir koherent hafıza sistemine dönüştürür.

Yazılım çerçeveleri, ilk sınıf vatandaşlar olarak hızlandırıcıları tedavi etmek için gelişiyor. Domaine özgü dillerin (örneğin, Triton, TVM) ve standart orta temsillerin (MLIR) daha fazla sayıda engeli daha fazla yükseltecek, ancak ağır kaldırma modelleri (LLMs) daha fazla sayıda hızlandıracak ve işleme ve işlemedeki yenilikleri yükleyen ve işlemeye zorlayacaktır.

Önemli ML iş yükleri ile ilgili kuruluşlar için, CISC altyapısıyla hızlandırılan tasarım ilkeleri ile entegre etme kararı artık “if” değil, “nasıl” CISC işlemcilerinin ve ML hızlandırıcılarının geleceğidir.