Hızlı gelişen mühendislik alanında, tasarım ve üretim arasındaki daha karmaşık simülasyonlar ve daha sıkı entegrasyonlar, mühendislik iş akışları sırasında üretilen büyük bilgisayar destekli tasarım (CAD) veri setleri verimli bir şekilde kritiktir. Modern ürün geliştirme döngüleri, daha karmaşık simülasyonlar ve tasarım ve üretim arasındaki sıkı entegrasyonlar. Geleneksel tek hazır işleme araçları, karmaşık işlem araçları ile sık sık sık sık sık sık sık sık karşılaşılan bir şekilde, mühendislik akışları sırasında üretilen veri kümeleri ile mücadele sağlar. Apache Spark, açık kaynaklı hesaplamalar, yeni bir programlama hıza kadar, mühendislik tasarım ve işleme hızları hızlandırmayı hızlandıran bir çözüm olarak ortaya çıktı.

Apache Spark'ı Anlamak

Apache Spark, büyük ölçekli veri işleme için tasarlanmış bir birleşik analitik motordur.Ana inovasyonu, makine öğrenimi için sıkıştırılmış veri sorguları (RDD) ile dağıtık veri kümesi ve rekomputed otomatik olarak, Spark özellikle de RDDDD'lerin üst kısmında inşa edilen mühendislik uygulamaları için tasarlanmıştır: Mekanik olmayan veri sorguları için Spark SQL, grafik işleme için GraphX ve gerçek zamanlı veriler için yapılandırılan veri akışı için GraphX.

Spark birden fazla programlama dili destekler -Python, Java, Scala ve R - bu, dağıtılmış sistemlerde uzmanlar ve veri bilim adamları için bariyeri azaltır.Görünmüş yönetim, görev zamanlaması ve hata toleransı, kullanıcıların daha önce MapReduce paradigmalarına odaklanmasına izin verir, Spark, seslendirme algoritmaları ve etkileşimli algoritmaların ve etkileşimli sorguların şifreleri için 10-100 × performans geliştirmelerini sağlayabilir.

Mühendislik bağlamlarında önemli olan temel mimari özellikleri şunlardır:

  • [FONT:0)In-memory koutation:[Dönetici] Intermediate sonuçları RAM'da tutulur, dramatik olarak disk I/O'yu çalıştırdığında, iteratif tasarım döngülerini veya multi-criter optimizasyonu azaltır.
  • [FONT:0)Lazy değerlendirme:[Döneticiler, operasyondan önce sıralanır ve optimize edilir, Spark'ın işlemleri birleştirip kümedeki verileri en aza indirmesine izin verir.
  • [FONT:0]Fault toleransı lineage yoluyla: Eğer bir node başarısız olursa, Spark rekomputes orijinal verilerden bölümler kaybetti, çoğu iş akışlarında manuel kontrol ihtiyacını ortadan kaldırdı.
  • [FONT:0]Veri gölleri ile ilgili olarak: Spark bulut nesne mağazalardan (Amazon S3, Azure Data Lake Storage, Google Cloud Storage) ve on-premises Hadoop Dağılı File System (HDFS), CAD depolarını ve simülasyon arşivlerini merkezileştirmek için kolay hale getirebilir.

Kullanıcılar, Spark ile yönetilen platformlar aracılığıyla başlayabilirler:0)Databricks[Dönetici: 1) veya kendi altyapılarında açık kaynak kümeleri dağıtarak. Resmi Apache Spark web sitesi (spark.apache.org) Python ve Scala API'leri özellikle mühendislik verileri işleme ile ilgili kapsamlı bir belge sunar.

Mühendislik Tasarım Otomasyonunda Sıcak

Mühendislik tasarımı otomasyonu, minimum insan müdahalesi ile tasarım alternatiflerini geliştirmek ve optimize etmek için yazılım kullanımı ile ifade eder. Parametrik modelleme araçları, otomatik simülasyon iş akışları ve jeneratif tasarım algoritmaları tüm bu şemsiye altında düşer. Ürün karmaşıklığı arttıkça - milyarlarca parça veya çip ile modern bir uçak düşünün - tasarım araştırması sırasında üretilen veriler muazzam hale gelir.

Spark hem nesli hem de değerlendirme aşamaları paralel olarak tasarım otomasyonu hızlandırıyor. Örneğin, jeneratif bir tasarım algoritması, materyal, yük koşulları ve üretim kısıtlamaları gibi çeşitli girdiler ile binlerce kavramsal geometri üretebilir.Bu tasarım alanı değerlendiren, eşdeğer ve yavaş.

Hesaplamalı akışkan dinamikleri (CFD): Bir ekip, 50 farklı arka bozulma tasarım için bir araba gövdesi üzerinde hava akışı analiz etmek zorunda kalıyor.Her simülasyon, tek bir iş istasyonunda yaklaşık iki saat sürer.Koca ile, ekip 25 düğümde 50 iş bölünebilir, tüm parametrik çalışmayı bir saat içinde tamamlayabilir - bu hız mühendisler daha fazla tasarım seçeneği keşfetmelerini ve veri odaklı bir şekilde karar vermelerini sağlar.

Spark ayrıca popüler mühendislik yazılımı ile özel konektörler ve API'ler aracılığıyla entegre eder. Örneğin, [[0)ANSYS[DÜT:1) ve [[Döneticiler:2)Dasault Systèmes[DÜDÜDÜDÜDÜDÜDÜDÜDÜDÜDÜDÜDÜSÜye Olmayanlar, Spark İşlerinden gelen simülasyon için mekanizmalar sağlar ve analiz edilebilirler, her simülasyonun daha büyük bir veri boru hattında görev olarak tedavi edilmesini sağlar.

Parametrik Araştırmalar Paralel

Autodesk Fusion 360, Siemens NX gibi parametrik tasarım araçları ve PP Creo, geometriyi yönlendiren mühendislere izin verir: bir kirişin uzunluğu, bir kanat açısı, bir kabuk kalınlığı. Spark bu parametre değerlerinin genelinde süpürücükyü otomatikleştirebilir.Bir Spark sürücüsü programı, herhangi bir işçinin görevdeki yerini kaybetmesine izin verirse, bir başka ilerleme kaydeden bir hata toleransı tekrarlayabilir.

Hızlandırma Optimizasyonu Halkaları

Multi-objective optimizasyon genellikle genetik algoritmaları veya parçacık batarm yöntemleri içerir, yüzlerce nesil ve binlerce işlev değerlendirme gerektirir. Spark's MLlib, doğrudan mühendislik hedeflerine uygulanabilir olan genetik algoritmaların ve optimizasyonların kullanımını sağlar. Örneğin, üstoloji optimizasyonu sorunu, her nesilin aynı anda birden fazla aday topolojiyi değerlendirdiği bir sonraki nesilde yapılandırılabilir.

Tasarım Otomasyonunda Anahtar Faydaları

  • [FONT:0)Speed:[DÜDÜT:1) In-memory processing, veri erişim süresini büyüklükte siparişlerle azaltır. Mühendislik takımları için 20-50× hızlar MapReduce veya tek hazır senaryolarla kıyasla rapor eder.
  • [FONT:0]Scalability:[Döneticiler, tek bir makinenin hafızasını aşacak bir avuç düğümden yüzlerceye kadar ölçeklenebilir ve onları boş zaman yükleri geri yüklemeleri için büyük kümeler haline getirebilmeleri için takımların hafızasını üstlenir.
  • [FONT:0)Automation:[Dönetici:[Dönlendirme: [Dönlendirme: [Dönlendirme: [Dönlendirme: [Dönlendirme: [Dönlendirme: [Dönlendirme: [Dönlendirme: [Dönlendirme: [Dönlendirme: [Dönlendirme: [Dönlendirme:0], Bu, manuel çaba ve insan hatası azaltırken, izlenebilirlik ve denetim izlerini azaltır.
  • [FONT:0) AI/ML ile ilgili olarak: Spark'ın MLlib, tasarım otomasyonuna makine öğrenimi dahil etmek için doğal hale getirir. Mühendisler tasarım parametrelerine dayanan simülasyon sonuçlarını tahmin eden ek olarak, bu nedenle optimizasyon sırasında hızlı tahminleri yerine getirebilir.
  • [FONT:0) Gerçek zamanlı geri bildirim:[[Dönetici:[Dönetici: 0,3) Yapılı Akış ile, Spark, sensör destekli prototiplerden veya üretim hatlarından canlı verileri, performans verileri sürekli iyileştirme için tasarım modellerine geri beslemektedir.
  • [FONT:0]Cost verimliliği: [Dönetici:[Dönetici: [Dönetici:0) Ortak bir platformda tasarım ve simülasyon verileri konsolide ederek (örneğin, bir veri gölü), örgütler veri silolarını ortadan kaldırır ve depolama ve hesaplama maliyetlerini azaltır. Spark'ın verimli yürütme planlarını en aza indirir.

CAD Data with Spark

CAD verileri çok karmaşıktır: Geometri (yüzler, sağlamlar, ağlar), topoloji (STL ve OBJ gibi kombinasyon formatları etkin bir şekilde ele geçirmektedir) ve bazen gömülü simülasyon sonuçları. File formatları farklıdır: SolidWorks SLDPRT veyaPart gibi yerel formatlar, STL ve OBJ gibi nötr formatlar.

Spark, her dosyayı bir RD veya DataFrame'da bir kayıt olarak tedavi ederek CAD verilerini yönetebilir. Tipik bir boru hattı içerir:

  1. [FONT=0)Data ingestion:[Dönetici:[Dönetici:0)Iq'ın her bölümden CAD dosyaları yüklemesi için kullanılan açık kaynak ⁇ s (e.g., STL via stl-reader, via Open Cascade), bu kütüphaneler birFLT:0) her bölümden dönüşüm yapılabilir.
  2. [FONT:0]Schema inference: gibi metadata-heavy formatları için, Spark SQL, varlık türlerini, özelliklerini ve ilişkileri kullanarak bir şemaya bağlanabilir.
  3. [FONT=0)Geometri dönüşümü: [DFLT:1] Spark işçileri, ölçeklendirme, rotasyon veya ağlama sistemi değişiklikleri gibi dönüşümleri uygulayabileceklerdir. Çünkü bu işlemler devletsiz ve paraleldir, işçiler sayısına göre doğrusal olarak ölçeklenebilir.
  4. [FONT:0)Öyleleme:[Döneticileri, boşlukları, boşlukları veya diğer geometrik özellikleri, klasik bir geometri işleme görevidir. Spark bu özellik algılama algoritmaları binlerce parça arasında dağıtabilir.
  5. [FONT:0)Kalite kontrolleri:[Dönetici:[Dönetici: 0) CAD modellerini tasarım kurallarına karşı geçerlidir (örneğin, minimum duvar kalınlığı, draft açısı) paralel olarak tessellated bir ağ üzerinden alıntılayın.Herhangi bir ihlal bayraklı ve bir sonuç tablosuna yazılır.

Bir meydan okuma, birçok CAD dosya formatının ikili ve son derece sıkıştırıldığıdır. Paralellik elde etmek için, dosyaların bağımsız olarak okunabilmesi önemlidir.Tek bir dosya çok işlem öncesi bir adıma kadar, tam bir uçak meclisine ihtiyaç duyarsa, Apache Parkt gibi dağıtılmış bir dosya formatına ihtiyacınız olabilir.For Extreme large models, takımlar genellikle CAD toplantılarını bir dizi daha küçük bir parça dosyasına dönüştürürler.

CAD Data Processing Uygulamaları

Data Dönüşüm ve Interoperability

Mühendislik şirketleri genellikle birleşme veya ortaklıklar yoluyla elde edilen birden çok CAD sistemi ile çalışır.Bir formattan diğerine (örneğin, CATPart to STEP) bir kaynak dosyasına çevirip 100 düğümün bir kümesi çizebilir.Bir tek makinede tamamlanmış olan dönüşümle paralel olarak, birkaç saat içinde tamamlanabilir.

Özel tanıma ve çıkarma

Otomatik özellik tanıma, üretim planlaması, maliyet tahminleri ve sonlu elemanlar örgüsü gibi alt kategoriler için gereklidir. Geleneksel özellik tanıma algoritmaları, B-Repp modelleri üzerinde geometrik sebep gerektirir. Spark, bu algoritmaların aynı anda binlerce parçaya uygulanmasına olanak sağlar. Örneğin, bir ekip, makineli parçalardan oluşan tüm karşı delikler çıkarabilir, araç seçimi için çapında ve derinlikten oluşan.

Kalite kontrolü ve denetim

Uzay ve tıbbi cihazlar gibi düzenlenmiş endüstrilerde, her CAD modeli titiz kaliteli kontrollere maruz kalmalıdır. Spark, merkezi bir denetim veritabanına yazılabilir - açık yüzeyler için kontrol etmek, tekrarlamalar, non-manifold kenarlar veya geometrik boyutlandırma ve tolerancing (GD&T) standartları - merkezi bir denetim veritabanına yazılır ve manuel inceleme için uygun olmayan modeller için açık olmayan bir şekilde yazılır.

Görselleştirme ve hafif uygulama

Spark gerçek zamanlı bir grafik motoru değilken, web tabanlı izleyiciler için CAD verilerinin önceden işlenmesini sağlar.Ceffs) veya [[Dönetmelik:2)Beyler[Döneticiler[Döneticiler) gibi araçlar, mobil cihazlardaki cihazlara dönüştürülür.

Dijital ikiz entegrasyon

Spark'ın akış yetenekleri, gerçek zamanlı sensör verilerini fiziksel varlıklardan alma ve buna karşılık gelen CAD modelleriyle bir araya getirmesine izin verir. Örneğin, bir rüzgar türbininden gelen vibrasyon verileri, türbinin CAD geometrisine gerçek 3D modelinde görselleştirmek için katılabilir.Bu, varlık yaşamının üzerinde gelişen bir dijital ikiz yaratır, tahmin edici bakım ve geliştirmeleri destekler.

Meydanlar ve düşünceler

Avantajlarına rağmen, CAD veri işleme için Spark dağıtma engelsiz değildir. birincil meydan okuma CAD dosya formatlarının karmaşıklığıdır. Birçok format, açık özelliklerden ayrılan ikili kodlamalarla özelleştirilebilir. Organizasyonlar ya da birden çok bağlantıya yatırım yapmalıdır, bu zaman alıcı ve kırılgandır. Ek olarak, CAD modelleri genellikle düğümleri bölmek için kolay değildir; tek bir montaj, çok sayıda rol dosyasına atıfta bulunmalıdır.

Memory management başka bir endişedir.Komün işlemede tasarruf ederken, CAD nesneler çok büyük olabilir - bir bölmede küçük bir sadakat ağı birkaç gigabayt tüketebilir veya kümedeki RAM'dan yoğun temsiller kullanıyorsa, Spark diske dökülecektir, notlama performans mühendisleri, bireysel kayıtların küçük bir kısmını bireysel parçalara ayırarak, sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık sık

Beceri gereksinimleri de bir bariyer oluşturur. Çoğu mekanik mühendisler dağıtılmış bilgisayar veya büyük veri araçlarıyla eğitim verilmez. Organizasyonlar köprü boşluğunu köprüyü köprüyü doldurabilecek veya işe yarayan veri mühendislerine yatırım yapmalıdır. Bina kullanıcı dostu APIs ve şablonlar, alan uzmanlarının Spark'ı derin programlama bilgisi olmadan kullanmasına yardımcı olabilir.

Mevcut ürün yaşam döngüsü yönetimi (PLM) sistemleri çok önemlidir. Spark boru hatları PLM'yi geri almak için revizyon kontrolü, kontrol / kontrol iş akışları ve güvenlik izinleri gerektirir.İş akışları genellikle PLM veritabanını okumak için Spark gerektirir (örneğin, JDBC kullanarak)

Future Outlook

Apache Spark'ın mühendislik akışlarına entegrasyonu, endüstrinin veri odaklı tasarımı kucakladığı gibi derinleştirmek için ayarlanır. Birkaç trendin benimsenmesini hızlandıracaktır:

  • [FONT:0)Generative AI ve makine öğrenimi: Spark'ın MLlib, tarihsel CAD ve simülasyon verilerinden doğrudan doğrulanan modeller için kullanılacak. Bu modeller daha sonra manuel deneme ve hata ihtiyacını azaltabilecektir.
  • [FONT:0) Gerçek zamanlı simülasyon geri bildirim:[Dönemli Akış ile], Spark, üretim hatlarından sürekli olarak sensör verilerini işleme ve CAD modellerine geri beslemeyi, sadece zaman tasarım ayarlamalarını üretim realitesine göre sağlar.
  • [FONT:0]Cloud-native Engineering platformları:[Dönetici: 0,4][/FONT=0) Autodesk, Siemens ve Ansys, Spark'ı hood altında kullanan bulut tabanlı çözümler inşa ediyor. Bu platformlar, ortak Spark'ın karmaşıklığına sahip olacak, ortalama tasarım mühendisine erişilebilir hale getirecek.
  • [FONT:0) IoT için Emge Bilgisayarı:[Dönetici:[Dönetici: 1 )Komlektif ve geçkislere göndermeden önce, Apache Spark ile Kubernetes ile kenar düğümler üzerinde işlem öncesi CAD verileri, buluta göndermeden önce, bant genişliğini ve geçmi azaltabilir.

Mühendislik verilerinin hacmi patlamaya devam ediyor - fiziksel varlıkların dijitalleştirilmesine, giderek artan simülasyon sadakatine ve dijital ikizlerin yükselişi -Spark, otomasyonlu, ölçeklenebilir ve akıllı bir şekilde tasarım için kritik bir araç olarak kalacaktır.Bugün bilgisayar tabanlı altyapıya yatırım yapan kuruluşlar, zaman pazarlama ve ürün kalitesine karşı iyi bir şekilde rakipler olacaktır.