Giriş Giriş Giriş

Mühendislik takımları her gün çok fazla veri üretiyor –CAD modelleri, simülasyon çıktıları, sensör logları, test sonuçları ve üretim kayıtları. Operasyonel veritabanında veya düz dosya siloları hızla sorgulanabilir hale gelir. Sistemsiz bir yaklaşım olmadan, tarihsel bilgi depolanır, analiz tutarsız olur ve karar verme işlemi bu sorunları merkezileştirilmiş, uzun vadeli depolar için özellikle sorgulayıcı ve analiz için tasarlar.For organization manage data, a good-architected data depoları hammaddeye dönüştürür.

Bu makale, veri savaşını uzun vadeli mühendislik verileri depolamak için nasıl kullanılacağını, temel kavramları, uygulama adımlarını ve yıllar boyunca erişilebilir ve eylemlenebilirliğinizi sağlayan en iyi uygulamaları açıklıyor.

Bir Veri Deposu Nedir?

Bir veri deposu, birden fazla kaynaktan tek, tutarlı bir mağazaya kadar veri toplayan özel bir veritabanıdır.Sisteme göre, işleyici ve analiz sistemleri olmadan kolay hale getiren işlemsel veritabanından farklı olarak, bir veri deposu okumalar, karmaşık aggregasyonlar ve tarihsel trend analizi için optimize edilmiştir.

Bir veri deposunun tanım özellikleri şunlardır:

  • [[Dönetici:0)Subject---center:[Dönetici:[Dönetici:[Dönetici:0)[Dönetici:[Dönetici:[Dönetici:[Dönetici:[Dönetici: 1 ) Veriler, ürün, proje veya varlık, bireysel uygulama süreçleri yerine temel konular etrafında düzenlenir.
  • [FONT:0)Integrated:[Dönetici:[Dönetici:0))))))))))))))))))))
  • [0]Time-variant:[Dönetici:[Dönetici:0) Depo tarihi anlık görüntüler tutar, aylar veya yıllar boyunca karşılaştırmalar sağlar.
  • [FONT:0)Non-volatile: Bir kez yüklenene göre, veriler nadiren güncellenir veya silinir, istikrarlı bir denetim izi sağlar.

Data Warehouse vs. Data Lake

Mühendislik takımları genellikle veri deposu veya veri gölü kullanmayı düşünüyor. Bir veri gölü depoları, diğer yandan, yüklemeden önce şemalar ve kalite kuralları, nesneleri) sürekli iş zekası raporları ve çapraz işlevsiz algılama için mükemmel bir şekilde kullanıyor.Birçok kuruluş her ikisine de sahiptir: ham ingestasyon ve yüksek çözünürlük için önemli bir çaba gerektirir.

Mühendislik Takımları Neden Veriye İhtiyacı Var

Mühendislik verileri doğal olarak uzun ömürlüdür. Bir ürün tasarımı, kuruluşundan on yıl sonra referanslanabilir; yapısal bir izleme sistemi bir köprünün hayatı için okumalar biriktirir. Veri savaşını ele alır:

  • [FONT:0) Ortalanmış depolama:[Dönetici:[Dönetici:0) Tüm mühendislik verileri – tasarım dosyaları, test logları, alan raporları – bir yerde duruyor. Bu, çoklu yay tabloları, veritabanıları ve dosya paylaşımlarını avlama ihtiyacını ortadan kaldırır.
  • [FONT:0]Hetorical protection:[Dönetici:[Dönetici:0) Depo, bir ölçüm veya bölüm numarasının her versiyonunu tutar. Mühendisler, temel neden analiz veya garanti soruşturmaları için hangi parametrenin gerekli olduğunu izleyebilirler.
  • [FONT:0]Data Quality kalitesi ve tutarlılık:[DDDDDDDDDD:0) ETL işlemi temiz ve standartlaştırılmış veriler. Örneğin, farklı sensörlerden gelen sıcaklık okumaları ortak bir birime dönüştürülür (Celsius) ve zaman not formatları azaltır.
  • [FONT:0]Cross-domain analizi:[Dönetici:[Dönetici:0) Bir depo, CAD metadata'ya üretim kalitesi verileri ve alan hizmetleri kayıtlarıyla katılabilir. Bu tür bir katılım, izole sistemlerin sunamayacağı korelasyonları ortaya koyar.
  • [FONT:0)Yönergesel uyumluluk: [Dönerge ve tıbbi cihazlar gibi Endüstriler yıllarca tasarım ve üretim verileri sağlamalıdır.A Depo denetim izlerini ve veri tutma politikalarını destekler.
  • [FONT:0)Scalability:[Dönetici:[Dönetici:[Dönetici:[Dönetici:[Dönetici:[Dönetici:[Dönetici:[Dönetici:[Dönetici: 0: 4 ) Modern bulut veri depoları ölçek depolama ve bağımsız olarak hesaplanabilir, bu nedenle büyüyen veri hacimleri farklı olarak sorgu performansına düşmez.

Mühendislik verilerini bir depoya konsolide ederek, organizasyonlar tarihsel kayıtları stratejik bir kaynağa dönüştürürler.Bir tasarımcının “son beş yılda başarısız olan bu braketlerin tüm iterasyonlarını sorgulayabildiği zaman yatırım öder” ve sonuçları saniyeler içinde alır.

Bir Data Deposu ve Mimarisi

Tipik bir veri depolama mimarisi birkaç katman içerir:

  • [FONT:0)Bölüm: [Dönetici: [Dönetici: 0,0) Mühendislik kaynaklarından (PLM sistemleri, SCADA veritabanı, simülasyon yazılımı) ilk kopyalanır.Bu, yük kaynak sistemleri olmadan ekstraksiyon sağlar.
  • [FONT:0)Integration/Transformation katmanı: Burada ETL veya ELT boru hatları temiz, karmaşık veri için, mühendislik verileri için dönüşümler genellikle mühendislik birimlerini dönüştürmek, analiz araçlarından karmaşık XML/JSON çıktılarını oluşturmak ve ekleri üretmek.
  • [FONT=0]Core data depo:[Dönetici:[Dönetici] Merkezi depolar, genellikle bir yıldız şema veya karflake şemaları kullanarak tasarlanmıştır. Gerçek masalar mağazası sayısal ölçümler ve metrikler (örneğin, test baskıları, döngüler), boyut masaları saklama özellikleri (örneğin, bölüm numaraları, test istasyonu kimlikleri, tarihler).
  • [FONT:0)Data Martys:[DÜye Olmayan Deponun Alt setleri - R& için ürün verileri söylentiler;D, bakım için bir varlık verileri, vb. Data Martys performans ve güvenlik geliştirmek için.
  • [FONT:0) Access katmanı:[Dönetici: [Dönetici:0) İş zekası araçları, özel panolar ve doğrudan SQL sorguları, mühendislere ve analistlerin verileri almalarına izin verir.

Mühendislik Data için Schema Design for Engineering Data Data

Star şemaları mühendislik depolarında yaygındır. Örneğin, sensör okumaları için gerçek bir masa, zamanlayıcı için sütunlar içerebilir, sensör ID, ölçüm değeri ve yüksek çözünürlükte sensör tabloları için boyut masaları için dış anahtarlar. - Snowflake şemaları her ikisinde de normalleşir, bu yüzden sadece performans talep ettiğinden emin olun.

Mühendislik Data Deposu için Bir Veri Deposu Uygulayabilmek için Adımlar

Mühendislik verileri için bir veri deposu inşa etmek dikkatli bir planlama gerektirir. Sonuç uzun vadeli depolama ve analiz ihtiyaçlarını karşılamak için bu adımları izleyin.

1. Gereksinimler Gathering and Data Denetim

Deponun cevap vermesi gereken temel soruları tespit ederek başlayın. Ortak mühendislik soruları şunları içerir:

  • X'in son üç yılda bir kaç tane değiştirdiği başarısızlık oranı nasıl?
  • Üretim ve son ürün performansı sırasında çevre sıcaklığı arasındaki korelasyon nedir?
  • Hangi tasarım revizyonları en üst garanti iddialarında yer aldı?

Sonraki, tüm veri kaynakları: CAD ürün veri yönetimi (PDM) sistemleri, Nesnelerin İnterneti (IoT) platformları, laboratuvar defterleri, işletme kaynakları planlama (ERP) sistemleri ve hatta e-posta bazlı onay logları. Doküman şemaları, güncelleme frekansı ve veri kalitesi sorunları.

2. Data Modeling

Sistem şemasını denetime ve sorulara dayanarak tasarlayın. Gerçek masaları ölçülebilir olaylar için (örneğin, her test çalıştırılır, her bölüm üretilen) ve boyut tablolarını bağlamsal niteliklere göre tasarlayın (örneğin, test prosedürü, operatör, malzeme toplu).Bir yıldız şemasına kadar kullanın. mühendislik verileri için, zaman boyutuna özel dikkat edin: gün, hafta, ay, çeyrek ve yıl hierarşizmler, ayrıca mühendislik-özel takvimler.

3. ETL Boru Tasarımı

ETL, veri için savaş alanındaki temeldir. mühendislik verileri için, dönüşüm aşaması genellikle karmaşık dönüşümler için Python senaryolarına ihtiyaç duyar. Boru hattı standart olmayan bir kasıtlı olarak (gün veya saat) ile büyük bir ETL aracı kullanmayı düşünün. Gerçek zamanlı ihtiyaçlar için, Apache NiFi veya Azure Data Factory gibi bulut hizmetleri de Python senaryoları karmaşık dönüşümler için kullanabilir.

4. Platform Seçiciliği 4.

Maliyet, ölçeklenebilirlik ve mevcut araçchain ile entegrasyon sağlayan bir veri depolama platformu seçin: Popüler seçenekler şunlardır:

  • [0]Amazon Redchange:[Dönetici:[Dönetici:0) Tamamen bulut depolarını sütunlu depolama ve AWS hizmetleri ile iyi bir entegrasyon ile yönetmiştir.
  • [FONT:0) Google BigQuery:[Dönetici:[Dönetici:0) Serverless ve son derece ölçeklenebilir, inşa edilmiş makine öğrenme yetenekleri ile. Düşük operasyonel bir üst isteyen takımlar için ideal.
  • [FONT:0]Snowflake:[[Dönetici:[Dönetici:0) Yedekten Ayrılma, elastik ölçeklendirmeye izin vermek.
  • [FONT:0)Directus:[Dönetici][Dönergeler bir veri deposu değil, güçlü veri yönetim katmanı olarak hizmet edebilir. Doğrudanus'un API'si ile bağlantı kurmak için, temiz ve senkronize etmek için birleşik bir arayüz oluşturabilirsiniz. Directus ayrıca rol tabanlı erişim kontrolleri ve hiçbir kod paneli üreticisi değildir, mühendislik kaynak veri depolama veri tabanı için savaş alanındaki verileri doğrudan algılama ve denetimlere bağlamadan önce daha kolay hale getirebilir.

Her birini veri hacminize, bütçenize ve yerleşik uzmanlıklarınıza dayanarak değerlendirin. Gerçek verilerin alt kümesi ile bir kanıt-koncept paha biçilmez.

5. Yükleniyor ve Geçerlilik

Dönüştürülen verileri tüm yenileme veya artımlı yükleri kullanarak depoya yükler. mühendislik verileri için, artımlı yükler tercih edilir çünkü tarihsel kayıtlar nadiren değişir.Her yükten sonra, geçerlilik sorguları çalıştırın: satır sayısı, toplam anahtar önlemleri kontrol edin ve kaynak sistemleriyle karşılaştırın. Automate bu testleri veri kalitesi çerçevelerini kullanarak testleri (örneğin, Büyük Umutlar) erken sorunları yakalamak için.

6. Bina raporlama ve Analytics

Veriler yükleniyorsa, orijinal soruları cevaplayan panolar ve raporlar oluşturun. Tableau, Power BI veya özel bir ön uç (örneğin, Directus üzerinde inşa edilen) Belirli bir önyükleme (örneğin, doğrudan analiz için, mühendislerin Azure sorgularını depolamaya izin verin.

Uzun Süreli Depolama için En İyi Uygulamalar

Mühendislik verileri genellikle yıllarca veya on yıllar boyunca tutulmalıdır. Bu en iyi uygulamaları uygulayın Deponun zamanında değerli kalmasını ve muhafaza edilmesini sağlar.

  • [FONT:0)Yönekiz yedeklemeler:[Dönetici:[Dönetici:0) Bulut depoları bile başarısızlık senaryoları vardır.Sistem otomatik anlık görüntüler veya kritik ihracat masaları her yıl ayrı depolama için test restorasyon prosedürleri.
  • [FONT:0)Data security:[Dönetici:[Dönetici:0) Mühendislik verileri, yetkili olmayan kullanıcıların zihinsel mülk veya güvenlik kritik bilgilerini içerebilir. Implement role dayalı erişim kontrolü (RBAC), geri kalanında ve geçişte şifreler ve tüm erişimleri kontrol edin.
  • [FONT:0]Scalable altyapı:[Dönetici:[Dönetici:0)) Yerel olarak depolamayı düşük zaman olmadan büyütebilecek bir platform seçin. BigQuery ve Snowflake oto-scale. Define data keep policies (e.g, data older than five years to better cold storage) kontrol etmek için verilerinizi kontrol etmek.
  • [FONT=0)Metadata yönetimi: [Dönetici: [Dönetici: 0,3] Her masayı, sütunu ve dönüşümleri açıklayan bir veri kataloğunu korumak. İş tanımlarını (örneğin, “failure oranı = başarısızlık / toplam birim test edilen) sayısı. Bu metadata, Apache Atlas veya AWS Glue Data Kataloğu gibi araçlar artık mevcut değildir.
  • [FONT:0)Data lifecycle management:[Dönetici: 0,6|Dönetici verilerinin hepsi sıcak olması gerekir. Archive ham sensör logları daha ucuz nesne depolamaya (Amazon S3 Buzul veya Azure Archive) bir süre sonra, hızlı sorgu için depoda toplanıp tutarken. Automate the Archival process.
  • [FONT=0)Versioning ve kanıtlayıcı:[Dönetici:[Dönetici:0) Yeni verileri yüklemede, orijinal kaynak dosyasını veya sürümünüzü korurken, CAD verileri için sürüm numarasını ve tasarım aracının eşsiz tanımlayıcısını saklayın.Bu, herhangi bir değerin kökenine geri dönmesine izin verir.
  • [FONT=0)Compliance ve yasal tutma:) Veri tutma için düzenleyici gereklilikleri anlama (örneğin, AS9100, ISO 13485, 21 CFR Bölüm 11). Deponun yasal olarak tutulmasını engelleyebilir.

Gerçek Dünya Vakaları Kullanıyor

Otomotiv OEM OEM

Bir otomotiv üreticisi, PLM'i entegre etti, test pisti ve tedarikçi kaliteli sistemlerini Karflake depolamasına entegre etti. Mühendisler şimdi “tüm araçlar, ısıtılmış testlerin başarısız olduğu bir dizi ton vücutlarını sorgulayabilir” ve beş yıl önce tasarım değişiklikleri ile ilişkilendirebilir. Depolar aylarca kök kaynaklı analiz süresini azaltır ve karar verme süresini artırır.

Yapısal Sağlık İzleme

Bir sivil mühendislik firması, bir köprü üzerinde kurulu güç ölçümlerinden ve hız ölçümlerinden verileri toplar.Sağlı modeller, sensör ağı yönetmek ve verileri Amazon Redchange'e yönlendirmek için doğrudan takip edilen bir uygulama kullanırlar. Depolar, uzun vadeli bir hata trend analizine olanak sağlar.

Enerji ve Utilities

Bir rüzgar çiftliği operatörü SCADA verilerini (turbine RPM, sıcaklık, güç çıktısı) Google BigQuery'ye taşır. Bir yıl boyunca depo depo depoları çiğ 10 saniyelik örnekleri, sonra önümüzdeki on yıl boyunca saat ortalamalarını döndürür.Bu yaklaşım, maliyetle ilgili olarak dengeler.

Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç

Veri savaşı, mühendislik verilerinin uzun vadeli depolaması için kanıtlanmış bir stratejidir.Farklı kaynakları yapısal olarak yapılandırarak, sorgulayıcı bir depo depoyu yapılandırın, organizasyonlar mühendislik tarihini korur ve inovasyonu, kaliteli ve uyum sağlayan içgörüler geliştirir.Uygulama dikkatli bir planlama gerektirir - Hatayı modellemeniz, ölçeklenebilir bir platformla bulut veri depolamak için gerekli soruları anlamak.Formerkezci bir veri depolama katmanını doğrudanus gibi esnek veri yönetimi katmanı ile daha da kolaylaştırabilir.

Bugün uygun bir depoya yatırım yapan mühendislik takımları, gelecekteki verileri işlemek için kendilerini daha iyi donanımlı bulacaklar: daha fazla sensörler, daha simülasyonlar ve daha rekabetçi bir avantaja tarihsel verileri rekabetçi bir şekilde dönüştürmek için daha baskı.Mevcut veri varlıklarını denetlemeye başlayın, küçük ama yüksek değerli bir kullanım davasını seçin ve oradan inşa edin.