大型エンジニアリングデータセットの管理について

エンジニアリングチームは、複雑なCADモデルとfinite要素分析の結果から、リアルタイムセンサーストリームとシミュレーション出力まで、今日では、データの非推奨ボリュームを生成します。Webプラットフォーム上でこれらの大規模なエンジニアリングデータセットを管理することで、ストレージのスケーラビリティ、検索速度、バージョン管理、データ完全性に関するユニークな課題が紹介されています。構造化されたアプローチなしで、エンジニアや利害関係者はワークフロー、データ破損、セキュリティ侵害、およびコストリワークを遅くします。この記事では、組織が、大規模なエンジニアリング戦略を効率的に活用し、長期的な信頼性を把握し、より効果的にデータを管理できるようにするための最良の慣行について説明しています。

大型エンジニアリングデータの課題の把握

典型的なビジネスデータとは異なり、エンジニアリングデータセットは、Webベースの管理を複雑化する異なる特徴を持っています。 ボリュームは最も明らかな課題です。 単一のシミュレーションランは、製品のデジタルツインがライフサイクルにわたってペタバイトを蓄積する可能性がある一方で、出力のテラバイトを生成することができます。 複雑性は、ネストされたメタデータ、バージョンの履歴、部品、アセンブリ、材料、およびテスト結果の関係を頻繁に追加します。 ヴェロシティーも重要: フロー機器からデータを継続的に検証し、エラーやエラーを迅速に処理し、適切なプロセスを迅速に処理します。

一般的な痛みポイントは、大規模なデータベースで遅いクエリパフォーマンス、チーム間で一貫したネーミング条約を維持し難しさ、および共同編集中にデータの損失の危険性を含む。さらに、さまざまなファイル形式-STEP、IGES、STL、CSV、HDF5-フレキシブルパーサとストレージエンジンを装備しています。堅牢なデータ管理戦略なしで、これらの課題は、イノベーションをボトルネックし、新製品の市場を増加させることができます。

データ管理のためのベストプラクティス

1. 拡張可能なストレージソリューションを使用する

Scalable ストレージは、あらゆる大規模なエンジニアリングデータセット管理戦略の基礎です。AWS のシンプルなストレージ サービス (S3) や Azure Blob ストレージなどのクラウドベースのオブジェクトストレージ サービスにより、有料の料金設定でほぼ無制限の容量を提供します。これらは、組み込み冗長性、地理的分布、ライフサイクルポリシーを提供し、より安価なティアにデータを自動的に移行します。高性能なファイルアクセスを必要とするエンジニアリングチームでは、Amazon のコンプリートファイルやコンプリートファイルなどの分散ファイルシステムを検討したり、データを高速に転送したり、データを高速に転送したりすることができます。

Directusのようなプラットフォームを使用する場合、そのファイルストレージアダプタを使用して、S3またはGoogleクラウドストレージと直接接続できます。これにより、構造化されたリレーショナルストアでメタデータと関係を維持しながら、データベースの外にある大きなバイナリファイル(CADモデル、シミュレーション結果)を保存できます。 ハイブリッドアプローチは、メタデータとオブジェクトストレージの関連データベースを使用して、ストレージコストでクエリパフォーマンスをバランス調整します。 データのローカリティに関するストレージ設定アカウント: レイテンシビリティを削減するために、エンジニアリングユーザーに近い地域からのデータが保存されます。

2. 効率的なデータ取得

大規模なセットから特定のエンジニアリングデータを取得するには、慎重に最適化が必要です。データベースのインデックス作成から、プロジェクト ID、リビジョン番号、作成日、ファイルタイプなどの頻繁にクエリされたフィールドにコンポジットインデックスを作成します。タイムシリーズのセンサーデータについては、インフルエンザDBやタイムスケールDBなどのタイムシリーズのデータベースを考慮して、組み込みのダウンサンプリングおよび保持ポリシーを提供します。MongoDBやCouchbaseなどのNoSQLデータベースは、セミ構造のエンジニアリングデータ、柔軟な設計と水平方向設計を兼ね備えています。

Cachingは、別の重要な技術です。RedisまたはMemcachedを使用して複数のレイヤーキャッシュを実装して、頻繁にアクセスされたメタデータ、検索結果、または事前入力された集計を保存します。Webプラットフォームでは、レスポンスヘッダー(Cache-Control、ETag)は、承認されたCADファイルのような不変なアセットのサーバー負荷を削減することができます。複雑な空間または幾何学的クエリの場合、 "境界ボックス内のすべての部品を検索" - 空間インデックス(Rtree-search)または、または、検索エンジンが連携するような、APIを組み合わせて、または、専用の検索エンジンに専用のデータをアクセスしたり、APIを直接検索したりすることができます。

クエリの最適化はアプリケーションレイヤーに拡張されます。 必要なフィールドだけを取得するために、プロジェクトクエリを使用して、関連するデータを単一のリクエストに結合し、バッチインサート/更新を使用して、往復を削減します。 定期的なデータベースメンテナンス(VACUUM、ANALYZE)は、クエリプランをデータが成長するように保ちます。

3. データのセキュリティとアクセス管理を確保

エンジニアリングデータは、多くの場合、知的財産、取引秘密、または安全に関する重要な情報、セキュリティのパラマウントを構成します。残りのすべてのデータとトランジットは、業界標準のアルゴリズム(AES-256、TLS 1.3)を使用して暗号化する必要があります。クラウドプロバイダは、プロバイダまたは組織(KMS)によって管理されたキーでサーバー側の暗号化を提供します。機密シミュレーションや独自の設計については、エンジニアリングワークステーションを離れる前にデータが暗号化されるクライアント側暗号化を検討してください。

役割ベースのアクセス制御(RBAC)は、少なくとも特権の原則を強制するために不可欠です。 「ビューア」、「編集」、「承認」、「管理者」などのロールを定義し、フォルダ、プロジェクト、または個々のデータフィールドに顆粒の権限を持つ。 ダイレクトスは、単一の署名のための外部アイデンティティプロバイダ(OAuth、SAML、LDAP)と統合する堅牢なRBACシステムを提供します。 監査ログは、アクセス試行、変更、削除を追跡する必要があります。 誤動作のための行動。

また、データ損失防止(DLP)対策を実施します。大データセットのダウンロードを認可されたクライアントに制限し、プレビュー画像に透かしを使用し、管理行動のためのマルチファクタ認証を実施します。定期的なセキュリティ監査とペネトレーションテストは、特にプラットフォームがAPIを外部パートナーや顧客に公開する際に、誤った構成や脆弱性を特定するのに役立ちます。業界標準(ISO 27001、SOC 2、GDPR)へのコンプライアンスは必須であるため、ストレージとアイデンティティをこれらのフレームワークと整列させることを確認してください。

追加の提言

  • [データバージョン管理:]] エンジニアリングデータは、設計反復、バグ修正、および要件の変更によって進化します。 どのようなデータと変更されたレコードのデータアセットのバージョン管理システムを実装します。 ダイレクトスは、ほとんどの標準フィールドタイプのためのボックスからリビジョントラッキングをサポートしていますが、バイナリファイルでは、Git LFSやバージョン管理されたオブジェクトストレージを持つデータ湖のようなリポジトリと統合します。 常に、データ損失なしで以前の状態にロールバックする機能を維持します。
  • [データ検証:]] ゴミ処理のGarbage in、廃棄は、データセットをエンジニアリングするために急激に適用されます。データベースレベルの検証ルール(制約、トリガー)とアプリケーションレベルで(事前定義されたスキーマを使用してサーバー側検証)を強化します。 メタデータやドメイン固有のルールのカスタム検証ロジック(例えば、材料密度は0.1と20 g/cmの間にする必要があります)、早期の検証時にデータをコピーするときに、JSON Schemaなどのツールを使用して、エラーを防止します。
  • [Automation:]]]手動データ処理は、エラーが発生し、エンジニアリングサイクルを遅くします。 APIまたはETLパイプライン(Apache NiFi、AWS Glue)を使用して、IoTデバイス、シミュレーションツール、CADシステムからデータを自動送信できます。 スケジュールされたワークフローは、プロファイル抽出、サムネイル生成、またはアーカイブファイルの圧縮をトリガーできます。 ダイレクトスのイベントのホックとWebhookは、古い作業を自動化したり、新しい作業を自動化したりすることができます。
  • []包括的なドキュメント:[] よくドキュメント化されたデータ管理システムは、新しいエンジニアやトラブルシューティングをオンボードするための配当を支払います。 ドキュメントデータスキーマ(エンティティティ、フィールド、関係)、命名規則、バージョン管理ポリシー、アクセス制御ルール。 ライブwikiまたはマークダウンファイルを使用して、データと一緒に保存します。 たとえば、APIのクエリとデータ辞書が含まれています。 ダイレクトスのデータベーススキーマは、ドキュメントをエクスポートすることができますが、それは、データが、自動でサポートされるように、ドキュメントをエクスポートすることができます。

コンテンツ

大規模なエンジニアリングデータセットをWebプラットフォームで管理するには、スケーラブルなインフラ、効率的な検索メカニズム、堅牢なセキュリティ、および分散プロセスの審議的な組み合わせが必要です。スケーラブルなクラウドストレージを採用することにより、データベースとキャッシュを高速アクセスに最適化し、厳格なアクセス制御を強化することで、エンジニアリング組織はリスクを最小限に抑えながら、データのフルポテンシャルを解除できます。追加の推奨事項 - データバージョン、検証、自動化、および文書 - 完全な包括的な包括的な包括的な統合フレームワークをサポートし、長期的なコラボレーションや、長期的なWebアーキテクチャを拡張するかどうかは、Webプラットフォームを拡張するかどうかを最適化します。