Table of Contents
外部ソートは、メインメモリに収まらない大きなデータセットを処理するために使用される技術です。外部ソートの重要な側面は、ソートプロセスの効率性を決定するのに役立つマージコストを計算しています。このガイドは、外部ソートにおけるマージコストの理解と計算へのステップバイステップのアプローチを提供します。
外部のソートを理解する
外部ソートには、データを管理可能なチャンクに分割し、各チャンクを個別にソートし、ソートされたチャンクを単一のソートファイルにマージすることが含まれます。 マージプロセスは、チャンクの数と利用可能なメモリに応じて、複数のパスで実行できます。
合併コストのコンポーネント
合併コストは、主にパスの数と各パス中に処理されたデータ量によって異なります。次の影響を受けます。
- 初期ソートされた実行回数(チャンク)
- 同時に結合されたファイル数(fan-in)
- データの総サイズ
合併コストの計算
合併コストは、式を使用して計算することができます。
[] 平均コスト = パス× パス単位で処理された総データ数
パスの数を決定するには、式を使用します。
[] パスの数 = log] フランイン (初期実行回数)
例えば、16 個の初期実行があり、システムが 4 ファイルを一度にマージできる場合は、次のようになります。
パスの数 = log4 16 = 2
各パスで処理された総データは、そのパス中にマージされるすべてのデータの合計サイズを等しくします。すべてのパスをスンミングすると、合計マージコストが提供されます。