外部排序是一种处理不符合主内存的大数据集的技术。外部排序的一个关键方面是计算合并成本,这有助于确定分类过程的效率。此指南提供了一种逐步理解和计算外部排序中的合并成本的方法。

理解外部排序

外部排序涉及将数据分割成可管理块, 逐个排序, 然后将这些排序块合并成一个单一排序文件。 合并过程可以根据块数和可用的内存, 以多个通道进行 。

合并成本的组成部分

合并费用主要取决于每次通行证的通过次数和处理的数据数量。

  • 初始排序运行数( 圆)
  • 合并文件数量( fan- in)
  • 数据的总大小

计算合并成本

合并费用总额可以使用公式计算:

成本 = 通行证数×每张通行证处理的数据总数

为确定通行证数目,使用公式:

通行次数=对数 fan-in(初始运行次数)]

例如,如果有16个初始运行,系统可以同时合并4个文件,那么:

通行证数=对数416=2

每张通行证处理的数据总数等于该通行证期间合并的所有数据的总大小。在所有通行证上进行汇总,得出合并费用总额。