외부 분류는 주요 기억에 맞지 않는 큰 데이터셋을 처리하는 데 사용되는 기술입니다. 외부 분류의 주요 측면은 병합 비용을 계산하는 것입니다. 이는 분류 프로세스의 효율성을 결정하는 데 도움이됩니다. 이 가이드는 외부 정렬에서 이해 및 계산 병합 비용을 이해하는 단계별 접근 방식을 제공합니다.

외부 정렬 이해

외부 분류는 펑크를 관리할 수 있는 데이터에 분할하고, 각 펑크를 개별적으로 분류하고, 다음이 분류된 펑크를 단일 분류된 파일로 merging합니다. merging 과정은 펑크와 유효한 기억의 수에 따라서 다수 통행에서, 실행될 수 있습니다.

Merge 비용의 구성

합병 비용은 주로 패스의 수와 각 패스 중 처리 된 데이터의 양에 따라 달라집니다. 그것은 다음과 같습니다.

  • 초기 정렬 실행의 수 (chunks)
  • 동시에 병합된 파일 수 (fan-in)
  • 데이터의 총 크기

계산 Merge 비용

총 병합 비용은 공식을 사용하여 계산 될 수 있습니다.

Merge Cost = 각 패스에서 처리되는 패스 × 총 데이터]

패스의 번호를 결정하려면 공식을 사용하십시오.

여기 = 로그fan-in]](초기 실행 수)]]

예를 들어 16 초기 실행이 있고 시스템이 한 번에 4 파일을 병합 할 수 있다면 다음:

패스의 수 = 로그4 16 = 2

각 패스에서 처리 된 총 데이터는 그 패스 중 합병 된 모든 데이터의 총 크기와 동일합니다. 모든 패스를 통해 요약하면 총 병합 비용을 제공합니다.