자연적인 언어 가공 (NLP) 체계에 있는 언어 모형의 견고를 평가하는 것은 다양한 시나리오의 맞은편에 믿을 수 있는 성과를 지키기 위하여 근본적입니다. 양적 접근은 이 모형 손잡이 변이 및 adversarial 입력을 잘하는 방법 measurable 통찰력을 제공합니다.

침식 Robustness를 위한 미터

여러 미터는 언어 모델 견고성을 할당하는 데 사용됩니다. 이들은 다른 입력 천식의 밑에 모험 공격, 안정성 및 모델의 기능을 아웃-of-distribution 데이터에 유지하기위한 모델의 능력을 포함합니다.

일반 평가 기술

평가 기술은 수정된 입력을 가진 체계적으로 테스트 모형을 포함합니다. adversarial 테스트와 같은 기술, perturbation 분석 및 벤치 마크 datasets는 취약점을 확인하고 탄력을 측정하는 것을 돕습니다.

Benchmark Datasets 및 도구

GLUE, SuperGLUE 및 adversarial 데이터셋과 같은 벤치마크 데이터셋은 견고성을 평가하기 위해 널리 사용됩니다. TextAttack 및 OpenAttack과 같은 도구는 모델 안정성의 자동화 테스트 및 분석을 촉진합니다.

양적 측정의 개요

  • Accuracy Drop: 청약 조건 하에서 성능 감소를 측정 합니다.
  • Robustness Score: 전체 탄력 측정을 제공하는 여러 미터를 결합합니다.
  • 수출 감도:수출에 영향을 미치는 작은 입력 변경이 어떻게 분석한다.
  • Out-of-Distribution Performance:] unseen data에 모델 안정성을 평가합니다.