การจําแนกความแม่นยําของกระบวนการประมวลผลภาษาธรรมชาติ (NLP) แบบจําลองจําเป็นในการเข้าใจถึงผลงานของพวกเขา วิธีการจัดอันดับคุณภาพจัดลําดับให้มีมาตรการในการประเมินว่าโมเดลเหล่านี้ทํางานดีแค่ไหนกับงานต่าง ๆ บทความนี้ทําการสํารวจวัดวัดและคํานวณทั่วไปที่ใช้ในการประเมินความถูกต้องของแบบจําลอง NLP

การ วัด ความ จํา โดย ทั่ว ไป

มี การ ใช้ เมทริก หลาย ชนิด เพื่อ ระบุ ประสิทธิภาพ ของ โมเดล เอ็น แอล พี การ ใช้ เมทริก ต้อง อาศัย งาน เฉพาะ อย่าง เช่น การ จัด ประเภท, การ แปล, หรือ การ พิจารณา คํา ถาม.

ความ เที่ยง ตรง และ การ คํานวณ ของ มัน

ความ เที่ยง ตรง วัด อัตรา การ คาด การณ์ ที่ ถูก ต้อง โดย แบบ จําลอง.

[FLT: 0] acccution= (รายละเอียดการคาดการณ์ที่ถูกต้อง) / (คําพิพากษาเชิงปฏิบัติ)

พรีซิชัน, จํา, และคะแนน F1

การ คาด การณ์ ที่ ดี เป็น การ ระบุ ว่า การ ทํานาย เรื่อง ดี ๆ จะ เกิด ขึ้น จริง ใน อนาคต

[FLT: 0] precces = True access / (บวกจริง + บวกเท็จ)

[FLT: 0] Reclell = True access / (บวกจริง + ลบเท็จ)

[FLT: 0] F1 คะแนน = 2 * (Prescision *) / (Prescision + อนุสรณ์)

BLU คะแนนสําหรับงานแปลเครื่อง

The BLEU ประเมินคุณภาพของข้อความที่ถูกปรับเป็นเครื่องจักร โดยการเปรียบเทียบเป็นฉบับอ้างอิงหรือมากกว่าหนึ่งฉบับ ซึ่งคํานวณค่าทับซ้อนระหว่างตัวรับและข้อความอ้างอิง การลงทัณฑ์แบบสั้นเกินไป

การ คํานวณ นี้ เกี่ยว ข้อง กับ คะแนน ที่ แม่นยํา สําหรับ ความ ยาว ของ จุด ต่าง ๆ ของ n-gram และ การ ลง โทษ แบบ ตี สอง หน้า.

สรุป

การ คํานวณ ความ จํา แบบ คํานวณ ความ เป็น จริง เป็น สิ่ง สําคัญ ยิ่ง สําหรับ การ ประเมิน ประสิทธิภาพ ของ รุ่น เอ็น แอล พี.