การจําแนกภาษาธรรมชาติที่เข้าใจ (NLU) ระบบต้องการวิธีการที่ถูกต้องและวัดได้ วิธีการคํานวณแบบมีนัยสําคัญจะให้ข้อมูลวัตถุประสงค์ เพื่อประเมินประสิทธิภาพของระบบเหล่านี้ บทความนี้จะสํารวจวิธีการทํากุญแจที่ใช้ในกระบวนการประเมิน

การ วัด ความ ถูก ต้อง และ ความ แม่นยํา

ความเสมอภาควัดสัดส่วนของการตอบสนองที่ถูกต้องจากทุกการตอบสนอง การอนุมานประเมินค่าความถูกต้องของคําทํานายเชิงบวก การวัดทั้งสองแบบเป็นพื้นฐานในการเข้าใจว่าระบบเอ็นแอลยูทําหน้าที่อย่างไร

ชุดข้อมูลภาษาเบนมาร์ก

Benchmark taints เป็นชุดสะสมข้อมูลมาตรฐานที่ใช้คํานวณระบบ NLU อย่างต่อเนื่อง ตัวอย่างรวม GLUE และ Super GLUE ซึ่งมีงานต่าง ๆ ที่เข้าใจภาษาต่าง ๆ ข้อมูลเหล่านี้จะทําให้สามารถเปรียบเทียบได้ระหว่างรุ่นและวิธีการต่างๆ

F1 คะแนนและวัดอื่น ๆ

การ คํานวณ ของ นาฬิกา แบบ นี้ ช่วย ให้ ระบบ การ วัด ความ จํา มี ประสิทธิภาพ ใน การ ใช้ โปรแกรม บาง อย่าง

กระบวนการการแทนที่

การประเมินนี้เกี่ยวข้องกับการทดสอบระบบเอ็นแอลยูในข้อมูลและการคํานวณวัดที่เกี่ยวข้อง ผลวิเคราะห์วิเคราะห์เพื่อระบุจุดแข็งและจุดอ่อน