การ คํานวณ ข้อมูล ที่ ได้ มา จาก การ ก่อ สร้าง ต้น ไม้ ใน การ ตัดสิน ใจ ใน การ ปฏิบัติ

การคํานวณข้อมูลได้รับเป็นขั้นตอนพื้นฐานในการสร้างต้นไม้ตัดสินใจ มันช่วยตัดสินคุณสมบัติที่แยกข้อมูลได้ดีที่สุดในแต่ละจุด โดยเพิ่มความแม่นยําของแต่ละจุด กระบวนการนี้เกี่ยวกับการวัดค่าของเอนโทรปี หลังจากชุดข้อมูลถูกแยกออกจากองค์ประกอบเฉพาะ

การ เข้าใจ เอนโทรปี

Entropy วัดความผิดปกติหรือความไม่เสมอภาคในชุดข้อมูล มันถูกคํานวณโดยใช้ความน่าจะเป็นของแต่ละคลาสภายในชุดข้อมูล ข้อมูลที่มีระดับความผสมมีเอ็นโทรปีสูงกว่า ในขณะที่ชุดข้อมูลบริสุทธิ์มีเอนโทรปีต่ํากว่า

สูตรของเอนโทรปีคือ

[FLT: 0]]] ⁇ entropy= - ⁇ p_{] ⁇ log ]]] [[FLTT:4] p[FLTT:5]] [FLTT:5] [FLTT: 6] [[FLLTTT: 7]}

กําลังคํานวณข้อมูล

การรับข้อมูลคือความแตกต่างระหว่างเอนโทรปีของชุดข้อมูลต้นฉบับ กับเอนโทรปีเฉลี่ยน้ําหนักหลังจากแยกออกมา

สูตรสําหรับข้อมูลที่ได้รับคือ:

[FLT: 0] Indamation Gen= Entropy(พ่อ-แม่) - ⁇ (น้ําหนักของเด็ก) × Entropy(เด็ก)[FLT: 1)

ขั้น ตอน การ คํานวณ ที่ ใช้ ได้ จริง

เพื่อ จะ คํานวณ ข้อมูล ที่ ได้ รับ ใน การ ปฏิบัติ จง ทํา ตาม ขั้น ตอน เหล่า นี้:

• คํานวณเอนโทรปีของชุดข้อมูลทั้งหมด
• พาร์ทิชันชุดข้อมูล อิงจากคุณสมบัติที่จะคํานวณ
• คํานวณเอนโทรปีของแต่ละสับเซตที่สร้างโดยแยก
• คํานวณค่าน้ําหนักเฉลี่ยของ entropis เหล่านี้
• ลบค่านี้จากเอนโทรปีเดิมเพื่อหาข้อมูล

ตัวอย่าง

สมมติว่าชุดข้อมูลมีเอนโทรปีเริ่มต้นของ 0.94 หลังจากแยกตามคุณสมบัติแล้วเอนโทรปีน้ําหนักเฉลี่ยของสับเซตคือ 0.5 ข้อมูลที่ได้รับจากแยกนี้ คือ 0.44 บ่งชี้ว่ามีการลดความไม่ แน่นอนอย่างมีนัยสําคัญ