مقدمة المقرر تري ألغوريثم

وقد ظلت خوارزميات شجرة القرار تشكل منذ وقت طويل حجر الزاوية في تعدين البيانات والتعلم الآلي، حيث تقدم نماذج مفسرة لمهام التصنيف والتراجع، ومن بين أكثر الطرق استخداماً في التصنيف C4.5 و CART و CHAID، وتضع كل خوارزمية نهجاً متميزاً في بناء الأشجار، وتختلف في كيفية تقسيم البيانات، وتعالج مختلف أنواع السمات، وتدير التقلبات المفرطة.

المقرر: العناصر الأساسية

وتشكل شجرة القرار هيكلاً شبيهاً بالهيكل الذي يمثل فيه كل عقد داخلي اختباراً على سمة، ويمثل كل فرع نتيجة لذلك الاختبار، ويحمل كل عقدة أوراق علامة على درجة أو تنبؤ رقمي، وتبنى الشجرة على نحو مُرض باختيار أفضل سمة لتقسيم البيانات في كل مكان، استناداً إلى تدبير من تدابير الحيازة المختارة، وتقسم الاختلافات الرئيسية بين معياري " C4.5 " و " CID " .

C4.5 Algorithm

الخلفية والتنمية

وقد وضع روس كوينلان خلفا للهويتر 3، وجيم 4-5 هو أحد أغوارزميات شجرة القرار الأكثر تأثيرا في الأدبيات، وقد صممت هذه المادة للتغلب على عدة قيود من سلفها، ولا سيما في معالجة السمات المستمرة والقيم المفقودة وصيد الأشجار، واعتمدت الخوارزمية بحثا جشعا من خلال مساحة الأشجار المحتملة، وتستخدم معيارا مقسما يستند إلى كسب المعلومات.

Splitting Criterion: Information Gain Ratio

ويستخدم الرقم جيم 4-5 نسبة كسب المعلومات لتحديد أي سمات تقسمها، ويستمد كسب المعلومات من المنهج، وهو مقياس من الازدحام من نظرية المعلومات، غير أن مكاسب المعلومات تميل إلى تفضيل الخصائص التي لها قيم مختلفة كثيرة (القيمة العالية) وتصحيح هذا التحيز، فقد استحدث كوينلان نسبة الكسب، التي تطبيع من المعلومات التي تكسبها المعلومات الأساسية من أعلى النسب().

معالجة المواصفات المستمرة

وتعالج الخصائص المستمرة (النوميرية) عن طريق الفرز الدينامي للقيم وإيجاد أفضل عتبة لتقسيمها إلى فترتين، مثلا، إذا كانت المميزات لها قيم 1 و 3 و 5 و 7، قد تختبر الخوارزمية مثل 3 مقابل 3 و 3 و 5 و 5 مقابل 5 مقابل 5 سنوات، وهكذا تختار الواحد الذي يزيد من نسبة الأرباح إلى الحد الأقصى.

القيمة المفقودة والهرب

(ب) أن يُدار المقياس المرجعي القيم المفقودة في كل من التدريب والتنبؤ، وعندما تكون قيمة المميزة مفقودة، يستخدم الخوارزمية نهجاً محتملاً، يوزع الحالة عبر الفروع بشكل يتناسب مع التوزيع الملاحظ في بيانات التدريب، أما بالنسبة للتنبؤات، فإن القيم غير المعروفة تُعالج على نحو مماثل باستخدام نفس الاحتمالات، ولتجنب الإفراط في التأثير، فإن الرقم C4.5 يستخدم طريقة زيادة في النشرات تسمى [1]

القوة والحدود الرئيسية

C4.5 قابلة للتفسير الشديد، وغالبا ما تنتج أشجارا أصغر وأدق من أسلافها، وهي تدعم التصنيف والتراجع على حد سواء (من خلال متغير M5) وتعمل بشكل جيد مع البيانات غير المتجانسة، ولكن يمكن أن تكون باهظة التكلفة من الناحية الحسابية بالنسبة لمجموعات البيانات الكبيرة جدا بسبب البحث الدينامي للعتبة، بالإضافة إلى أن تحيّز الخوارزمي نحو تقسيمات متعددة الطرق يمكن أن يشت البيانات عندما يكون كثير جدا من الفروع.

لقراءة أخرى على C4.5، انظر عمل كوينلان الأصلي: C4.5: برامج للتعلم الآلات .]

"الغوريثم"

الخلفية والتنمية

وقد أدخل التصنيف والتراجع شجرة (CART) ليو بريمان، وجيروم فريدمان، وريتشارد أولشن، وتشارلز ستون في كتابهم شبه العام 1984، وخلافاً لرقم C4.5، تنتج CART أشجاراً ثنائية بصرامة، مما يعني أن كل تقسيم يقسم العقد إلى عقدين للطفلين بالضبط، وهذا الطابع الثنائي يبسط جوانب كثيرة من بناء الأشجار وتفسيرها.

Splitting Criterion: Gini Impurity

For classification tasks, CART uses the Gini impurity] measure to select the best split. Gini impurity quantifies the likelihood of misclassifying a randomly selected element if it were labeled according to the distribution of class labels in the nodebote. It is computed as where p i is the proportion of class

هيكل الأشجار والرش

ونظراً لأن هذه المادة تبنى أشجاراً ثنائية، فإنها يمكن أن تخلق تقسيمات متعددة على نفس السمة على امتداد فروع مختلفة، وتعالج بفعالية التفاعلات غير الخطية، وبعد بناء شجرة كبيرة تتخطى البيانات، تطبق هذه المادة ]، وهي تقنية معقدة التكلفة ، وتستحدث هذه الطريقة نموذجاً معقداً (ألفا) يُعاقب على حجم الأشجار.

معالجة أنواع البيانات والقيم المفقودة

ويمكن أن تعالج هذه المادة خصائصها الأصلية المستمرة والقاطعة، ويمكنها، بالنسبة للمتغيرات القاطعة التي تشمل فئات عديدة، أن تقيّم جميع التقسيمات الثنائية الممكنة للفئات، وتعالج القيم المفقودة باستخدام [(FLT:0])] الشقوق الافتراضي : عندما تكون السمات المقسمة في البداية ناقصة، تستخدم الخوارزمة أفضل سجل محمي في هذا الاتجاه.

القوة والحدود الرئيسية

(CART) قوي جداً وكفؤاً من الناحية الحسابية لمجموعات البيانات المتوسطة الحجم، إن تقسيمها الثنائي يقلل من تجزؤ البيانات مقارنة بشق الطرق المتعددة، والحساب الذي يبنيه النجم للقيم المفقودة عن طريق البديلات هو ميزة كبيرة في بيانات العالم الحقيقي، غير أن (CART) يمكن أن تنتج أشجاراً أعمق من اللازم، وقد تكون الخوارزمية متحيزة نحو قيم غير متمايزة.

و لفهم أعمق، انظر النص الكلاسيكي لـ (بريمان) و (الـ (الـ (الـ (الـ

The CHAID Algorithm

الخلفية والتنمية

وقد قام غوردون ف. كاس في عام 1980 بتطوير " تكنولوجيا التجزؤ والتصنيف " ، على عكس المادة 4-5 والمادة CART، تستخدم الشعبة في اختبار الأهمية الإحصائية، تحديداً، اختبار ميدان الاستقلالية لتحديد الانقسامات، مما يجعله ملائماً بشكل خاص للبيانات القاطعة وتطبيقات البحث السوقي حيث يتفهم التفاعلات الهامة بين المتغيرات.

Splitting Criterion: Chi-Square Tests

وتفحص اللجنة الاستشارية المعنية بالتنمية البشرية كل فئة من فئات المتغيرات والدمج التي لا تختلف اختلافا كبيرا عن المتغير المستهدف، استنادا إلى اختبار ميداني (لأغراض إسمية) أو اختبارات F (لأغراض عادية)، ثم تختار التنبؤ الذي ينتج عنه أكبر تقسيم، أي أصغر قيمة، وتضمن هذه العملية أن تقسيم الأشجار إلى فئات متشابهة فقط.

معالجة البيانات وبناء الأشجار

وتصمم قاعدة البيانات المشتركة بين الوكالات أساساً لمهام التصنيف التي تنطوي على تنبؤات رقمية مفصَّلة أو مفصَّلة، وفي حين يمكنها معالجة المتغيرات المستمرة، فإنها عادة ما تكون مُقيدة في فئات قبل التحليل، ولا تتطلب الخوارزمية تعريفاً يدوياً للفئات، بل تدمج تلقائياً بين الأطراف المتاخمة استناداً إلى اختبارات إحصائية، ويمكن معاملة القيم المفقودة على أنها فئة منفصلة أو تستخدم النموذج.

القوة والحدود الرئيسية

قوة (تشاد) الرئيسية هي التصلب الإحصائي الذي يجعله مثالياً للتحليلات الاستكشافية والاختبارات الافتراضية في ميادين مثل التسويق وعلم الاجتماع والرعاية الصحية

For reference on CHAID, see: ] An Exploratory Technique for Investigating Large Quantities of Categorical Data (Kass, 1980).

التحليل المقارن للخصائص الرئيسية

ويوجز الجدول التالي أهم الاختلافات بين الفئة جيم-4-5، واتفاقية تخفيض الأسلحة الكيميائية، واتفاقية الأسلحة الكيميائية، واتفاقية حقوق الطفل المتعلقة بالتصحر في المواد الكيميائية.

Feature C4.5 CART CHAID
Splitting Criterion Information gain ratio Gini impurity (classification), variance reduction (regression) Chi-square test (classification), F-test (ordinal)
Tree Structure Multi-way splits possible Binary splits only Multi-way splits (auto-merging categories)
Supported Target Types Categorical (classification), continuous (with modifications) Categorical and continuous Primarily categorical; continuous via binning
Handling Continuous Predictors Dynamic threshold search Dynamic threshold search Bin into categories (user-defined or automatic)
Missing Values Probabilistic distribution Surrogate splits Treated as separate category or mode imputation
Pruning Method Error-based pruning Cost-complexity pruning Stopping rule via significance level (no explicit pruning)
Scalability Moderate; expensive for large numeric datasets Good for moderate-sized datasets Slower with many categories
Interpretability High (often compact trees) High (binary splits easy to follow) High (statistically justified splits)
Overfitting Control Strong via pruning Strong via cost-complexity pruning Moderate; controlled by significance threshold

بالإضافة إلى هذه الاختلافات التقنية، فإن الخوارزميات تختلف أيضاً في كيفية التعامل مع التفاعلات بين السمات، إنقسامات (سي آر) الثنائية تسمح لها بنموذج التفاعلات المعقدة التي قد تتطلب تقسيماً متكرراً على نفس الصفات،

المبادئ التوجيهية لاختيار Algorithm

إن اختيار خوارزمية شجرة القرار الصحيحة يعتمد على الخصائص المحددة لمجموعات بياناتكم وأهداف تحليلكم، واستخدام المبادئ التوجيهية التالية:

  • ] C4.5 عندما: ] تحتاج إلى خوارزمية حرفية تعالج البيانات المستمرة والقاطعة، والقيم المفقودة موجودة، وترغب في شجرة يسهل تفسيرها.
  • CART عندما: ] تحتاج إلى خوارزمية قوية لكل من التصنيف والتراجع، بياناتك تشمل العديد من القيم المفقودة، أو تفضل تبسيط تقسيمات ثنائية.
  • hoose CHAID عندما: ] Your primary interest is in exploring relationships among categoricalتغييرات, you need a tree that is statistically justified, or you want automatic merging of categories to reduce dimensionality. CHAID is especially popular in marketing segmentation and survey analysis.

و لكن هذا لا يُمكن أن يكون مُتَعَدّدًا، فـ (سي 4.5) و (سي آر) يُنتجون أشجاراً أعمق،

اعتبارات التنفيذ العملي

(ج) يتم تنفيذ المادة 4-5 في ويكا (ك ج 48)، بينما تكون المادة (CART) متاحة في R (حزمة حصص)، (بيتون) (مصفف مقياس مقياس مقياس مقياس مقياس الكبريت، ومقياس مقياس الأشعة السيني) عند التخلف، والكثير من البرامج الأخرى.

خاتمة

(سي 4-5) و (سي آر) و (شيلد) كلهم يقدمون مزايا فريدة لبناء نماذج شجرات القرار (سي 4.5) مع نسبة كسب المعلومات لديها، القدرة على التعامل مع البيانات المستمرة والمفقودة، والتلاعب بالأخطاء، (سي آر) توفر إطاراً ثنائياً قوياً لبيع الشجرات و (جيني) و (مضاعفة التكاليف)