كيفية التعامل مع تعددية الألوان في نماذج الاتجاهات

وأشجار القرار هي مجموعة من تدفقات العمل في مجال التعلم الآلات، وهي مُمنحة لهيكلها الافتراضي وقابليتها للتفسير المباشر، وهي تُعطي كل شيء من تقييمات مخاطر الائتمان إلى التشخيص الطبي، وكثيراً ما تكون بمثابة مقياس للجدل لعلماء البيانات الذين يحتاجون إلى شرح التنبؤات إلى أصحاب المصلحة غير التقنيين، ومع ذلك، فرغم قوتهم، فإن أشجار القرار لا تُحصى لنماذج دونية بل مشكلة دائمة:

في هذه المادة، سنستكشف ما هو تعددية الألوان، لماذا يهم تحديداً أشجار القرار، ومجموعة من الاستراتيجيات العملية للتخفيف من أثرها، سواء كنت عالم بيانات تدرّس دورة أو ممارس يُعَدّل نموذجاً للإنتاج، هذه التقنيات ستساعدك على بناء أشجار قرار أنظف وأكثر عمومية.

ما هو تعددية الألوان؟

وتشير تعددية التلوينات إلى حالة ترتبط فيها متغيران أو أكثر من متغيرات التنبؤ في مشكلة تراجع أو تصنيف ارتباطاً وثيقاً بدرجة عالية، وعندما تصبح العلاقة بين المتغيرات قوية، تتضمن البيانات الأساسية معلومات متداخلة يمكن أن تخلط بين العديد من نماذج التعلم الإحصائية والآلية، وفي النماذج المتوازية، فإن تعددية الألوان قد تؤدي إلى تضخم الأخطاء القياسية وتجعل التقديرات المتماثلة غير مستقرة.

وهناك نوعان من أنواع الترميز الرئيسية التي ينبغي إدراكها:

Perfect multicollinearity] - أحد التنبؤات هو مزيج خطي من الآخرين، وهذا نادر في البيانات الحقيقية ما لم تكن سمة مكررة بشكل غير مقصود.
High (imperfect) multicollinearity] - predictors are strongly, but not perfectly, correlated. This is far more common and is the focus of most mitigation strategies.

لماذا تعددية الألوان لا تزال مسائل في اتجاهات القرار

وأشجار القرار غير متماثلة وكثيرا ما توصف بأنها محصنة على تعددية الألوان، ولكن صحيح أن الأشجار لا تتطلب نفس افتراضات الاستقلالية مثل النماذج السطرية، فإن السمات المرتبطة بها لا تزال تستحدث مشاكل عملية:

Split selection bias] - عندما تتوفر ملامحتان مترابطتان إلى حد كبير، يمكن أن تختار الشجرة بصورة تعسفية واحدة للقسم الأول، تتجاهل الأخرى، مما يجعل الأشجار الفردية غير مستقرة؛ ويمكن أن تؤدي التغييرات الصغيرة في البيانات إلى قلب الشجرة التي تلتقطها.
Overfitting] - redundant features provide multiple opportunities for the tree to split on essentially the same information, increasing depth and complexity without improving generalization.
Misleading feature importance] - importance scores are divided among correlated predictors, diluting the apparent contribution of each and making it hard to identify which variables are truly driving predictions.
]Decreased interpretability - a tree that splits on both and ] (التي تكاد تكون متطابقة) is more confusing and hard to prune than one built with clean, independent features.

For these reasons, teaching practitioners to detect and handle multicollinearity before feeding data into a decision tree is a core part of building robust models.

تحديد تعددية الألوان في بياناتك

قبل أن تقرر كيفية إصلاح تعددية الألوان، يجب أن تحددها أولاً، اثنان من أكثر أدوات الكشف شيوعاً هما مصفوفة الترابط ومصنع التضخم الفارق.

استخدام مصفوفة مكوريل

وأبسط نهج هو حساب معامل ربط البيرسون بين جميع المعالم العددية، وتكشف خريطة حرارة مصفوفة الترابط بسرعة عن مجموعات من المتغيرات ذات الصلة العالية، وتتمثل قاعدة مشتركة من الإبهام في أزواج الأعلام مع ] لإجراء مزيد من التحقيق، على الرغم من أن العتبة يمكن تعديلها استنادا إلى المعرفة في المجال.

معامل التضخم

ويقيِّم الاتحاد مقدار الفرق في معامل التراجع بسبب تعددية الألوان، وبالنسبة لكل سمة، يُحسب الفيدز من خلال تراجع تلك السمة ضد جميع الآخرين واستخدام الصيغة [() [.] وكثيراً ما يعتبر الفدائي فوق 5 أو 10 علامة على تعددية الألوان، وإن كانت هذه العتبات غير مطلقة، فثمة مكتبات إحصائية كثيرة توفر نموذجاً للإطار()

External resource:] The ]statsmodels VIF documentation] provides implementation details and examples.

استراتيجيات لمعالجة تعددية الألوان في اتجاهات القرار

وبعد أن حددتم خصائص متعددة الألوان، الخطوة التالية هي تحديد كيفية التعامل معها، والاستراتيجيات التالية فعالة بوجه خاص بالنسبة لنماذج شجرات القرار.

1 - اختيار الأعضاء

وكثيرا ما يكون اختيار الأعضاء هو أبسط الحلول وأكثرها تفسيرا، والهدف هو الاحتفاظ بمجموعة فرعية من التنبؤات ترتبط بعضها ببعض على نحو أضعف، مع الحفاظ على الإشارة التنبؤية.

Correlation threshold] — compute the correlation spec and remove one feature from each correlated couple above a selected threshold (e.g., ).
اختيار قائم على أساس الفرنك الفيزيائي ] - مضغوط جداً لجميع المعالم، وإسقاط واحد من أعلى مستوى للفيروس فوق نقطة الانقطاع، والتكرار إلى أن تكون جميع السمات المتبقية لها قيم مقبولة من الفيل.
Wrapper methods] - use forward selection, backward elimination, or recursive feature elimination (RFE) specifically tailored to the decision tree algorithm. While computationally more expensive, these methods directly optimize for tree performance.

ويستفيد اختيار الأعضاء من زيادة تكاليف جمع البيانات وتخزينها في نظم الإنتاج، ويبقي الشجرة بسيطة ومن السهل شرحها.

2 - تخفيض النزعة الكيمائية مع الحد من الفقر المدقع

وعندما تكون السمات السقفية غير مرغوب فيها لأن كل متغير يحمل معنىً فريداً من مجالاته، فإن التحليل الرئيسي للعنصر يقدم بديلاً: فهو يغير التنبؤات الأصلية المتصلة بالكورات إلى مجموعة أصغر من العناصر غير المتصلة بالبيانات التي تستوعب معظم الفرق في البيانات، ويمكن عندئذ إدراج هذه المكونات في شجرة القرار.

]Advantages - PCA eliminates multicollinearity entirely, reduces noise, and can improve generalization when the number of features is large relative to the number of samples.
Trade — Trade‐offs - The largest downside is loss of interpretability. A component is a weighted linear combination of original features; it can be difficult to explain what a split on ] in business terms. Additionally, PCA is unsupervised and may discard information that is not captured by variation but is important for the target variable.

ورغم هذه المبادلات، فإن التقييم القطري المشترك أداة قوية لإعداد البيانات المتعلقة بأشجار القرار، لا سيما عندما يقترن ذلك بأساليب تجميعية.

3- تنظيم النماذج القائمة على أساس شجرة

وعلى الرغم من أن التنظيـم يقترن في معظم الأحيان بنماذج خطية (العقوبات على الجرم 1/L2)، فإن لأشجار القرار أشكالها الخاصة من التنظيم التي يمكن أن تقلل من الملاءمة المفرطة التي تشجعها السمات المتعددة الألوان:

Minimum samples per split] — increasing ] forces the tree to require more data before making a split, reducing the chance of splitting on a redundant feature exclusively by chance.
Maximum depth] - capping ] prevents the tree from growing deep enough to exploit correlated features.
Minimum impurity decrease] - setting ensures that only splits that meaningfully reduce impurity are made, filtering out splits driven by multicollinearity noise.
Cost —Cost —complexity pruning (CCP)] - post —pruning with ] allows the tree to be cut back after growth, removing branches that rely on redundant splits.

ومن شأن تطبيق نظام صارم للانتظام أن يساعد شجرة القرار على تجاهل الروابط النابعة من الغضب، ولكنه ليس رصاصة فضية - وهو لا يعالج المسألة الأساسية المتمثلة في الملامح الزائدة عن الحاجة.

External resource:] The ]scikit-learn documentation on cost —complexity pruning] provides a clear example of how to apply tree regularization.

4 - الطرائق المشتركة: الغابات العشوائية وصيد الأسماك

وربما تكون الأساليب الجماعية هي أقوى طريقة لمعالجة تعددية الألوان في النماذج القائمة على الأشجار، إذ تجمع الأشجار الكثيرة، وتجمع بين متوسطات أوجه عدم الاستقرار التي تسببها السمات المرتبطة بالزراعة وتنتج توقعات أكثر استقرارا.

Random Forests] - كل شجرة تُدرَّب على عينة من البيانات، ولا تعتبر سوى مجموعة فرعية عشوائية من الملامح في كل قسم، وهذه السمة تكسر سيطرة أي تنبؤ ذي صلة واحدة، وتجبر الغابة على استكشاف أجزاء بديلة، والتنبؤ النهائي هو متوسط على أشجار كثيرة، وهو ما يتخطى التصور التعسفي.
Gradient Boosting Machines (GBMs)] - boosting builds trees sequentially, each one correcting the errors of its predecessor. Correlated features can still be selected across trees, but the iterative refinement reduces the impact of multicollinearity on overall performance. Modern implementations like XGBoost and LightGB

ولا تلغي الأساليب الجماعية تعددية الألوان، ولكنها تجعلها أقل ضرراً بكثير، وبالنسبة للعديد من الممارسين، فإن استخدام غابة راندوم أو نظام إدارة المراعي العالمية هو أبسط طريقة لتجاهل المشكلة دون معالجة مسبقة صريحة.

التنفيذ العملي: دليل تدريبي - ميم -

لنمشي عبر سير عمل تمثيلي للتعامل مع تعددية الألوان في مشروع شجرة القرار سنستخدم مجموعة بيانات إسكان افتراضية مع سمات مثل اللقطات المربعة، عدد غرف النوم، عدد الحمامات، حجم الكثافة، والسنة التي بنيت

الخطوة 1: كشف تعددية الألوان

أولا، تصوّر مصفوفة الترابط والمؤسسة في جميع الملامح العددية، ففي مثالنا، قد يكون للصور المربعة وعدد غرف النوم ارتباط 0.82، وقد تتجاوز قيم الفرن في كلتا الحالتين 6. وهذا يؤكد تعددية الألوان المثيرة للمشاكل.

الخطوة 2: اختيار استراتيجية التخفيف

ونظراً إلى أهمية الترجمة الشفوية بالنسبة لنموذج واقعي، فإننا نختار اختيارات اختيارية بدلاً من الفينول الخماسي الكلور، ونقرر الاحتفاظ بسجلات مربعة (وهي أكثر غرابة وأكثر تنبؤاً في كثير من الأحيان) وعدد غرف النوم، كما نتحقق من الأزواج الأخرى ذات الصلة ونزيل حجم القطع إذا ما أظهر ذلك الفيل فوق 10 بعد الانقطاع الأول.

الخطوة 3: تدريب خط القرار

ومع انخفاض عدد المميزات، ندرب شجرة قرار باستخدام مواصفات معقولة (مثلاً 6 و] (مثل 20) لمنع الإفراط في التأطير، وتزداد شجرتها بساطة، مع عدد أقل من المعابر، وتتركز الآن درجات الأهمية الخاصة على متغيرات متميزة حقاً.

الخطوة 4: التقييم والمقارنة

ونحن نقارن الشجرة التي تم تدريبها على مجموعة البيانات الكاملة مقابل الشجرة التي تم تدريبها على السمات المختارة، وعلى الرغم من أن الشجرة الكاملة قد تحقق خطأ تدريبي أقل قليلا، فإن الشجرة المختارة - المتعددة الأطراف ينبغي أن تظهر درجات أفضل من التقاطع واختلاف أقل بين الطائفتين، وهذا هو المعالم الرئيسية لتحسين التعميم.

بالنسبة لطبقة إضافية من القوة، نحن أيضاً ندرب غابة راندوم على مجموعة البيانات الأصلية، أداء الغابة يجب أن يطابق أو يتجاوز بدقة أداء شجرة القرار التي تم فرزها،

الشلالات المشتركة وكيفية تجنبها

وحتى مع أفضل النوايا، يمكن أن تحدث الأخطاء عند التعامل مع تعددية الألوان في أشجار القرار، وهنا أكثر المجازفات شيوعا:

Over —eager feature removal] - drop a variable just because it is correlated with another can waste valuable signal. always consider the predictive contribution of each feature and use domain knowledge to guide removal.
Ignoring interaction effects] - in some cases, two correlated features together carry information that neither carries alone. Removing one outright can harm performance. In these situations, dimensionality reduction or ensemble methods are better choices.
Applying PCA without scaling] - PCA is sensitive to the scale of features. always standardize numeric predictors to zero mean and unit variation before performing PCA.
Assuming VIF thresholds are universal] — a VIF of 10 is a common cutoff, but in small datasets or domains with strong natural correlations, even lower thresholds may be appropriate. Examine the context rather than blindly applying rules.
Forgetting to check after feature engineering] - multicollinearity can be introduced when creating polynomial features, ratios, or interaction terms. Re-evaluate correlations after every feature engineering step.

خاتمة

وقد لا يكسر تعددية الألوان نموذجاً لشجرة القرار بنفس الطريقة التي يكسر بها تراجع خطي، ولكنه لا يزال يقوض الاستقرار والتفسير والتعميم، وبكشف الملامح المرتبطة بالعلاقة في وقت مبكر، وبتطبيق اختيار الملامح المدروسة أو الحد من البعد، واستكمال الأشجار بأساليب الجمع مثل غابات الرنّد، يمكن أن تبني نماذج دقيقة ومرنة على حد سواء، والمفتاح هو معالجة تعددية اللون لا باعتبارها إشارة مبسطة.

External resource:] For a deep dive into VIF and its application to feature selection, see the ]Wikipedia article on Variance Inflation Factor. For a practical tutorial on building decision trees with scikit —learn, refer to the [FLT: