Understanding Decision Tree Models

وأشجار القرار هي فئة أساسية من الخوارزميات التعليمية الخاضعة للإشراف والمستخدمة في كل من مهام التصنيف والتراجع، حيث إن هيكلها غير الملائم - رسماً متماثلاً للأفكار والقرارات المحتملة - يجعلها قابلة للتفسير بدرجة كبيرة، وكل عقد داخلي يمثل اختباراً على سمة، ويقابل كل فرع نتيجة الاختبار، ويحتفظ كل عنوان من هذه الأوراق بعلامة أو تنبؤات رقمية.

غير أن أشجار القرار، رغم بساطة هذه الأشجار، حساسة للغاية بالنسبة لتشكيلها، فالتغيرات الصغيرة في مستويات المقاييس الفائقة يمكن أن تؤدي إلى تغيير جذري في عمق الشجرة وتعقيدها وقدرتها على التعميم، وبدون تدقيق دقيق، قد تبالغ الشجرة في الاستفادة من البيانات التدريبية بدلاً من أن تستوعب أنماط التعلم أو أن تكون غير ملائمة، وذلك بأن تكون ضحلة للغاية في إقامة علاقات ذات معنى، وأن عملية إيجاد التوازن الصحيح معروفة باختيار النماذج، كما أنها تشكل تحدياً أساسياً في التعلم.

تعقيدات خط الاستواء

وتكشف خوارزميات شجرة القرار عن عدة مقاييس ضغطية تتحكم في كيفية بناء الشجرة وتشمل البارامترات الرئيسية ما يلي:

  • Maximum depth:] Limits the number of levels in the tree. A deep tree can model more complex interactions but risks overfitting.
  • Minimum samples per leaf:] Specifies the minimum number of training instances required to form a leaf node. Larger values encourage more general splits.
  • Minimum samples per split:] The minimum number of samples needed to perform a split. Similar to the leaf constraint, this prevents splits that are too granular.
  • Maximum features:] Controls the number of features considered when looking for the best split. Smaller values increase randomness and can reduce overfitting.
  • Criterion:] The function to measure split quality, such as Gini impurity or entropy for classification, and mean squared error (MSE) for regression.
  • Splitter:] Strategy to choose the split at each node. The standard “best” strategy evaluates all possible splits, while “random” selects a random subset.
  • Minimum impurity decrease:] A threshold for the reduction in impurity required to justify a split.
  • Clas weight:] Balances sensitivity to class imbalances by assigning higher penalties to misclassified minority classes.

فالاستكشاف اليدوي لهذه البارامترات غير عملي، لا سيما مع تزايد حجم البيانات وبعدها، وكثيرا ما يعتمد علماء البيانات على الخبرة أو الحد الأدنى لتضييق حيز البحث، بل وحتى بعد ذلك، قد يفوت التشكيل الأمثل، كما أن التعليم اليدوي يستغرق أيضا وقتا طويلا - ويمكن أن تستغرق تجربة واحدة دقائق إلى ساعات، وقد يلزم توفير عشرات من الجرعات من أجل وضع نموذج جيد.

ما هو "أوتوم مار إل"؟

وتشير دراسة الماكين الآلية (AutoML) إلى مجموعة من التقنيات والأدوات التي تُؤمِّن عملية نهاية المرحلة من تطبيق التعلم الآلي على مشاكل العالم الحقيقي، وفي حين أن نطاق نظام التشغيل الآلي يمكن أن يشمل تجهيز البيانات مسبقاً، وهندسة الملامح، واختيار الخوارزميات، ونشر النماذج، فإن تطبيقه الأكثر تأثيراً هو التناظر الفائقي والاختيار النموذجي.

:: إضفاء الطابع الديمقراطي على نظام " أوتوماتيك " للتعلم الآلي عن طريق تقليل الحاجة إلى خبرة فنية عميقة، ويمكن لغير الخبراء أن يحمّلوا مجموعة بيانات وأن يتلقوا نموذجا عالي الجودة دون معايير تدقيق يدوية، وبالنسبة للخبراء، يعجل نظام " أوتوماتيك " بالتجارب ويحرر الوقت اللازم لأداء مهام أعلى مستوى مثل الهندسة والتفسير، وتشمل التكنولوجيات الرئيسية وراء نظام " أوتوماتيك " استراتيجيات البحث والتعلم المتطورات " وطرق التجميعية.

منظمة ظبح

ويحدّد المستخدم مجموعة من القيم الممكنة لكل مقياس من مقياسات الارتفاع، وتقيّم الأداة كل مزيج، فعلى سبيل المثال، إذا أردنا أن نربط أقصى درجة من العمق والعينات الدنيا لكل ورقة، مع وجود خمسة قيم لكل منها، فإن البحث عن الشبكة يقيّم 25 مزيجاً، بينما يتأثر البحث عن الشبكة مباشرة بعنة البعد: فمع تزايد عدد المقاييس الفائقة، يُنفدُقُ الوقت المُعُدِّد.

البحث عن أزواج

(د) البحث العشوائي، الذي أدخله بيرغزترا وبنغيو (2012)، العينات التي تُقدّم قيماً متفاوتة من التوزيعات المحددة، بدلاً من اختبار جميع التركيبات، يختار عدداً ثابتاً من التشكيلات العشوائية، وكثيراً ما يتجاوز البحث العشوائي أداء الشبكة لأنه يستكشف قيماً أكثر تميزاً لكل بارامتر، خاصة عندما يكون لبعض البارامترات تأثير ضئيل على الأداء، ومن الأسهل أيضاً التوازي مع ذلك ويمكن وقفه في وقت مبكر إذا كانت النتائج مرضية.

التعظيم البيزي

ويُعد التفسير البيزيائي نهجا أكثر تطورا يبني نموذجا محتملا للوظيفة الموضوعية (الأداء النموذجي) ويستخدمه لاختيار المقاييس التالية للمسح الفائق لتقييمه، وتشمل نماذج بديلة مشتركة العمليات الغوسية والغابات العشوائية ومضادات الترسبات ذات الهيكل الشجري (TPE).

طرق متقدمة أخرى

وبالإضافة إلى هذه التقنيات الأساسية، تشمل أدوات آلية الرصد والتحقق ما يلي:

  • Evolutionary algorithms (مثل البرمجة الجينية) التي تتطور عدداً من النماذج على مدى الأجيال.
  • Hyperband] and ] Successive Halving, which dynamically allocate resources to promising formations and early-terminate poor ones.
  • Neural Architecture search (NAS)] for deep learning, though less relevant for decision trees.
  • Ensemble selection] where AutoML automatically combines multiple models to improve performance.

الأطر الشعبية لنظم الحكم الذاتي في مجال الإجراءات المتعلقة بالقرارات

ومنابر متعددة من مصادر مفتوحة وتقنية لمركبات السيارات تشمل خوارزميات شجرات القرار في حيز البحث فيها، وهذه هي أبرز البرامج:

Auto-sklearn]

ويستخدم نظام التعليم الآلي بديلاً عن التسرب من أجل التعلم من الكتف، ويستخدم نظام التعليم البيزيني على الوجه الأمثل مع التعلم من الميثا إلى بدء الدفء في البحث، ويقيّم مجموعة واسعة من المصنفات والتراجعات، بما في ذلك أشجار القرار، والغابات العشوائية، وآلات تعزيز التدرج، والأمثل من ذلك، بالنسبة لأشجار القرار تحديداً، نماذج أعمق الوثائق ذات الصلة بالسيارات، والمعيار المقسم، والعين الأدنىين.

H2O AutoML]

ويستهدف برنامج " أوتومات " للتقسيم واستخدام المشاريع، وهو يدير مجموعة من الخوارزميات تشمل أشجار القرار والغابات العشوائية والزجاج واللايت والتعلم العميق، ثم يدرب نموذجا تجميعيا متراكما يجمع بينهما، ويجرى تعليما عن طريق البحث العشوائي والبحث عن الشبكات على نطاقات البارامترات المحددة مسبقا.

TPOT]

(د) نظام " TPOT " (Tree-based Pipeline Optimization Tool) هو نظام آلي قائم على البرمجة الوراثية، ويتطور خطاً كاملاً للتعلم الآلي، بما في ذلك اختيار الملامح، وتجهيزها مسبقاً، واختيار النماذج، وأشجار القرار هي أحد المتعلمين الأساسيين " TPOT " ، وينتج تركيبات جديدة تفوق في كثير من الأحيان خطوط الأنابيب المصممة يدوياً.

Google Cloud AutoML]

وتوفر شركة غوغل كلود للسيارات خدمة مُدارة لبناء نماذج العرف ذات الحد الأدنى من الجهد، وفي حين أن البنية الأساسية غير موثقة علناً، فمن المعروف أنها تشمل نماذج قائمة على الأشجار مثل الأشجار المُعززة من أجل البيانات القاردة، وتعالج قاعدة البيانات المقسمة، والتغطية المفرطة، والنشر تلقائياً، وهي مثالية للأفرقة التي ترغب في تجنب إدارة الهياكل الأساسية، وتفضّل نموذجاً لاستخدامه.

AutoGluon]

ويركز نظام " أوت غلون " الذي وضعته الأمازون على البساطة والقوة، ويدرب تلقائيا نماذج متعددة، بما في ذلك أشجار القرار، ويجمع بينها وبين مجموعة من الأدوات الآلية للتنبؤ بالطرقات، ومن المعروف أن أحدث النتائج على العديد من مجموعات البيانات المرجعية التي لا تتضمن سوى مدخلات قليلة من المستعملين، ويستخدم نظام " أوتغلون " مزيجا من الترشيد الأمثل في بيزيين وضرب النماذج.

الخطوة خطوة إلى الأمام: استخدام نظام " أوتوماتيم " إلى تون "

ولتوضيح العملية، النظر في مهمة تصنيف ثنائية باستخدام مجموعة بيانات أمراض القلب التقليدية، والهدف هو التنبؤ بوجود أمراض القلب على أساس خصائص مثل العمر والكولسترول ونوع ألم الصدر.

1 - إعداد البيانات

تنظيف مجموعة البيانات، ومعالجة القيم المفقودة، وتدوين المتغيرات القاطعة، فمعظم أدوات آلية الإدارة الذاتية إما أن تؤدي هذه الخطوات تلقائيا أو توفر معايير للسيطرة عليها، مثلا في نظام H2O AutoML، يمكنك تحديد الأعمدة القاطعية، وستعالج الأداة الترميز.

2 - اختيار إطار آلية لضبط النفس

اختيار إطار يناسب بيئتك، وبالنسبة لمستخدمي البيتون، أو التعلم الآلي أو TPOT خيارات خفيفة الوزن، وبالنسبة للبيانات الأكبر أو احتياجات الإنتاج، يفضلون نظام H2O AutoML أو AutoGluon.

3 - الثقة في البحث

(ب) تحديد مساحة البحث عن أجهزة قياس درجة الحرارة العالية في شجرات القرار - توفر أطر عديدة النطاقات الافتراضية، مثلاً مجموعات التعلّم الآلي ذاتياً من أجل ] ، وما إلى ذلك، قد تُقيِّد هذه النطاقات أو تُوسع على أساس المعارف السابقة، وتضع ميزانية زمنية أو أقصى عدد من التقييمات النموذجية لمراقبة التكلفة الحسابية.

4 - إدارة عملية نظام الحكم الذاتي

(ب) أن يُنفذ البحث، وسيُدرب الإطار ويقيّم نماذج شجر القرار عبر الحيز الممتدّ إلى مقياس المقياس الفائق، ويسجل مقاييس الأداء (مثلاً، مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس مقياس

5- تقييم أفضل النماذج

وبعد الانتهاء من الدراسة، فحصت تشكيلة شجرات القرار التي تعمل على أعلى مستوى، وتحقق من أدائها في مجموعة اختبارات محتفظ بها، وتنظر في هيكل الأشجار لضمان قابلية التفسير على أشجار شديدة السعة، مع احتمال أن يكون أفضل نموذج هو مجموعة عشوائية من الغابات أو مجموعة من عناصر تعزيز التدرج، وتنظر في المفاضلة بين الدقة والوضوح.

6 - النشر أو الترقيم

(ب) تصدير النموذج إلى شكل إنتاجي (مثلاً PML، أو ONNX، أو المخلل) - وكبديل لذلك، قد ترغبون في زيادة صقله بالتركيز على نطاق أضيق حول أفضل المعايير، أو عن طريق إدماج الخطوات الهندسية الخاصة التي اكتشفتها عملية نظام الحكم الذاتي في مجال الإدارة والتجارة والنقل.

استحقاقات اختيار نظام الحكم الآلي

  • Time efficiency:] AutoML can explore thousands of formations in parallel, completing in hours what might take a manual data scientist weeks.
  • Superior performance:] Automated search often discovereds hyperparameter combinations that manual tuning Misses, leading to higher accuracy, precision, or recall.
  • Reduction of human bias:] Data scientists may have preferences for certain parameter defaults (e.g., a habit of setting max depth=10). AutoML explores the space without such biases.
  • Reproducibility]: يمكن التحكم في تدفقات العمل ذاتياً وإعادة التشغيل بنفس البذور العشوائية، مما يؤدي إلى نتائج متطابقة - حاسمة بالنسبة لمسارات مراجعة الحسابات والامتثال التنظيمي.
  • Accessibility]: يمكن لغير الخبراء بناء نماذج فعالة لشجر القرار دون معرفة عميقة بالتثقيف الفائق السرعة، مما يجعل التعلم الآلات أكثر سهولة في جميع المنظمات.
  • Automatic feature engineering]: Some AutoML tools also generate new features (e.g., polynomial combinations, binning) that improve decision tree performance, something manual tuning typically neglects.

القيود والنظر في المسألة

وعلى الرغم من مزاياها، فإن نظام " أوتوماتيك " ليس حلاً للحلول، ففهم حدوده يساعد على تحديد توقعات واقعية.

التكلفة الحاسوبية

ويمكن أن تكون عملية إدارة السيارات قائمة على كثافة الموارد، إذ يتطلب إجراء مئات من التقييمات النموذجية بشأن مجموعات البيانات الكبيرة وقتاً وذاكرة كبيرين من وحدات الشرطة المدنية/الوحدة العالمية، وتساعد الحلول القائمة على السحاب، ولكن التكاليف يمكن أن تضيف، ومن الحكمة وضع ميزانية واستخدام تقنيات التبكير.

خطر الإفراط في الاستفادة

وعندما يبحث نظام " أوتوماتيك " عن حيز كبير، قد يجد تشكيلة تؤدي أداء جيداً في بيانات المصادقة ولكنها تفشل في البيانات غير المرئية، ويخفف ذلك باستخدام التقاطع، ولكن المشكلة تظل قائمة إذا كان البحث عنيف للغاية، وبعض الأطر تنفذ نماذج إضافية للتوت أو تفضل نماذج أبسط عن طريق فرض عقوبات على المجازاة.

فقدان القدرة على الترجمة الشفوية

وأشجار القرار تعرض بطبيعة الحال إمكانية الترجمة الشفوية، ولكن عندما تختار حركة السيارات شجرة عميقة للغاية أو تجمع معقد، يصبح التفسير صعبا، وإذا كان التفسير شرطا صارما، قد تحتاج إلى تقييد البحث عن نماذج أبسط أو استخدام أساليب تفسيرية لما بعد مؤتمر القمة العالمي للتنمية البشرية.

الاعتماد على نوعية البيانات

ولا يصلح نظام " أوتوماتيم " المسائل الأساسية المتعلقة بالبيانات، بل إن السحب من القمامة ينطبق، وإذا كانت مجموعة البيانات تحمل علامات ضوئية، أو اختلالات حادة في الطبقة، أو عينات قليلة جدا، فلن ينتج أي كمية من التوابيت فوق المقياس عن نموذج جيد، ويجهز البيانات بعناية قبل إطعامها إلى نظام " أوتوماتيك " .

الطبيعة السوداء

ويمكن أن تكون التقنيات المتقدمة في مجال استخدام نظام الحكم الذاتي (مثلاً، التعظيم في بايزيان، والبرمجة الجينية) غير واضحة، إذ قد يكون فهم السبب في اختيار تشكيلة معينة غير واضح، مما قد يعوق الثقة في الإنتاج، وتوفر بعض الأطر سجلات تجريبية واسعة النطاق لزيادة الشفافية.

إدماجها في عمليات التشغيل المتعددة الجنسيات وتدفقات العمل في مجال الإنتاج

ومن الطبيعي أن يُدخل الاختيار النموذجي الآلي مع نظام " أوتوماتيك " في خط أنابيب ناضج للنظم المتعددة الجنسيات، ويمكن أن تُطلق خطوة " أوتوماتيك " عندما يتم جمع بيانات جديدة، أو إعادة تدريب نماذج على جدول زمني أو عند اكتشاف انجراف البيانات، وكثير من نماذج تصدير أدوات نظام أوتوماتيكياتيكيات يمكن استخدامها عن طريق تطبيقات نظامية تجريبية أو مدمجة في نظم برمجيات أوسع.

ومن المهم ربط نظام " أوتوماتيم " بتتبع التجارب القوية، ويمكن لأدوات مثل حركة تحرير السودان أو نبتون أن تسجل جميع تركيبات المقاييس الفوقية ومقاييس الأداء، مما يتيح إمكانية مراجعة الحسابات والمقارنة عبر مسارات التشغيل، كما أن مراقبة الدخول للبيانات والرمزية، إلى جانب البنية التحتية (مثلاً، دوكر، كوبرنيت) تكفل إعادة إنتاج عملية نظام " أوتوماتيك " (CL) وقابلية للتقسيم.

الاتجاهات المستقبلية

ولا يزال ميدان نظام " أوتوماتيك " يمضي قدماً، حيث تتعلم النماذج من التجارب السابقة إلى التجارب الجديدة التي تُستخدم بالفعل من خلال أطر مثل التعلم الذاتي، وقد تشمل التحسينات المقبلة أساليب أفضل لتحقيق الكفاءة في تعددية أشكال التكوين، وهندسة السمات الآلية المرتبطة باختيار النماذج، والتكامل مع الاختبارات السببية، وبالنسبة لأشجار القرار، فإن النهج الهجينة التي تجمع بين تفسير الأشجار الصغيرة المعززة والدقة.

وبالإضافة إلى ذلك، بدأ العمل بنظام " أوتوماتيك " الموحد في الظهور، مما يتيح إجراء تدوين نموذجي عبر مجموعات البيانات الموزعة دون إضفاء الطابع المركزي على البيانات الحساسة، وهذا أمر له أهمية خاصة بالنسبة للرعاية الصحية والمالية، حيث تكون أشجار القرار شائعة، كما أن أنظمة خصوصية البيانات صارمة.

خاتمة

ويمثل اختيار نماذج شجرات القرار الآلية بأدوات نظام الحكم الذاتي الانتقالي تقدما كبيرا في الإنتاجية والجودة النموذجية، ومن خلال استخدام خوارزميات البحث مثل التعظيم البيزيائي، والبحث العشوائي، والتقنيات التطوّرية، يمكن للممارسين أن يعجلوا بتحديد تشكيلات المقاييس الفائقة التي تحقق أقصى قدر من الأداء، مع توفير كميات هائلة من العمل اليدوي، كما أن أطرا مثل نظام التشغيل الآلي، ونموذجا " TPOT " ، و " لا يمكن الوصول إلى نماذج " أوتومات " .

وعلى الرغم من التكاليف الافتراضية والحاجة إلى التحقق الدقيق، فإن المكاسب التي تحققت من الفوائد - الدقة، والوفورات الزمنية، والانتقال، والديمقراطية - تفوق بوضوح جوانب الانكماش، وستصبح تكنولوجيا نظام الحكم الذاتي عنصرا لا غنى عنه في كل مجموعة أدوات للتعلم الآلي، ولا سيما بالنسبة للنماذج الشجرية القابلة للترجمة والتي تظل أساسية في العديد من الصناعات.

To learn more about hyperparameter optimization and AutoML frameworks, refer to the official documentation of Auto-sklearn, ]H2O AutoML, and TPOT.