تجسم ساختارهای درخت تصمیم برای قابلیت بهتر مدل

تفسیر تجسم درخت در یادگیری ماشین مدرن

درختان تصمیم یک سنگ بنای یادگیری ماشینی تفسیر شده باقی می مانند، برای ساختار شهودی و سهولت توضیح آنها جایزه داده می شود، با این حال هر دانشمند داده که یک درخت در داده های دنیای واقعی را آموزش داده است به سرعت با یک پارادوکس مواجه می شود: در حالی که یک درخت کم عمق به طور ناچیز قابل خواندن است، یک درخت عمیق، به طور کامل رشد می کند اغلب یک درهم شکستن شاخه های بدون تجسم موثر، حتی شفاف ترین سیستم آموزش و ساده است - این است که چرا یک تصمیم گیری دقیق است.

چرا درختان تصمیم گیری را تجسم می کنیم؟ فراتر از حد و انفعال ساده

مدل اعتبار و Domain Alignment

تجسم یک درخت به تمرین کنندگان اجازه می دهد تا تأیید کنند که تقسیمات آموخته شده مدل، دانش دامنه را درک می کند، به عنوان مثال، یک درخت اعتباری خطر که به " درآمد سالانه" تقسیم می شود قبل از " نسبت درآمد به درآمد پایین" ممکن است با قرض دادن شهود هماهنگ شود - اما یک درخت که تقسیم بر "طول نام" بلافاصله پرچم قرمز را افزایش می دهد و ویژگی دقیق را در هر R2 را انتخاب می دهد که نمی تواند جایگزین یک متریک روده یا چک کند.

تشخیص Overfit و Data اطفاء

درختان عمیق با بسیاری از گره های برگ اغلب سر و صدا را حفظ می کنند.یک بازرسی بصری می تواند به طور مشکوکی به طور خاص تقسیم بندی های خاص (به عنوان مثال، "اژ> 32.5 و سن ≤ 33.0") را نشان دهد که بیش از حد، یک درخت که شامل ویژگی مانند " شناسه مشتری" در یک داده سیگنال های به وضوح تقسیم شده است - یک مشکل به راحتی هنگامی که درخت به صورت گرافیکی طراحی شده است.

اعتماد ساختمان با مخاطبان غیر فنی

الزامات نظارتی (به عنوان مثال، حق GDPR برای توضیح) و تقاضای سهامداران کسب و کار، مدل را غیر قابل مذاکره می کند.یک نمودار درخت به خوبی مشخص شده می تواند به یک افسر وام یا یک پزشک نشان داده شود تا توضیح دهد که چرا پیش بینی خاصی ساخته شده است، اغلب به طور موثر تر از لیستی از مقادیر SHAP.

روش های بصری سازی درختان تصمیم گیری: از استاتیک گرفته تا تعاملی

کانال استاتیک Diagrams با Graphviz و Scikit-learn

رویکرد کلاسیک از از طریق عملکرد علمیkit-learn استفاده می کند.این یک نمودار در فرمت DOT ایجاد می کند که می تواند به عنوان یک PNG، PDF یا SVG ارائه شود. خروجی نشان می دهد هر گره با وضعیت تقسیم، کمبود جینی یا آنتروپی، شمارش نمونه و توزیع کلاس برای درختان کوچکتر، با این حال، 10 سطح موثر است که فراتر از نمودار غیر قابل تنظیم است.

استفاده از مثال:

from sklearn.tree import export_graphviz
import graphviz
dot_data = export_graphviz(clf, out_file=None,
 feature_names=X.columns,
 class_names=iris.target_names,
 filled=True, rounded=True,
 special_characters=True)
graph = graphviz.Source(dot_data)
graph.render("iris_tree")

[FLT: اسناد صادرات graphviz را یاد بگیرید گزینه های پارامتری کامل از جمله رنگ گره توسط کلاس را فراهم می کند.

افزایش تصاویر با dtreeviz

برای درختان غنی تر، آماده انتشار، کتابخانه dtreeviz (توسط Terence Parr) بهبود قابل توجهی در طرح پیش فرض علمیkit-learn ارائه می دهد، این امر نشان می دهد هیستوگرام های توزیع داده در هر گره تقسیم، مرزهای تصمیم گیری رنگی و تجزیه کلاس برگ، این به طور قابل ملاحظه ای با نشان دادن نه تنها قانون تصمیم، بلکه داده های حمایت از آن کمک می کند.

[FLT 1] شامل نمونه هایی برای درختان رگرسیون و طبقه بندی، با گزینه های زوم، صرفه جویی در عنوان SVG و سفارشی رنگ است.

درختان تعاملی با لوت و D3.js

برای اکتشاف، تجسم درختان تعاملی به کاربران اجازه می دهد تا شاخه های در حال فروپاشی / در معرض را از جزئیات و فیلتر توسط گره (FLT:3) یا نمودارها می توانند سلسله مراتب درخت را کد کنند، اگرچه آنها فاقد طرح دقیق از یک دنروگرام هستند. یک رویکرد تخصصی تر استفاده از کتابخانه های D3.js مانند [FLT0] بسته بندی درخت و یا نقشه برداری.

معرفی جایگزین: مسیر تصمیم گیری درخت به عنوان قوانین

گاهی اوقات یک نمودار کامل ایده آل نیست، به نمایندگی از مسیرهای تصمیم گیری به عنوان مجموعه ای از قوانین IF-T که می تواند قابل خواندن تر باشد، به ویژه برای درختان کم عمق. کتابخانه هایی مانند یک درخت متنی تولید می کند که به راحتی می تواند به اسناد و یا در محیط های بدون ارائه پشتیبانی از آن استفاده شود.

مزایای تجسم موثر در تمرین

بهبود قابلیت تفسیر برای تشخیص

یک نقشه بصری روشن از درخت به طور مستقیم نشان می دهد که کدام ویژگی ها بر تقسیم های اولیه تسلط دارند – از اهمیت آنها – و چگونه مرز تصمیم گیری تکامل می یابد.این به ویژه هنگامی مفید است که مقایسه جنگل های تصادفی یا زبان آموزان تقویت کننده گرادیان پایه: تجسم یک درخت واحد از یک گروه می تواند الگوهای نمایندگی را برجسته کند.

مدل Debugging و Bias Recognition

تجسم می تواند پیش فرض کنید که یک درخت در نزدیکی ریشه تقسیم می شود و داده های آموزشی در سراسر مناطق بسیار نامتعادل است. درخت حاصل ممکن است خطر بالایی را به کل محله ها اختصاص دهد، و این تفاوت جغرافیایی را مشاهده کند.

ارزش آموزشی برای همه سطوح

در تنظیمات علمی، تجسم درختان مفاهیم انتزاعی ریاضی را به تصاویر بتونی تبدیل می کند.دانش آموزان می توانند پیش بینی را از طریق درخت ردیابی کنند، مشاهده کنند که چگونه آنتروپی کاهش می یابد و با ابزارهای ویژگی مانند (FLT:0:R2D3 کدر درخت تصمیم گیری تعاملی (FLT:1) به کمک های آموزشی محبوب تبدیل شده است.

چالش های تجسم درختان بزرگ و چگونه به بیش از حد

محدودیت های اندازه و مقیاس پذیری

یک درخت با عمق 20 و چند هزار گره را نمی توان به عنوان یک تصویر قابل خواندن ارائه کرد.

استفاده از هزینه های پیچیده سازی ⁇ (ccp alpha) در Scikit-learn برای کاهش اندازه درخت قبل از تجسم، اغلب مهم ترین تقسیمات را حفظ می کند در حالی که از نظر بصری قابل استفاده است.
[[۱] [۱۰] [[۱۰]] [۱۰] [۱۰] [۱]] [۱]] [۳] [۱]] فقط یک زیردرخت از ریشه به عمق محدود (به عنوان مثال، ۴ سطح) را تجسم کنید و توجه کنید که مسیرهای عمیق تر وجود دارد.
دیدگاه های آگاگایر: [FLT 1] به جای طرح ریزی درخت کامل، از نمودار های نوار اهمیت یا توطئه های وابستگی جزئی برای انتقال رفتار مدل استفاده کنید.

اطلاعات Overload

حتی یک درخت با اندازه متوسط می تواند ده ها گره داشته باشد.گزینه هایی را انتخاب کنید که به دقت نشان دهند:

فقط معیارهای تقسیم شده و اکثریت طبقاتی را نشان دهید، شمارش نمونه و ارزش های خستگی.

گره های رنگی توسط طبقه پیش بینی شده برای دیدن سریع مناطق تصمیم گیری.

از اندازه گره متناسب با تعداد نمونه ها برای تأکید بر زیر جمعیت های مهم استفاده کنید.

بهترین روش ها برای تجسم رنگ تولید-Ready Tree

همیشه شامل نام های کاربری و برچسب های کلاسی است.[۱۰] شاخص های عددی خام غیرقابل خواندن هستند.

[در این باره] از [FLT-7] و یک نقشه رنگ متوالی برای انتقال توزیع کلاس در هر گره استفاده کنید.

[در این میان] در صادرات تجسم حتی اگر درخت عمیق تر باشد، عمق 3 تا 5 معمولا برای توضیح کافی است.

[[ویرایش] [۱] [۱۰] [۱] [۱۰] [[۱]] [[۳]] [[۳]] [۱] برای مقیاس پذیری در گزارش ها [[ویرایش]

Combine با توضیحات مدل- آگنوستیک مانند طرح های خلاصه SHAP برای تفسیر کامل، اما به یاد داشته باشید که ساختار درخت به طور ذاتی تفسیر شده است - جایگزین آن نکنید، آن را تقویت کنید.

مخاطبان را در نظر بگیرید.[۱۰] یک دانشمند داده ممکن است ارزش های کامل بی نظیر را درک کند؛ یک سهامدار کسب و کار ممکن است تنها به دو تقسیم برتر نیاز داشته باشد.

پیشرفته: تجسم مسیر تصمیم گیری - نه فقط درخت

برای توضیحات پیش بینی فردی، ردیابی مسیر تصمیم گیری از طریق یک درخت می تواند آموزنده تر از کل ساختار درخت باشد.یک مسیر یک لیست مختصر از تصمیمات گرفته شده (تثیل > آستانه) است که منجر به برگ می شود، این می تواند به عنوان یک جریان افقی یا یک لیست گلوله تجسم شود. کتابخانه هایی مانند (برای کیت-learn) پیش بینی ترکیب به کمک های بصری سازی قدرتمند می دهد.

مثال: تصمیم گیری برای مدل درخت

در حالی که مقادیر SHAP آگنوستیک هستند، برای مدل های درخت به طور مستقیم از ساختار درخت استفاده می کند. طرح تصمیم گیری یک نشان می دهد که چگونه ارزش پیش بینی شده (یا احتمال) انباشته می شود، زیرا ما درخت را حرکت می دهیم، با ویژگی های اضافه شده توسط یک، این طرح تجسم مسیر درخت است، نه درخت کامل، بلکه حفظ مزیت قابل تفسیر دقیق از تصمیم گیری است.

نتیجه گیری

تجسم ساختارهای درخت تصمیم یکی از موثرترین راه ها برای پل زدن شکاف بین پیچیدگی مدل و درک انسان است.از نمودارهای گرافی استاتیک برای درختان D3.js تعاملی، ابزارهای موجود امروز امکان ایجاد تصاویر را فراهم می کند که به چندین هدف خدمت می کنند: اشکال زدایی، اعتبار، آموزش و ارتباطات کلید این است که سطح صحیح جزئیات را برای مخاطبان انتخاب کنید و تکنیک های روشن سازی درخت را در هنگام استفاده از داده ها، نه تنها با استفاده از طریق معیارهای ضروری، بلکه با استفاده از داده های واضح و نه تنها در لیست اطمینان از آن، بلکه با استفاده می کند.