تنظیم Hyperparameter یک گام مهم در یادگیری نظارت است که شامل انتخاب بهترین پارامترهای برای مدل یادگیری ماشین است. تنظیم مناسب می تواند به طور قابل توجهی عملکرد مدل و دقت مدل را بهبود بخشد.این مقاله روش های رایج را بررسی می کند و نمونه هایی را برای درک بهتر روند فراهم می کند.

Hyperparameter Tuning چیست؟

Hyperparameters تنظیماتی هستند که فرآیند آموزش یک مدل یادگیری ماشینی را اداره می کنند، بر خلاف پارامترهای مدل آموخته شده در طول آموزش، hyperparameters قبل از شروع آموزش تنظیم می شوند. Tuning این پارامترها به بهینه سازی توانایی مدل برای تعمیم به داده های جدید کمک می کند.

روش های معمول Hyperparameter Tuning

  • ] جستجوی خشک: به طور سیستماتیک از طریق یک زیرمجموعه مشخص از هیپرپارمتر با آموزش و ارزیابی مدل برای هر ترکیب جستجو می کند.
  • جستجو Random: به طور تصادفی نمونه های hyperparameter ترکیب در محدوده های تعریف شده، اغلب پیدا کردن پارامترهای خوب سریعتر از جستجو شبکه.
  • بهینه سازی؛ از مدل های احتمالاتی برای انتخاب هیپرپارمتر امیدوار کننده بر اساس نتایج قبلی، با هدف پیدا کردن تنظیمات بهینه استفاده می کند.

نمونه های Hyperparameter Tuning

برای یک ماشین بردار پشتیبانی (SVM)، هیپرپارمتر مانند نوع هسته و پارامتر منظم سازی (C) می تواند تنظیم شود.در یک شبکه عصبی، میزان یادگیری، تعداد لایه ها و تعداد نورون ها بسیار زیاد از حد متر برای بهینه سازی هستند.

با استفاده از جستجوی شبکه، یک دانشمند داده ممکن است ترکیب های مختلف از انواع هسته و مقادیر C را برای شناسایی بهترین مدل اجرای تست کند.به طور متناوب، جستجوی تصادفی می تواند به سرعت طیف گسترده ای از پارامترهای با هزینه محاسباتی کمتر را بررسی کند.