وتشكل عملية تجهيز البيانات المسبقة خطوة حاسمة في إعداد البيانات الأولية لمهام التعلم غير المشرف، ويمكن أن تؤدي البيانات المجهزة بطريقة سليمة إلى تحسين أداء الخوارزميات مثل التجميع وخفض البعد، وتناقش هذه المادة التقنيات والاعتبارات الرئيسية لتحويل البيانات الخام إلى أفكار ذات معنى.

Understanding Raw Data

وكثيرا ما تتضمن البيانات الخام أوجه عدم الاتساق، والقيم المفقودة، والضوضاء التي يمكن أن تعوق التحليل، وقد تأتي من مصادر مختلفة مثل السجلات أو أجهزة الاستشعار أو قواعد البيانات، وكل منها بأشكال مختلفة ونوعية، والاعتراف بهذه المسائل هو الخطوة الأولى نحو المعالجة المسبقة الفعالة.

تقنيات تنظيف البيانات

وتشمل بيانات التنظيف معالجة القيم المفقودة، وإزالة الازدواج، وتصحيح الأخطاء.

  • Imputation:] Filling missing values with mean, median, or mode.
  • Filtering:] Removing outliers or noise.
  • Normalization:] Scaling data to a standard range.
  • Encoding:] Converting categoricalتغييرات into numerical formats.

Feature Engineering

ومن الضروري تحويل البيانات الخام إلى سمات تمثل الأنماط الأساسية على نحو أفضل، وتشمل التقنيات إيجاد سمات جديدة، واختيار الخصائص ذات الصلة، والحد من البعد، وتساعد هذه الخطوات على تركيز الخوارزميات على أكثر الجوانب استنارة للبيانات.

تخفيض الديانة

ويمكن أن تكون البيانات الرفيعة المستوى تحدياً بالنسبة للخرغاريتمات غير الخاضعة للرقابة، وتُقلل التقنيات مثل تحليل المكونات الرئيسية، وتشهير الجيران المطاطي الموزع (t-SNE) من عدد الملامح مع الحفاظ على الهياكل الهامة، وهذا التحليل يبسط ويُفهم.