فهم أنوما الكشف: الطرائق والمقاييس والأمثلة

والكشف عن الشذوذ هو تقنية حاسمة في مجال علوم البيانات والتعلم الآلاتي تركز على تحديد نقاط البيانات أو أنماطها أو الأحداث التي تنحرف بدرجة كبيرة عن السلوك المتوقع، ويشير الشذوذ إلى ملاحظة تنحرف بدرجة كبيرة عن السلوك المتوقع في نظام ما، وتبدو في كثير من الأحيان غير عادية أو غير متسقة أو غير متوقعة، وقد أصبح هذا النهج القوي ضروريا بصورة متزايدة عبر صناعات وتطبيقات عديدة، من حماية النظم المالية من الاحتيال لضمان موثوقية المعدات الصناعية وحماية الهياكل الأساسية للشبكة من الفضاء الإلكتروني.

ويعد الكشف عن الشذوذ أمرا حاسما بالنسبة لمختلف التطبيقات، بما في ذلك أمن الشبكات، وكشف الغش، والصيانة المتوقعة، والتشخيص الخاطئ، ورصد الرعاية الصناعية والصحية، وحيث أن المنظمات تولد وتجمع أحجاما متزايدة من البيانات، أصبحت القدرة على تحديد الأنماط غير العادية تلقائيا أمرا لا غنى عنه للحفاظ على الكفاءة التشغيلية، والأمن، ومراقبة الجودة، ففهم مختلف الأساليب، ومقاييس التقييم، والتطبيقات العملية للكشف عن الشذوذ، يمكِّن من اختيار أنسب نُهج في استخدامها.

ما هو كشف الأنومالي ولماذا يهم؟

والكشف عن الشذوذ، المعروف أيضا باسم الكشف عن هواة الاكتشاف، هو عملية تحديد الملاحظات أو الأنماط في البيانات التي لا تتفق مع السلوك المتوقع، وعلى الرغم من أن المخارج لا تشكل عادة سوى جزء صغير من مجموعة البيانات، فإنها غالبا ما تكون بالغة الأهمية لأنها تحمل معلومات هامة ويمكن أن تكشف عن أفكار هامة أثناء التحليل، ويمكن لهذه الشذوذ أن تشير إلى أحداث حرجة مثل فشل النظم، والخرقات الأمنية، والعيوب الصناعية، أو الأنشطة الاحتيالية التي تتطلب اهتماما فوريا.

وقد زادت أهمية الكشف عن الحالات الشاذة زيادة تعقيد وحجم البيانات في النظم الحديثة، وقد أدى التوسع السريع في البيانات المستمدة من مصادر متنوعة إلى زيادة الكشف عن الحالات الشاذة الضرورية لتحديد الملاحظات غير المتوقعة التي قد تشير إلى فشل النظم أو الإخلالات الأمنية أو الاحتيال، ولا يمكن لنهج الرصد اليدوية التقليدية أن تتوسع في معالجة مسارات البيانات الضخمة التي تنتج عن التطبيقات المعاصرة، مما يجعل نظم الكشف الآلي عن الشذوذ ضرورية للحفاظ على الوعي التشغيلي والاستجابة بسرعة للقضايا المحتملة.

أنواع الشذوذ

ويمكن تصنيف الشذوذ إلى أنواع مختلفة من الخصائص التي تميزها وكيفية ظهورها في البيانات، ومن الضروري فهم هذه الأنواع المختلفة لاختيار أساليب الكشف المناسبة:

• Point Anomalies:] Individual data points that deviate significantly from the rest of the dataset. These are the most common type of anomaly, such as an unusually large transaction in a credit card statement or a sudden spike in server response time.
• Contextual Anomalies:] Data points that are anomalous in a specific context but may be normal in other contexts. For example, a temperature of 30°C might be normal in summer but anomalous in winter.
• Collective Anomalies:] A collection of data points that together represent anomalous behavior, even though individual points may not be anomalous on their own. An example would be a series of small transactions that together indicate fraudulent activity.
• Sequence Anomalies:] Patterns in time series data where the sequence of events deviates from expected temporal patterns. These are particularly relevant in monitoring applications and process control systems.

ويمكن أن تتباين طبيعة الشذوذ نفسها تبعاً لشكل البيانات، وقد تتباين شذوذ النقاط، وشبهات التسلسل، والخارجات اختلافاً بين مختلف أنواع البيانات وهياكلها، وفهم هذه التميزات أمر أساسي لاختيار تقنيات الكشف الملائمة عن الشذوذ.

الطرائق والتقنيات المشتركة لكشف الشذوذ

ويشمل الكشف عن الشذوذ طائفة واسعة من المنهجيات، بدءا بالنهج الإحصائية التقليدية إلى أساليب التعلم العميق المتقدمة، ولكل طريقة مواطن القوة الخاصة بها، والقيود، وحالات الاستخدام المثالي، ويعتمد اختيار الطريقة على عوامل مثل خصائص البيانات، والموارد الحاسوبية، وتوافر البيانات المسمّاة، والمتطلبات المحددة للتطبيق.

الطرائق الإحصائية

وتمثل الأساليب الإحصائية بعض النهج الأوائل والمفسرة في الكشف عن الشذوذ، وتفترض هذه التقنيات أن البيانات العادية تتبع توزيعا إحصائيا خاصا، وأن الشذوذ هو نقاط بيانات ذات احتمال منخفض في ظل هذا التوزيع، وقد تم منذ وقت طويل تحديد أساليب الكشف التقليدية عن الشذوذ، مثل التقنيات الإحصائية، والمقاييس التجمّعية، وتحليل المكونات الرئيسية، كأدوات موثوقة عبر طائفة واسعة من التطبيقات بسبب تعقّبها المفرط، وتفسيرها، وتدنيها.

وتشمل الأساليب الإحصائية المشتركة ما يلي:

• Z-Score Method:] Identifies anomalies based on how standard deviations a data point is from the mean. Points beyond a certain threshold (typically 3 standard deviations) are flagged as anomalies.
• Gaussian Distribution Models:] Assume data follows a normal distribution and identify points with low probability density as anomalies.
• Statistical Process Control:] Uses control charts and statistical tests to monitor processes and detect when they deviate from expected behavior.
• Time Series Decomposition:] Separates time series data into trend, seasonal, and residual components, with anomalies detected in the residual component.

فالطرق الإحصائية تعمل جيدا عندما تكون توزيع البيانات مفهومة جيدا ومستقرة نسبيا، غير أنها قد تكافح مع البيانات العالية الأبعاد أو عندما يكون التوزيع الأساسي معقدا أو غير معروف.

الطرائق المميزة والقائمة على كثافة الكثافة

وتقيِّم التقنيات القائمة على التباعد انحراف الملاحظات الواردة من نقاط البيانات التمثيلية باستخدام القياسات عن بعد، بينما تركز أساليب التوزيع على تحديد الشذوذ من خلال نقاط ذات احتمال منخفض، وتعتمد هذه النُهج على أساس أن الشذوذات هي نقاط معزولة بعيدة عن جيرانها في الفضاء الخاص.

وتستند أساليب الكثافة إلى الكثافة المحلية لمراكز البيانات، وإذا كانت نقطة البيانات قد انخفضت كثافة محلية بدرجة كبيرة مقارنة بمنطقة الجيران، يمكن أن تُعرف بأنها حالة شاذة، فالخوارزمية المحلية للمصانع الخارجية هي طريقة شعبية قائمة على كثافة البيانات تقارن الكثافة المحلية للنقطة بكثافة الجيران لتحديد هوية المصانع.

وتشمل التقنيات الرئيسية القائمة على بعد والكثافة ما يلي:

• K-Nearest Neighbors (KNN):] Calculates the distance to the k-nearest neighbourss and flags points with unusually large distances as anomalies.
• Local Outlier Factor (LOF):] Measures the local deviation of density of a given sample with respect to its neighbourss, identifying regions of similar density and points that have significantly lower density than their neighbourss.
• DBSCAN: ] A clustering algorithm that can identify outliers as points that don't belong to any cluster.

ومع ذلك، ومع تزايد حجم النظم المستهدفة وتعقيدها، تواجه هذه الأساليب تحديات، لا سيما القيود التي تفرضها على معالجة البيانات المتعددة الأبعاد وانعدام الشذوذات المسمومة، مما دفع إلى وضع نهج أكثر تطورا في مجال التعلم الآلات.

النهج التعليمية الآلاتية

طرق تعلم الآلات أصبحت شائعة بشكل متزايد للكشف عن الشذوذ بسبب قدرتهم على تعلم الأنماط المعقدة من البيانات دون الحاجة إلى برمجة واضحة للقواعد

(أ) إن غابة عزل فعالة بشكل خاص للكشف عن الشذوذ، ويكشف التقييم أن إحدى الكلاسات SVM، والغابات العزلة، والتشويش الآلي أكثر فعالية في تحديد المعالم الخارجية، حيث أن الغاب المعزل يتجاوز قليلاً القيم الجذرية الأخرى من حيث الموازنة بين الاختناق والتذكر.

One-Clas SVM] learns a decision boundary around the normal data points in feature space. Any points falling outside this boundary are classified as anomalies. This method is particularly useful when you have only normal data for training and need to detect novel anomalies.

Ensemble Methods] combine multiple anomaly detection algorithms to improve overall performance and robustness. By aggregating the decisions of multiple detectors, ensemble methods can reduce false positives and improve detection accuracy across diverse anomaly types.

أساليب التعلم العميق

ومع تزايد تعقيد مجموعات البيانات وارتفاع مستوياتها، تكافح أساليب الكشف التقليدية من أجل الإمساك بفعالية بأنماط معقدة، وقد أدت التطورات في التعلم العميق إلى زيادة قوة وسائل الكشف عن الشذوذ والتكيف معها، وتحسين قدرتها على التعامل مع البيانات العالية الأبعاد وغير المنظمة، وقد أدت نُهج التعلم العميق إلى إحداث ثورة في الكشف عن الشذوذ من خلال التعلم التلقائي للتمثيل الهرمي للبيانات.

وتُعد نماذج التعلم العميق مثل مترجمي التحاليل، والشبكات العصبية، والأوراق الآلية، والشبكات الديموغرافية المتجانسة، ونماذج الشغب، مناسبة لتمثيل العلاقات المعقدة وغير الخطية بين مختلف أجهزة الاستشعار، وهي مفيدة في تحقيق الترابطات والمعاليات الزمنية بفعالية، وهذه البنى المتطورة تتيح الكشف عن الأورام التقليدية الضائعة.

الأساليب القائمة على أساس التلقائي

فالأشخاص الذين يُدربون على إعادة بناء بياناتهم، والفهم الرئيسي هو أن أجهزة التكوين الآلي التي تُدرَّب على البيانات العادية ستواجه خطأً كبيراً في إعادة البناء بالنسبة للبيانات الشاذة، وأن الأساليب القائمة على إعادة البناء تستخدم مجموعة بيانات عادية لتدريب نموذج يحاول دمج البيانات في حيز متأخر ثم إعادة بناء البيانات الأصلية من هذا التمثيل، ويُحسب فقدان التعمير بمقارنة الاختلافات بين البيانات المعاد بناؤها والبيانات الأصلية.

وتشمل التغيرات في أجهزة الترميز المستخدمة في الكشف عن الشذوذ ما يلي:

• Vanilla Autoencoders:] Basic encoder structure that learns to compress and reconstruct normal data.
• Variational Autoencoders (VAEs):] Probabilistic autoencoders that learn a distribution over the latent space, providing better generalization.
• LSTM Autoencoders:] Use Long Short-Term Memory networks to capture temporal dependencies in time series data, making them particularly effective for sequential anomaly detection.
• Convolutional Autoencoders:] Leverage convolutional layers to detect anomalies in image and spatial data.

شبكات التنوع الجيني

وتتألف الشبكة من شبكتين عصبيتين - مولد ومميز - يتنافسان على بعضهما البعض، ولكشف الحالات الشاذة، يمكن تدريب الشبكات العالمية لسواتل الملاحة على توليد أنماط بيانات عادية، ثم يتم تحديد الشذوذ كمراكز بيانات يمكن للمفرق أن يميز بسهولة عن البيانات الطبيعية المتولدة، أو أن المولد يكافح من أجل استنساخها بدقة.

النماذج المترجمة

وقد تم تكييف هياكل التحول، التي وضعت أصلا لتجهيز اللغات الطبيعية، لاكتشاف الشذوذ في السلسلة الزمنية والبيانات المتعددة الاختلاف، وتتيح لها آليات اهتمامها استخلاص المعالين البعيدة المدى والعلاقات المعقدة بين المتغيرات، مما يجعلها فعالة بوجه خاص في الكشف عن الشذوذات الخفية في البيانات العالية الأبعاد.

النهج الهجينة والتجمعية

وتصنف نماذج التعلم العميق للكشف عن الشذوذ على نطاق واسع في أربع فئات: الأساليب القائمة على التنبؤ، والقائمة على إعادة البناء، والقائمة على التمثيل، والهاجين، وتقسم كل فئة إلى فئات فرعية تستند إلى هياكل الشبكات العصبية العميقة المستخدمة، وتجمع النهج الهجينة بين تقنيات متعددة لتعزيز مواطن قوتها التكميلية.

ومن شأن نماذج التعلم العميق الهجينة أن تعزز إلى حد كبير دقة الكشف والقدرة على التكيف عبر البيئات الدينامية للشبكات، مثلا، أن الجمع بين الأساليب الإحصائية والتعلم الآلي يمكن أن يوفر كل من الترجمة الشفوية والدقة العالية للكشف، وبالمثل، فإن الجمع بين الأساليب التي تجمّع التنبؤات من نماذج متعددة يمكن أن يحسن من قوة النماذج ويقلل من الايجابات الكاذبة.

ويعتمد المحررون الإحصائيون على قياسات مثل متوسط الانحرافات، ومتوسطها قبل ساعة واحدة، ومتوسطات بسيطة ومتحركة، وانحرافات معيارية، وطرق أقل مربعات، ورسومات، ومجموعات من هذه القياسات، وبجمع هذه النُهج المتنوعة، يمكن للنظم الهجينة أن تتكيف مع مختلف أنواع الشذوذ وخصائص البيانات.

تعليم المظلات في كشف الشذوذ

ويؤثر اختيار النموذج التعليمي تأثيرا كبيرا على تصميم نظم الكشف عن الشذوذ وأدائها، وتتناسب النماذج المختلفة مع سيناريوهات مختلفة تستند إلى توافر البيانات المسمومة وطبيعة الشذوذ الذي يجري اكتشافه.

التعليم الإشرافي

ويستخدم أسلوب الإشراف طريقة متميزة لتعلم الحدود بين البيانات الشاذة والعادة التي تستند إلى جميع العلامات في مجموعة التدريب، ويمكن أن يحدد قيمة عتبة مناسبة تستخدم لتصنيف جميع المصابيح كغير مسموم إذا تجاوزت درجة الشذوذ التي تُخصص لتلك المصابيح العتيقة الحد الأدنى، والمشكلة في هذه الطريقة هي أنه لا ينطبق على العديد من تطبيقات العالم الحقيقي لأن الأورام غير معروفة في كثير من الأحيان.

وتعالج النُهج المشرفة الكشف عن الشذوذ كمشكلة تصنيفية، مما يتطلب أمثلة مسمّاة على البيانات العادية والبيانات الشاذة، وفي حين أن ذلك يمكن أن يحقق درجة عالية من الدقة عندما تتوافر بيانات كافية تحمل علامات، فإن الحصول على بيانات عن الشذوذ غالبا ما يكون باهظ التكلفة أو مستهلكا للوقت أو غير عملي، وبالإضافة إلى ذلك، قد تكافح النماذج الخاضعة للمراقبة لكشف أنواع جديدة من الشذوذ غير الممثلة في بيانات التدريب.

التعلم غير المشرف

لا يستخدم النهج غير المشرف أي علامات ولا يميز بين مجموعات بيانات التدريب والاختبار هذه التقنيات أكثر مرونة لأنها تعتمد حصرا على السمات الجوهرية للبيانات، والأساليب غير الموصوفة هي أكثر النهج شيوعا للكشف عن الشذوذ لأنها لا تحتاج إلى بيانات مسمومة ويمكنها اكتشاف أنواع غير معروفة من الشذوذ.

فالطرق غير المشرفة تعمل من خلال تعلم هيكل البيانات العادية وتحديد النقاط التي لا تناسب هذا الهيكل المتعلم، مما يجعلها ذات قيمة خاصة في السيناريوهات التي تكون فيها الشذوذات نادرة أو متنوعة أو آخذة في التطور بمرور الوقت، غير أن الأساليب غير الموصوفة قد تنتج إيجابيات زائفة أكثر من النهج التي يشرف عليها وتتطلب دراسة دقيقة لعتبات الحساسية.

التعلم شبه المشرف

ويمثل التعلم شبه المشرف أرضية متوسطة بين النهج الخاضعة للمراقبة والنُهج غير المشرف عليها، وعادة ما يتم تدريب هذه الأساليب على البيانات العادية فقط، والتعلم من أجل التعرف على السلوك الطبيعي الذي يبدو، وأثناء الاختبار، فإن أي بيانات تنحرف كثيرا عن هذا السلوك الطبيعي المتعلم تُعتبر غير عادية.

وهذا النهج عملي بصفة خاصة لأن الحصول على أمثلة على السلوك الطبيعي يكون عادة أسهل بكثير من جمع أمثلة شاملة لجميع الحالات الشاذة المحتملة، ويستخدم نظام الرصد والتحقق الذاتيان في سيناريوهات الكشف شبه المشرف عليها.

التعلم الذاتي

فالتعليم الذي يشرف على الذات يخلق علامات على البيانات نفسها، مما يتيح للنموذج تعلم التمثيلات المفيدة دون وضع علامات يدوية، وقد تنطوي أساليب الكشف عن الشذوذ على التنبؤ بالقيم المستقبلية في سلسلة زمنية، وإعادة بناء أجزاء مخفية من البيانات، أو التعلم للتمييز بين مختلف التحولات في نفس البيانات.

وقد اكتسبت هذه النهج شعبية لأنها يمكن أن تحشد كميات كبيرة من البيانات غير الموثقة لتعلم التمثيلات القوية المفيدة لكشف حالات الشذوذ، وقد أظهر التدريب السابق الذي يشرف عليه ذاتيا، والذي يليه تعديل على مهمة محددة للكشف عن الشذوذ، نتائج واعدة عبر مختلف المجالات.

تقييم مقاييس الكشف عن الأمراض الشاذة

ويطرح تقييم نظم الكشف عن الشذوذ تحديات فريدة مقارنة بمهام التصنيف الموحدة، فتقدير أداء نماذج الكشف عن الشذوذ ليس أمراً مستقيماً بقدر ما هو واضح من المشاكل التعليمية الأخرى الخاضعة للإشراف، حيث يمكن ببساطة مقارنة العلامات المتوقعة بالعلامات الحقيقية، والطبيعة غير المتوازنة للغاية لمشاكل الكشف عن الشذوذ، حيث تكون الشذوذ نادرة مقارنة بالحالات العادية التي تتطلب اختياراً دقيقاً للمقاييس المناسبة.

الدقة، والصيد، والإطار التمويلي 1

ويقيَّم أداء الكشف عن الشذوذ عادة باستخدام قياسات مثل الدقة، والتذكر، وسجلات F1، وتدابير دون المستوى الدقيق، ويقيِّم الدقة نسبة الشذوذات التي تم تحديدها بشكل صحيح من جميع الحالات المكتشفة، ويساعد على قياس كمية الإيجابات الكاذبة، ويحسب الجزء من الشذوذ الحقيقي الذي تم اكتشافه بنجاح، ويبرز الحالات التي فات فيها، ويقيم الف-1 التوازن بين هذين الاثنين وبينهما بأخذهما بمثلهما.

ويقيّم الدقة الجزء من الشذوذ المكتشف الذي يُعتبر في الواقع شذوذ حقيقي، بينما يُذكر أن هذا النموذج يُقيس جزء من الشذوذ الحقيقي الذي يكتشفه النموذج، ويعني الدقة العالية أن النموذج لا يولد الكثير من الإيجابات الكاذبة، في حين أن التذكير الكبير يعني أن النموذج لا يفوت الكثير من الشذوذات الحقيقية.

وتشمل العلاقة بين الدقة والتذكر عمليات تبادل هامة:

• High Precision, Lower Recall:] The system is conservative, flagging only the most obvious anomalies. This minimizes false alarms but may miss subtle anomalies.
• High Recall, Lower Precision:] The system is sensitive, catching most anomalies but potentially generating many false positives.
• Balanced F1-Score:] Provides a single metric that considers both precision and recall, useful for comparing different models.

فالدقة والتذكر كثيرا ما تكون مقايضة، مما يعني أن تحسين المرء قد يقلل الآخر، ولذلك قد ترغب في استخدام متر واحد يجمع بين الاثنين، مثل F1-score، وهو النسق التناسقي للدقة والتذكر.

ROC-AUC and PR-AUC

وترسم شركة ROC-AUC أسعاراً إيجابية حقيقية مقابل المعدل الإيجابي الكاذب عبر عتبات التصنيف، مما يوفر نظرة إجمالية للأداء، وتركز شركة PR-AUC على الدقة والتذكر بعمليات التبادل، مما يجعلها أكثر استنارة بالنسبة لمجموعات البيانات التي تتسم بدرجة عالية من الاختلال والتي تكون فيها الشذوذ نادرة.

ويؤكّد منحنى " ريسلفر " العامل المميز المعدل الإيجابي الحقيقي مقابل المعدل الإيجابي الكاذب في مختلف الظروف العتبة، حيث توفر المنطقة الواقعة تحت ممر العمليات الإقليمية رقماً واحداً يلخص الأداء على جميع العتبات، غير أن لجنة التنسيق بين الموظفين والإدارة يمكن أن تضلل البيانات التي تتسم بدرجة عالية من الاختلال لأنها تعطي وزناً متساوياً للإيجابات الكاذبة والسلبيات الكاذبة.

وكثيرا ما يكون منحنى الدقة والفحص وما يقابله من منطقة تحت المناورة أكثر استنارة للكشف عن الشذوذ، ويصبح منحنى الدقة والتطبيق أكثر ملاءمة لمشاكل الكشف عن الشذوذ مع وجود شذوذ نادر أو بيانات غير متوازنة، حيث يركزان أكثر على الطبقة الإيجابية (الزيادات) من الدرجة السلبية (الحالات العادية).

سلسلة الزمن - مقاييس سريعة

ويمكن أن تكون القياسات القياسية التي توضع للتصنيف القائم على النقاط غير كافية للكشف عن الشذوذ في السلسلة الزمنية، أما المقاييس التي تُدرك الدقة والتذكر فهي مناسبة لتقييم أساليب الكشف عن الشذوذ في بيانات السلسلة الزمنية، ففي البيانات المتعلقة بسلاسل زمنية، فإن الشذوذ يتطابق مع سلسلة من الحالات، غير أن القياسات التقليدية تغفل هذه السمة، وبالتالي فإنها تعاني من مشكلة إعطاء درجة عالية من الظواهر الوراثية للطريقة التي لا تكشف إلا.

إن الدقة والتذكر القائمين على القياسات التي تم تصميمها لتقييم الخوارزميات الكشفية الشاذة، تؤدي وظيفة سيئة في تقدير نوعية النتائج بالنسبة للسلسلة الزمنية الشاذة، وهي في الواقع مشكلة هامة جدا في مجال الكشف عن الشذوذ في السلسلة الزمنية، ولم تعالج في الأدبيات، إلا في سياق محدد جدا.

(ب) التقييم الشاذ للسلسلة الزمنية التقريبية (PATE) هو قياس تقييم جديد يتضمن العلاقة الزمنية بين فترات التنبؤ والتداخلات الشاذة، ويستخدم الترجيح القائم على القرب في المناطق العازلة حول فترات الشذوذ، مما يتيح إجراء تقييم أكثر تفصيلاً ووعياً للكشف، وباستخدام هذه الأوزان، يحسب البرنامج نسخة مرجحة من المنطقة المشمولة بالخط الضيق والريبة.

مقاييس ذات طابع رئيسي

كما أن القياسات الخاصة بالطوارئ ذات أهمية حاسمة، فالمعدلات الإيجابية للطلابية حاسمة في تطبيقات مثل التشخيص الطبي، حيث يُعلم المرضى الصحيين بصورة غير صحيحة كموارد نفايات للهالات، ويُحدد الوقت اللازم لتحديد مدى سرعة تحديد الشذوذ في بيانات السلسلة الزمنية، مثل رصد الخواديم.

وتعطي مختلف التطبيقات الأولوية لمختلف جوانب الأداء:

• Fraud Detection:] High recall is critical to catch fraudulent transactions, even at the cost of some false positives that can be manually reviewed.
• Manufacturing Quality Control:] Precision becomes critical where false alarms could unnecessarily halt production.
• Network Security:] Balance between detecting threats (recall) and avoid alert fatigue from false positives (precision).
• Predictive maintenance:] Early detection (lead time) and detection delay are important metrics alongside standard accuracy measures.

Accuracy Paradox

تخيلي محاولة اكتشاف ورم دماغي نادر جداً في المرضى الذي يحدث فقط لواحد من كل مائة ألف دولار، وبخسارة، يمكنك التنبؤ بـ"لا ورم دماغي" لكل شخص وكونه 99.9 في المائة دقيقاً من الوقت، لكن نموذجك لن يكون مفيداً، نظراً إلى أن البيانات غير متوازنة، فإن تقييم الأداء استناداً إلى الدقة فقط ليس كافياً، وهذا معروف بـ"المفارقة الدقيقة" واختيار نماذج أكثر ذكاءاً لتقييم القياسات المقاييسك.

وهذا المفارقة تبرز السبب في عدم كفاية الدقة في تقييم نظم الكشف عن الشذوذ، وهذا هو السبب في أن القياسات التي تركز تحديدا على فئة الأقليات (الأورام) هي أساسية.

التطبيقات العالمية الحقيقية لكشف الشذوذ

وقد وجد الكشف عن الشذوذ تطبيقات في جميع الصناعات تقريبا، مما يوفر قيمة من خلال تحديد أنماط غير عادية تشير إلى المشاكل أو الفرص أو التهديدات، ويتيح تكييف أساليب الكشف عن الشذوذ مع مختلف المجالات ذات الخصائص والمتطلبات المختلفة للبيانات.

الخدمات المالية وكشف الاحتيال

وكان القطاع المالي من أوائل معتمدي تكنولوجيا الكشف عن الشذوذ، حيث قامت نظم الكشف عن الغش في بطاقات الائتمان بتحليل أنماط المعاملات لتحديد الأنشطة المشبوهة في الوقت الحقيقي، وفي الكشف عن الاحتيال، تكفل التذكرة العالية ضبط معظم المعاملات الاحتيالية، حتى لو كانت بعض المعاملات المشروعة مخطوءة.

وترصد نظم الكشف عن الشذوذ المالي مؤشرات مختلفة منها:

• مبالغ المعاملات غير العادية أو الترددات
• المعاملات من المواقع الجغرافية غير المتوقعة
• أنماط الإنفاق المثالية مقارنة بالسلوك التاريخي
• التسلسلات المشبوهة للمعاملات التي قد تبين مراعاة
• التلاعب بالسوق والأنماط التجارية الداخلية

وتستخدم نظم الكشف عن الاحتيال الحديثة أساليب تجمع بين الخوارزميات المتعددة لتحقيق معدلات الكشف العالية مع التقليل إلى أدنى حد من الإيجابية الكاذبة التي يمكن أن تزعج الزبائن الشرعيين.

أمن الفضاء الإلكتروني وكشف الشبكة

وتتسم الأساليب التي تستند إلى الشذوذ بأهمية خاصة في الكشف عن الهجمات التي تُشن في الخفاء والهجمات التي لا تُرتكب في يوم واحد والتي تتجنب الدفاعات التقليدية، وتستخدم نظم كشف الاقتحام الشبكي كشفاً شاذاً لتحديد الأنشطة الخبيثة، ومحاولات الدخول غير المأذون بها، والخروقات الأمنية في شبكات الحواسيب.

وتستفيد النماذج المتقدمة من قدرات التعلم العميق لتحديد وتعلم الأنماط الخفية في البيانات، مما يتيح التحديد الدقيق للسلوكات الشاذة والإنذار المبكر بها في مختلف الميادين مثل رصد المعاملات المالية، وكشف التهديدات الأمنية السيبرانية، والتنبؤ بصيانة المعدات الصناعية، ورصد الرعاية الصحية.

وتشمل التطبيقات الأمنية للكشف عن الشذوذ ما يلي:

• Network Traffic Analysis:] Detecting unusual patterns in network traffic that might indicate distributed denial-of-service (DDoS) attacks, data exfiltration, or command-and-control communications.
• User Behavior Analytics:] Identifying compromised accounts by detecting deviations from normal user behavior patterns.
• Malware Detection:] recognizing malicious software based on behavioral patterns rather than known signatures.
• Insider Threat Detection:] Identifying employees or contractors engaging in unauthorized or suspicious activities.

وتدمج الأطر المشتركة نماذج التعلم المتعددة (XGBoost, Random Forest, GNN, LSTM, and Autoencoder) لتحسين أداء الكشف وضمان القدرة على التكيف في مختلف الظروف التشغيلية، ويساعد هذا النهج المتعدد المستويات على التصدي للتحدي المتمثل في كشف أنماط الهجوم المعروفة والمستغلات الجديدة التي لا تدوم يوما واحدا.

الصناعة التحويلية ومراقبة الجودة

وقال ما يقرب من 85 في المائة من الشركات التي استُعرضت للاقتراع أنها تبحث في تكنولوجيات كشف الشذوذ بالنسبة لتشوه صورها الصناعية، وتولد بيئات التصنيع كميات كبيرة من بيانات الاستشعار من معدات الإنتاج، مما يجعلها مرشحة مثالية للكشف الآلي عن الشذوذ.

ويصبح الدقة أمراً حاسماً في سيناريوهات مثل مراقبة الجودة في مجال التصنيع، حيث يمكن أن توقف الإنذارات الكاذبة الإنتاج دون داع.

• Defect Detection:] Identifying manufacturing defects in products using visual inspection systems powered by computer vision vision and deep learning.
• الصيانة الموصى بها: ] Detecting early signs of equipment degradation or failure by monitoring vibration, temperature, pressure, and other sensor readings.
• Process Monitoring:] Ensuring manufacturing processes remain within acceptable parameters and detecting deviations that could affect product quality.
• Supply Chain Anomalies:] Identifying disruptions, delays, or irregularities in supply chain operations.

وقد أثبتت نُهج التعلم العميق فعاليتها بوجه خاص في التفتيش على الجودة البصرية، إذ أن أساليب الكشف عن الشذوذ القائمة على أساس التعلم العميق تغطي خمسة نماذج للتعلم: وهي مشرفة تماما، وشبه مشرفة، ومشرفة على نحو ضعيف، ومشرفة على نفسها، وغير مشرفة على التعلم، ويمكن لهذه النظم أن تكشف عن عيوب خفية قد يفتقدها مفتشون بشريون يعملون بسرعة إنتاجية.

الرعاية الصحية والتشخيص الطبي

:: تطبيقات الرعاية الصحية للكشف عن الشذوذ من رصد المرضى إلى تشخيص الأمراض وكشفها، وتساعد نظم الكشف عن الشذوذ الطبي على تحديد ما يلي:

• Patient Monitoring:] Detecting abnormal vital signs or physiological measurements that might indicate deteriorating patient conditions in intensive care units.
• Medical Imaging:] Identifying anomalous patterns in X-rays, MRIs, CT scans, and other medical images that could indicate tumors, lesions, or other pathologies.
• Disease Outbreak Detection:] Monitoring epidemiological data to identify unusual patterns that might indicate emerging disease outbreaks.
• ] Clinical Trial Monitoring:] Detecting adverse events or expected responses in clinical trial participants.
• Healthcare Fraud:] Identifying fraudulent insurance claims or billing irregularities.

فالأثار العالية في الرعاية الصحية تجعل من الإيجابيات الكاذبة والسلبية الكاذبة باهظة التكلفة، وقد تؤدي إيجابيات الفاخرة إلى إجراءات غير ضرورية وإلى قلق المرضى، في حين أن السلبيات الكاذبة يمكن أن تؤدي إلى تشخيصات قد تكون لها عواقب تهدد الحياة، وهذا يتطلب معايرة دقيقة لعتبات الكشف، وكثيرا ما يشرك الخبراء في حلقة صنع القرار.

عمليات تكنولوجيا المعلومات

وتؤدي نظم التطبيب عن بعد دورا أساسيا في معظم الصناعات والاقتصاد العالمي حيث يتم نشرها لجمع وتحليل البيانات من نظم الإنتاج والخدمات في الوقت الحقيقي من أجل إنشاء وتشغيل مربح وميسورة التكلفة، مثلا، يمكن تطبيق نظم القياس عن بعد على مزارع الخواديم التي تستضيف العديد من البرمجيات الحالية والمقبلة لتكنولوجيا المعلومات والاتصالات من أجل تقديم خدمات العملاء إلى مختلف القطاعات الصناعية العمودية.

ومن الضروري أن يتخذ المشغلون إجراءات عند حدوث حالات الشذوذ كشفاً فورياً ودقيقاً، وتشمل تطبيقات عمليات تكنولوجيا المعلومات ما يلي:

• Server and Infrastructure Monitoring:] Detecting performance degradation, resource ple, or system failures in data centers and cloud infrastructure.
• Application Performance Monitoring:] Identifying anomalies in application behavior, response times, error rates, and user experience metrics.
• Log Analysis:] Automatically detecting unusual patterns in system logs that might indicate errors, security issues, or operational problems.
• Capacity Planning:] Identifying unusual growth patterns or resource consumption that might require infrastructure scaling.

وتظهر الأساليب المقترحة أداء مماثلا للكشف من حيث الدقة، والكشف، والسجلات المالية، ومقاييس مركز التنسيق الإداري لتطورات النهج، وفي الوقت نفسه، فإن الخوارزميات المقترحة لها أصغر تأخير في الكشف، وهو ميزة محددة للتطبيقات العملية، ودرجة عدم كفاية الكشف في عمليات تكنولوجيا المعلومات حيث يمكن أن تمنع الاستجابة السريعة حدوث انقطاع في الخدمات.

شبكة إنترنت للأشياء (IoT) والنظم الذكية

وقد خلق انتشار أجهزة الإيوت فرصاً وتحديات جديدة للكشف عن الشذوذ، إذ أن المدن الذكية والمركبات المرتبطة بها والآوت الصناعية والأجهزة الاستهلاكية للوقود المتفجرة تولد جميعها تدفقات مستمرة من بيانات الاستشعار التي تتطلب رصداً للأورام.

تشمل تطبيقات الكشف عن الشذوذ في مادة إيوت:

• Smart Home Security:] Detecting unusual patterns in intelligence home tool behavior that might indicate security breaches or malfunctions.
• Environmental Monitoring:] Identifying anomalous readings from environmental sensors monitoring air quality, water quality, or weather conditions.
• Smart Grid Management:] Detecting anomalies in power consumption patterns, grid stability, or equipment performance.
• Connected Vehicle Diagnostics:] Monitoring vehicle sensor data to detect potentialميكانيكيal issues or unsafe driving conditions.

وتشكل بيئات اليوتر تحديات فريدة من نوعها، بما في ذلك القيود المفروضة على الموارد على أجهزة الحواف، والربط المتقطع، والحاجة إلى المعالجة في الوقت الحقيقي، وتتزايد أهمية خوارزميات الكشف عن الأورام الخفيفة التي تُستخدم في حساب الحوافات في هذه السيناريوهات.

الطاقة والمرافق

وتساعد تطبيقات قطاع الطاقة للكشف عن الشذوذ على تحقيق أقصى قدر من العمليات، ومنع الفشل، والكشف عن السرقة أو الغش:

• Power Plant Monitoring:] Detecting anomalies in turbine performance, birth output, or cooling systems that might indicate impending failures.
• Pipeline Monitoring:] Identifying leaks, pressure anomalies, or flow irregularities in oil and gas pipelines.
• Energy Theft Detection:] Detecting unusual consumption patterns that might indicate meter tampering or electricity theft.
• Renewable Energy Forecasting:] Identifying anomalies in solar panel or wind turbine performance that might indicate maintenance needs.

التحديات والنظر في كشف الشذوذ

وفي حين ثبت أن الكشف عن الشذوذ قيّم في العديد من المجالات، فإن تنفيذ نظم فعالة ينطوي على تضييق عدة تحديات كبيرة، فهم هذه التحديات أمر أساسي لتصميم حلول قوية وعملية للكشف عن الشذوذ.

نوعية البيانات ومدى توافرها

وتتوقف فعالية أي نظام للكشف عن الشذوذ اعتمادا كبيرا على نوعية وكمية البيانات المتاحة، وتشمل التحديات المشتركة المتصلة بالبيانات ما يلي:

• Insufficient Training Data:] Many anomaly detection scenarios lack sufficient historical data, particularly for rare anomaly types.
• Label Scarcity:] Obtaining labeled examples of anomalies is often expensive or impractical, limiting the use of supervised approaches.
• Data Imbalance:] The extreme rarity of anomalies compared to normal instances creates severe class imbalance that can bias models.
• Noisy Data:] Sensor errors, measurement noise, and data quality issues can make it difficult to distinguish true anomalies from data artifacts.
• Evolving Data Distributions:] Normal behavior patterns often change over time, requiring models to adapt to concept overarching.

البيانات الديموغرافية العالية

ومع تزايد حجم النظم المستهدفة وتعقيدها، تواجه الأساليب تحديات، لا سيما القيود التي تفرضها على معالجة البيانات المتعددة الأبعاد وانعدام الشذوذ المسموم، وتطرح البيانات الرفيعة المستوى عدة تحديات محددة:

• إن لعنة البعد تجعل الأساليب القائمة على البعد أقل فعالية مع ازدياد الأبعاد.
• ويزداد التعقيد الحاسوبي بعدد الملامح، مما يجعل الكشف عن الوقت الحقيقي أكثر صعوبة.
• وأصبح تصور وتفسير الشذوذ أكثر صعوبة في الأماكن المرتفعة الأبعاد.
• The risk of overfitting increases with dimensionality, particularly when training data is limited.

ويمكن أن تساعد تقنيات الحد من الأخلاق وأساليب اختيار الملامح في التصدي لهذه التحديات، ولكن يجب تطبيقها بعناية لتجنب فقدان المعلومات ذات الصلة بالكشف عن الشذوذ.

الإعالة والسياق

ويكمن التحدي الذي يواجهه الكشف عن الظواهر الشاذة في السلسلة الزمنية المتعددة في ضرورة النظر في كل من التغيرات الدينامية على طول البعد الزمني والترابط بين الملاحظات في وقت واحد، وتتطلب بيانات سلسلة الزمن نماذج يمكن أن تلتقط:

• الأنماط المؤقتة والعاليات عبر مختلف الجداول الزمنية
• التغيرات الموسمية والسلوك الدوري
• التغيرات في الاتجاهات والتطور الطويل الأجل
• العلاقات بين متغيرات السلسلة الزمنية المتعددة
• الشذوذ الذي يعتمد على السياقات الطبيعية في بعض الحالات ولكن غير متماثلة في حالات أخرى

الترجمة الشفوية والتفسير

ويعمل العديد من أساليب الكشف المتطورة عن الشذوذ، ولا سيما نهج التعلم العميق، كصناديق سوداء، مما يجعل من الصعب فهم سبب اعتبار حالة معينة غير عادية، وهذا الافتقار إلى الترجمة الشفوية يمكن أن يكون إشكالياً بطرق عدة:

• قد لا يثق المشغلون أو يتصرفون في حالة تنبيه لا يفهمون
• ويصبح النقاش وتحسين النظام أكثر صعوبة دون النظر في عملية اتخاذ القرار.
• وتوضح المتطلبات التنظيمية في بعض المجالات القرارات التي يمكن تفسيرها.
• ويتطلب تحليل الأسباب الجذرية فهماً للملامح أو الأنماط التي أدت إلى الكشف عن الشذوذ.

ويمكن أن تساعد تقنيات المحاسبة المقبولة في تفسيرها، مثل برامجيات SHAP (SHapley Additive exPlanations) وآليات الاهتمام، على تقديم أفكار عن القرارات النموذجية، ولكنها تضيف تعقيداً وحساباً عاماً.

متطلبات تجهيز الوقت الحقيقي

ويتطلب العديد من التطبيقات الكشف عن الشذوذ للعمل في الوقت الحقيقي أو في الوقت القريب، وتجهيز مسارات البيانات المستمرة التي تكون فيها أدنى درجة من التساهل، مما يخلق تحديات تشمل ما يلي:

• قيود الكفاءة الحاسوبية التي تحد من تعقيد النموذج
• القيود الافتراضية على تخزين البيانات التاريخية والبارامترات النموذجية
• الحاجة إلى التعلم التدريجي للتكيف مع الأنماط الجديدة دون إعادة التدريب من الصفر
• موازنة سرعة الكشف بدقة

False Positives and Alert Fatigue

ومن أهم التحديات العملية في الكشف عن الحالات الشاذة إدارة حالات إيجابية كاذبة، وقد يؤدي الكثير من الإنذارات الكاذبة إلى الإزعاج، حيث يبدأ المشغلون في تجاهل الإنذارات، وربما تكون حالات الشذوذ الحقيقية المفقودة، وتشمل استراتيجيات إدارة الإيجابيات الكاذبة ما يلي:

• تأقلم بعتبة دقيقة بناء على طلب محدد تسامح للإيجابات الكاذبة ضد سلبيات كاذبة
• :: تجميع الأساليب التي تتطلب من أجهزة كشف متعددة الاتفاق عليها قبل إثارة الإنذار
• التصفيف المستمر الذي يوقف الإنذارات أثناء نوافذ الصيانة المعروفة أو يتوقع ظروفا غير عادية
• نظم تحديد الأولويات التي تنبه إلى درجة الشدة أو الثقة
• حلقات التغذية التي تسمح للمشغلين بعلامات إيجابية زائفة، مما يمكّن النظام من التعلم والتحسين

الهجمات العدائية

وفي التطبيقات الأمنية - الحرجة، قد يحاول الخصوم التهرب من نظم الكشف عن الشذوذ عن طريق الصنع الدقيق لهجماتهم لكي تبدو طبيعية، وتتطلب هذه اللعبة الاختراقية وأجهزة الكشف عن الشذوذ أن تكون قوية ضد التلاعب بالخصوم، وهو مجال نشط من مجالات البحث.

أفضل الممارسات لتنفيذ نظم كشف الشذوذ

ويتطلب النجاح في تنفيذ الكشف عن الشذوذ في بيئات الإنتاج اهتماما دقيقا للاعتبارات التقنية والتشغيلية على السواء، ويمكن أن تساعد أفضل الممارسات التالية على ضمان وجود نظم فعالة وقابلة للاستمرار للكشف عن الشذوذ.

بدء مع أهداف واضحة

وقبل اختيار الأساليب أو نماذج البناء، تحدد بوضوح ما يشكل حالة شاذة في سياقكم المحدد وما هي الإجراءات التي ينبغي اتخاذها عند اكتشاف حالات الشذوذ.

• ما هي أنواع الشذوذ الأكثر أهمية للكشف؟
• ما هو المبادلات المقبولة بين الايجابيات الكاذبة والسلبيات الكاذبة؟
• كم يجب أن يتم اكتشاف الشذوذ بسرعة؟
• ما هي الموارد المتاحة للتحقيق في حالات الإنذار؟
• ما هي عواقب الاكتشافات الضائعة مقابل الإنذارات الكاذبة؟

إكتشف بياناتك

ويعد استكشاف وفهم البيانات على نحو مفرط أمرا أساسيا قبل تنفيذ الكشف عن الشذوذ، ويشمل ذلك ما يلي:

• تحليل توزيع البيانات وتحديد الأنماط في السلوك الطبيعي
• فهم الأنماط الزمنية والوسمية والاتجاهات
• تحديد ومعالجة البيانات المفقودة، والمخارج، وقضايا جودة البيانات
• الاعتراف بالعلاقة بين المتغيرات وأوجه الاعتماد بينها
• توثيق الشذوذ المعروف وخصائصه

طرق الاختيار المناسبة

ويجب النظر في عدة جوانب لاختيار وتنفيذ تقنية مناسبة للكشف عن الشذوذ، مثل خصائص تدفق البيانات الحسية، ونوع الشذوذ، ومدى توافر البيانات التدريبية، وينبغي أن يكون اختيار الطريقة مدفوعا بما يلي:

• خصائص البيانات (التنوع والهيكل الزمني ونوع البيانات)
• توافر البيانات المسمّاة
• الموارد الحاسوبية والاحتياجات من الرعاية
• متطلبات الترجمة الشفوية
• طبيعة الشذوذ التي تحتاجها للكشف

وغالبا ما يكون البدء بأساليب أبسط وتعقيد متزايد تدريجيا حسب الحاجة أكثر فعالية من النشر الفوري لأشكال التعلم العميق المتطورة.

تنفيذ التقييم الآلي

والتقييم الشامل أمر حاسم لفهم أداء النظام وتحديد المجالات التي يتعين تحسينها:

• استخدام مقاييس تكميلية متعددة بدلا من الاعتماد على تدبير واحد
• تقييم الأداء في بيانات الاختبار الواقعية التي تشمل أنواعا مختلفة من الشذوذ
• النظر في القياسات الخاصة بسلسلة زمنية عند العمل مع البيانات الزمنية
• تحقيق التوارث لضمان تعميم النماذج بشكل جيد
• مواصلة رصد الأداء في مجال الإنتاج وتتبع الاتجاهات المترية مع مرور الوقت

البناء في مجال التكيف

أنماط السلوك العادية تتطور بمرور الوقت، لذا يجب أن تتكيف نظم الكشف عن الشذوذ:

• تنفيذ آليات لإعادة التدريب الدوري على النماذج مع البيانات الحديثة
• استخدام نُهج التعلم على الإنترنت التي يمكن أن تستكمل النماذج تدريجياً
• رصد الانجراف المفاهيمي وإعادة التدريب عند اكتشافه
• الحفاظ على مراقبة النسخ للنماذج وتتبع الأداء عبر النسخ
• نظم التصميم للتعامل مع نوبات التوزيع بشكل مجيد

إدماج التغذية البشرية

ولا تزال الخبرة البشرية قيمة في نظم الكشف عن الشذوذ:

• توفير آليات للمشغلين لوصف إيجابيات زائفة وسلبيات كاذبة
• استخدام التغذية المرتدة لتحسين الأداء النموذجي باستمرار
• تنفيذ نُهج التعلم النشطة التي تطلب وضع علامات لأهم الأمثلة على المعلومات
• الكشف الآلي عن الألغام في شكل حكم إنساني للقرارات الحاسمة
• توثيق وتقاسم المعارف المتعلقة بالمجالات بشأن الأنماط الشاذة

ضمان التأثير التشغيلي

ويجب أن تكون نظم الكشف عن الشذوذ في الإنتاج موثوقة وقابلة للاستمرار:

• تنفيذ عملية شاملة لقطع الأشجار ورصد نظام الكشف نفسه
• التصميم على التسامح مع الأخطاء والتدهور النعم
• وضع إجراءات واضحة لتصاعد مختلف أنواع الشذوذ
• سلوك نظام الوثائق، والعتبات، وقرارات التشكيل
• خطة تحديث النماذج وصيانة النظم بأقل قدر من التعطل

الاتجاهات المستقبلية والاتجاهات الناشئة

ولا يزال مجال الكشف عن الشذوذ يتطور بسرعة، مدفوعاً بتطورات في مجال التعلم الآلاتي، وزيادة أحجام البيانات، ومجالات التطبيقات الناشئة، وهناك اتجاهات عديدة ترسم مستقبل تكنولوجيا الكشف عن الشذوذ.

المتطورة في مجال الهندسة العميقة

وفي الآونة الأخيرة، أدت التقنيات القائمة على التعلم العميق إلى تعزيز مجال الكشف عن الشذوذ داخل مجموعات البيانات المتعددة الأبعاد، وتدفع البنى الناشئة، بما في ذلك المحولات، وشبكات الرسوم العصبية، ونماذج الانتشار إلى الحد الذي يمكن أن يحدث في الكشف عن الشذوذ.

وتمثل النماذج الهجينة الناشئة، التي تجمع بين الشبكات العالمية والشبكة العالمية للمناطق البحرية أو أجهزة التألق لتحسين القدرة، اتجاهات واعدة للبحوث في المستقبل، وتهدف هذه النُهج الهجينة إلى الجمع بين مواطن القوة في مختلف البنايات مع التخفيف من مواطن ضعفها الفردية.

التعليم الموحد للكشف عن الخصوصية - المحافظة على

ويوفر التعليم الموحد وسيلة تعاونية لتحسين الكشف عن الشذوذ باستخدام مصادر البيانات الموزعة وخصوصية البيانات، وهذا النهج يمكّن المنظمات من الاستفادة من التعلم الجماعي دون تقاسم البيانات الحساسة، ومعالجة الشواغل المتعلقة بالخصوصية، مع تحسين قدرات الكشف عن طريق مجموعات بيانات تدريبية أوسع نطاقا وأكثر تنوعا.

منظمة العفو الدولية التي يمكن تفسيرها وتفسيرها

ونظراً لأن نظم الكشف عن الشذوذ تنشر في تطبيقات أكثر أهمية، فإن الطلب على الشرح لا يزال ينمو، إذ سيتعين على النظم المقبلة أن لا تكشف عن الشذوذ فحسب، بل أن تقدم أيضاً تفسيرات واضحة للسبب في أن شيئاً ما قد أُشير إليه على أنه غير شامل وما هي السمات التي أسهمت في اتخاذ القرار.

حاسبة إيدج و إيوت

إن انتشار أجهزة الإيوت يقود الطلب على خوارزميات الكشف عن الشذوذ التي يمكن أن تُستخدم في أجهزة الحافة التي تُدرَّب على الموارد، مما يتيح الكشف عن ذلك في الوقت الحقيقي مع انخفاض الاحتياجات من الرطوبة وزوارق النطاق، مع معالجة الشواغل المتعلقة بالخصوصية عن طريق معالجة البيانات محليا.

كشف الشذوذ المتعدد الوسائط

وستدمج النظم المستقبلية بصورة متزايدة طرائق متعددة للبيانات - تجمع بين بيانات الاستشعار العددي والصور والنصوص والسمعية - لتوفير كشف أكثر شمولاً عن الشذوذ، ويمكن لهذا النهج المتعدد الوسائط أن يلتقط أوجهاً قد تفتقد إلى تحليل مسارات البيانات الفردية في عزلة.

تعلم الآلات الآلية (AutoML)

وتجعل تقنيات نظام الحكم الذاتي في مجال مكافحة غسل الأموال الكشف عن الشذوذ أكثر سهولة عن طريق التلقائية في اختيار الخوارزميات، وهندسة المعالم، والتنصت على الأشعة فوق البنفسجية، مما يتيح للمنظمات التي لا تملك خبرة في مجال التعلم الآلي لتنفيذ نظم الكشف الفعالة.

كشف الإصابة بالشذوذ الشاذ

ويرمي الانتقال إلى ما يتجاوز الكشف القائم على العلاقة، إلى فهم الآليات الأساسية التي تولد الشذوذ، مما يتيح الكشف الأكثر قوة، وهو أقل عرضة للارتباطات الراقية، ويوفر معلومات أفضل لتحليل الأسباب الجذرية وعلاجها.

خاتمة

وقد تطور الكشف عن الشذوذ من أساليب إحصائية بسيطة إلى نظم تعلم عميقة متطورة قادرة على تحديد أنماط فرعية في البيانات المعقدة والعالية الأبعاد، وتعالج الورقة البيئة المتغيرة لطرق الكشف عن الشذوذ وتؤكد أهمية مواصلة البحث والابتكار، وبما أن أحجام البيانات لا تزال تنمو وأصبحت النظم أكثر تعقيدا، فإن أهمية الكشف الفعلي عن الشذوذ لن تزداد إلا.

ويتطلب النجاح في الكشف عن الحالات الشاذة فهم الأساليب المتنوعة المتاحة، واختيار مقاييس التقييم المناسبة، والنظر بعناية في الاحتياجات والقيود المحددة لكل طلب، ولكل نموذج للتعلم الآلي والكشف عن الشذوذ في التعلم العميق مواطن قوة ونواقص، والتركيز على الدقة والأداء مع تطبيق معايير الجودة للتقييم، ولا ينبغي لأي نهج واحد أن يعمل على أفضل وجه بالنسبة لجميع السيناريوهات، ويجب على الممارسين أن يوازنوا بين عوامل من بينها الدقة، والتفسير، والكفاءة في الحساب، والاحتياجات التشغيلية.

ويواصل الميدان التقدم بسرعة، حيث تبرز بانتظام هياكل وتقنيات وتطبيقات جديدة، وتشمل توجيهات البحوث المستقبلية تحسين الأداء النموذجي، والاستفادة من تقنيات التحقق المتعددة، والاستفادة المثلى من الموارد، وتوليد مجموعات بيانات عالية الجودة، والتركيز على تطبيقات العالم الحقيقي، وبإطلاع المنظمات على هذه التطورات وعلى أفضل الممارسات لتنفيذها، يمكن للمنظمات أن تسخر قوة الكشف عن الشذوذ لتحسين الأمن والموثوقية والكفاءة وصنع القرار في جميع عملياتها.

إن كنت تحمي الأنظمة المالية من الاحتيال، وتأمين الشبكات ضد التهديدات الإلكترونية، وضمان جودة التصنيع، أو رصد البنية التحتية الحيوية، فإن الكشف عن الشذوذ يوفر القدرات الأساسية لتحديد الأنماط غير العادية التي تهم أكثر، وبما أن التكنولوجيا لا تزال ناضجة وأكثر سهولة، فإن تطبيقاتها ستتوسع في مجالات جديدة، ومساعدة المنظمات على الملاحة في عالم يزداد تعقيدا وثراء للبيانات.

وبالنسبة لمن يتطلعون إلى تنفيذ نظم الكشف عن الشذوذ، فإن هناك موارد وأدوات عديدة متاحة، كما أن المكتبات المفتوحة المصدر مثل ]scikit-learn، TensorFlow، و PyTorch تقدم عمليات تنفيذية من قبل العديد من أي وقت آخر.