Table of Contents

Makine öğrenme sınıflandırma modelinizin güvenilir, doğru sistemler inşa etmek için nasıl iyi performans gösterdiğini anlamak.Birçok veri bilim insanı ve makine öğrenme uygulayıcısı yalnızca birincil değerlendirme metrik olarak doğruya odaklanırken, bu yaklaşım tehlikeli bir şekilde yanıltıcı olabilir - özellikle de dengesizlikle çalışırken yanlış pozitifler veya uygulamalarla farklı hataların farklı maliyetleri taşır.

Bu kapsamlı kılavuz sizi makine öğrenimi uygulamalarındaki karışıklık matrisleri hakkında bilmeniz gereken her şeyden çıkaracak - modelinizin performansını değerlendirmek ve optimize etmek için temel bileşenleri anlamak için temel bileşenleri anlamak için.Doğal algılama sistemleri, tıbbi tanı araçları, spam filtreleri veya başka herhangi bir sınıflandırma uygulaması, ustalık karışık matriksleri anlamak ve optimize etmek için gereklidir.

Bir Confüzyon Matrit Nedir?

Bir karışıklık matrisi, sadece tek bir doğruluk numarası sağlamak yerine, modelinizin farklı tahminlerle nasıl performans gösterdiğini özetleyen bir performans değerlendirme aracıdır.

Bir Confüzyon matrisi, bir sınıflandırma modelinin performansını değerlendirmek için kullanılan bir N x N matrisi, N'nin toplam hedef sınıfları olduğu yerde. matrix, makine öğrenme modeli tarafından tahmin edilenlerle gerçek hedef değerleri karşılaştırır. ikili sınıflandırma için, iki satır ve sütunlu 2x2 masadır.

Bu, doğru sınıflandırmaların oranını gözlemleyerek daha ayrıntılı analize olanak sağlar (accuracy). karışıklık matrisi sadece modelinizin hataları yapıp yapmadığınızı ortaya çıkarır, ancak özellikle de modellemenin önemli olan hataların ne tür hataların yapıldığı - gerçek dünya uygulamalarındaki sınırlamalarını anlamak için önemli olan bilgiler.

Bir Confüzyon Matrix'in Four Core Bileşenleri

İkili sınıflandırma için her karışıklık matrisi, tüm olası tahmin sonuçlarını kategorize eden dört temel bileşenden oluşur. Bu bileşenleri anlamak, diğer tüm performans ölçümlerinin hesaplanması ve yorumlanması için temeldir.

Gerçek Olumlular (TP)

Gerçek Olumlu (TP): Her iki tahmin edilen ve gerçek değerlerin de bulunduğu toplam sayı Köpek. Başka bir deyişle, gerçek pozitif sınıf hakkında doğru bir şekilde tahmin edilen modeli doğru bir şekilde tahmin eden vakaları temsil eder. Örneğin, spam e-posta sınıfı, aslında spam olarak doğru bir e-posta olacaktır ve model tarafından spam olarak doğru bir şekilde tespit edilmiştir.

Gerçek pozitifler doğru şekilde pozitif vakaları tespit eder. Bunlar modelinizin pozitif sınıfı tahmin ettiğinde doğru aldığı durumlardır.

Gerçek Negatifler (TN)

Gerçek Olumsuz (TN): Her iki tahmin edilen ve gerçek değerlerin sahip olduğu toplam sayı Köpek değil. Gerçek negatifler, modeli doğru bir şekilde negatif sınıf tahmin ettiği durumlarda. spam e-posta örneğinde, gerçek bir negatif spam olarak sınıflandırılmış olan meşru bir e-posta olacaktır.

Diğer yandan, gerçek negatifler, doğru şekilde negatif örnekler olarak sınıflandırılmıştır, 9,000 non-spam e-postaları doğru bir şekilde tespit edilmiştir. Bunlar negatif sınıf için doğru tahminleri temsil eder.

Yanlış Olumlular (FP)

Sahte pozitif (FP): Bu, tahmine sahip toplam sayı, aslında Köpek değil, yanlış hataları da bilinen, model yanlış pozitif sınıf tahmin ettiğinde gerçekleşir. yanlış pozitifler (FP) “yandırıcı alarmlar” ve yanlış negatif negatif negatifler (FN) kaçırılır.

spam algılamasında, yanlış bir pozitif spam olarak yanlış bir e-posta olurdu - potansiyel olarak kaçırılması gereken önemli mesajlara neden oldu. yanlış pozitifler, modelin olumlu bir sonuç olarak yanlış etiketlediği durumlardır.

Sahte Negatifler (FN)

Sahte Olumsuz (FN): Tahmine sahip toplam sayı aslında Köpek değil, Köpek. Sahte negatifler veya Tip II hataları, model olumlu vakaları tespit etmediğinde, yanlış şekilde onları negatif olarak sınıflandırmak.

Tersine, yanlış negatifler gerçek olumlu vakaların göz ardı edildiği durumlardır.Bu senaryoda 300 spam e-postası kaçırılmıştır. Tıbbi tanıda, yanlış negatif negatifler özellikle tehlikelidir - bir hastalıkla ilgili bir hasta kritik tedaviyi geciktirebilir.

Nasıl Bir Confüzyon Matriti Oluşturun ve Nasıl Hesaplanır

Bir karışıklık matrisi oluşturmak, modelinizin veri setiniz için gerçek zemin gerçek etiketlerine karşı öngörülerini içerir. Süreç basit ama doğru sonuçları sağlamak için dikkatli bir dikkat gerektirir.

Step-by-Step Hesaplama Süreci

Bir karışıklık matrisi oluşturmak için, ilk önce giriş verileri için model tahminleri oluşturmanız ve ardından gerçek etiketleri almanız gerekir. İşte sistematik yaklaşım:

  1. [FONT:0) Sınıflama modelinizi [Dönetici:0)) [Dörtücü regresyon, karar ağaçları, sinir ağları, vb.) kullanarak eğitim veri setinizde yer alan (Dörtücü regresyon, karar ağaçları, sinir ağları vb.)
  2. [FONT:0)Generate tahminleri[[[Döncükler:0) Test veya geçerli veri kümesinizde bulunan (modeliniz eğitim sırasında görülmedi)
  3. [0]Compare gerçek etiketlere tahminler[Dönder: 1 )
  4. [FONT:0]Her sonuç türü[Dönemli: 1) Her dört kategorinin her birine kaç öngörüde bulunulmaktadır (TP, TN, FP, FN)
  5. [FONT=0) Matris[[Döneticileri)[[FONT=0)

Tüm doğru tahminler masanın köşesinde bulunur (Yeşilde yüksek ışıklı), bu yüzden tabloyu tahmin hataları için göz önünde bulundurmak kolay, köşedeki değerler onları temsil edecektir. Bu görsel yapı, modelinizin iyi performans gösterdiğini ve nerede mücadele ettiğini hemen ortaya koyar.

Python'da Confüzyon Matrices'i Uygulamayı

Verileriniz için bir karışıklık matrisi oluşturmak istiyorsanız, bunu sklearn gibi araçlarla kolayca yapabilirsiniz. scikit-do kütüphanesi, karışık matriks oluşturmak ve görselleştirmek için uygun işlevleri sağlar.

İşte Python ve scikit- learning kullanarak bir karışıklık matrisi nasıl yaratılacağının temel bir örneği:

Komplike matrisi oluşturmak için, gerçek ve tahmin edilen değerleri kullanarak, gerekli kütüphaneleri ithal etmek veya elde etmek gerekir.Bir kez metrikler gerçek ve tahmin edilen değerlerdeki karışık matris işlevini kullanabiliriz.

Masayı bir karışıklık matrisi ekrana dönüştürmemiz için daha fazla yorumlanabilir bir görsel ekran oluşturmak için. cm display = metrics.ConfüzyonMatrixDisplay (confüzyon matrix = matrix, display labels = [0, 1]) Bu görselleştirme sonuçları bir bakışta yorumlamak için çok daha kolay hale getirir.

Temel Metrikler Confüzyon Matrices'ten Türlenmiş

TP, TN, FP ve FN kullanarak, çeşitli sınıflandırma kalitesini ölçümler hesaplayabilirsiniz, örneğin hassas ve hatırla. Bu metrikler modelinizin performansında farklı perspektifler sağlar, her biri farklı uygulamalar için önemli olan belirli yönleri vurgulayabilirsiniz.

Doğruluk: Genel Doğruluk:

Modelin ne kadar sıklıkla doğru olduğunu doğrulayın. (Gerçek Olumlu + Gerçek Olumsuz) / Toplam Tahminler Bu, tüm tahminlerin yüzdelerinin doğru olduğunu söylüyor.

Modelin genel doğruluğunu doğru bir şekilde doğrulayın, gerçek pozitiflerin ve gerçek negatiflerin toplam tahmin sayısına göre doğru şekilde doğrulayın.Bu, = 0.85 (veya% 85) anlamına gelir.

Ancak, doğruluk önemli kısıtlamalara sahiptir. Bir sınıfın çok nadiren göründüğü, zamanın% 1'ini tahmin eden bir model, işe yaramaz olmasına rağmen,% 99'u tahmin eder.

Hassasiyet: Olumlu Tahminlerin Kalitesi

Hassasiyet, TP / (TP + FP) olarak tanımlanır, olumlu tahminlerin doğruluğunu ölçer. Hassasiyet soruyu cevap verir: “Tüm örneklerde, modelin aslında olumlu olduğu tahmin edilir mi?”

Olumlu tahminin doğruluğunu ölçür. Modelin TRUE'yi tahmin ettiğinde, ne sıklıkta doğruydu? ”Bu metrik özellikle yanlış pozitiflerin pahalı olduğu konusunda önemlidir.

Özellikle, yanlış pozitif bir maliyeti yüksek olduğunda, hassas bir pozitif tahminlerin oranı tüm olumlu tahminler arasında (TP / (TP + FP) önemlidir.Bu metrik, yanlış pozitiflerin maliyeti yüksek olduğunda önemlidir.

Örneğin, e-posta spam filtrelemesinde yüksek hassasiyet, bir e-posta spam olarak işaretlendiğinde, aslında spam olması çok muhtemel - önemli meşru e-postaların riskini yanlış filtrelendirme riski.

Recall (Sensitivite): Olumlu Tespitin Tamamlanması

TP / (TP + FN olarak tanımlandırılan), modelin tüm olumlu örneklerini nasıl iyi tanımladığını değerlendiriyor: “Tüm gerçek olumlu örneklerden, modelin doğru şekilde nasıl doğru bir şekilde tanımlanmasını sağladı?”

Yeniden arama veya hassasiyet, model tarafından doğru şekilde tespit edilen gerçek olumluların sayısını doğru bir şekilde ölçer. “Sevizyon aslında TRUE’nin sorularını cevaplıyor, sınıflandırıcının bunu nasıl sıklıkla yaptığını? ”

Recall, olumlu bir örnek (FN) eksik olan negatif örneklerden daha kötü olduğu için önemlidir. Recall, gerçek olumlu tahminlerin gerçek sayısına doğru olumlu tahminlerin oranını ölçer (TP / (TP + FN) Bu metrik, eksik olumlu durumlarda önemlidir.

Tıbbi tanıda, yüksek hatırla kritiktir - bir hastalığı olan tüm hastaları yakalamak istiyorsanız, bazı sahte alarmlar anlamına gelir. Bir kanser tanısı (faşlı negatif) eksik olabilir, öncelik metrik hatırlayabilir.

Özellik: Gerçek Olumsuz Hız

Özellik (Gerçek Negatif Puan): Gerçek negatif tahminlerin gerçek negatif vakalara oranı hesaplamaktadır (TN / (TN + FP)). Bu ölçümler, modelin negatif vakaları nasıl iyi tanımlar.

Özellik özellikle olumsuz vakaları doğru şekilde tanımlayan senaryolarda önemlidir. Örneğin, güvenlik taramasında, gereksiz alarmlardan kaçınmak için yüksek spesifikiteyi istersiniz, ancak gerçek tehditleri yakalama konusunda yeterli hassasiyet tutar.

F1 Puan: Hassasiyet ve Recall

F1 puanı, hassas ve hatırlamanın harmonik anlamıdır. Bu nedenle simetrik olarak her iki hassası temsil eder ve bir metrik olarak hatırlanır. F1 puan, bir model için dengeyi ölçer ve hatırlayın. 0 ila 1 arasında değişir, 1 mükemmel bir hassaslığı gösterir ve hatırlanır.

F1 puan formülü: F1 = 2 × (Precision × Recall) / (Precision + Recall)

harmonik aşırı değerlerin penalize edilmesi anlamına gelir. Bir model% 100 hassastır ancak% 10 hatırlayabilirse, basit bir ortalama% 55 verir - bu iyi geliyor. harmonik, 18.2% verir - bu daha doğru, modeli gerçekten ne kadar kötü olduğunu yansıtıyor. F1 puanı sadece hassas ve hatırlandığında yüksek.

F1 puan metrik, dengesiz verilerle uğraşırken veya hassas ve hatırlatan arasındaki ticareti dengelemek istediğinizde önemlidir. Hassas ve hatırlama işlemi aynı derecede önemlidir.

Hassas ve her ikisine de 1.0 puan mükemmel bir puan sahip olduğunda, F1 da bu zayıflığı yansıtacaktır. daha geniş bir şekilde, hassas ve hatırlama değerlerine yakın olduğunda, F1 değerlerine yakın olacaktır. Ancak, hassas ve hatırlama arasında önemli bir dengesizlik olduğunda, F1 puanı bu zayıflığı yansıtacaktır.

Hassasiyet-Recall Trade-offunu Anlamak

Bir Confüzyon Matrix'teki farklı ölçümler kullanılarak yapılan ticaret, bir tane daha etkiledikleri için önemlidir. Örneğin, hassas bir artış genellikle hatırlamada azalmaya yol açar. Bu, modelin performansını etkilenen ölçüm değerleri kullanarak geliştirmenize rehberlik edecektir.

Hassasiyet ve hatırlama genellikle birbirleri ile gerginlik içindedir. Bir model, her şeyi olumlu olarak tahmin ederek %100 hatırlanabilir - ancak hassaslığı zayıflayacaktır. Tersine, bir model sadece son derece emin olduğunda olumlu bir şekilde elde edebilir - ancak birçok gerçek olumluyu kaçıracaktır.

Bu temel ticaret-off, belirli uygulamanıza dayanarak önceliklendirmek için hangi ölçümlere ihtiyaç duyduğunuz anlamına gelir:

  • [FONT:0]Prioritize Hassasiyet[DÜT:1] Sahte pozitifler pahalı olduğunda - kredi onay sistemleri, kötü kredilerin talep edildiği kredi onay sistemleri gibi pahalı kredilerin pahalı olduğu gibi
  • [0]Prioritize Recall[[[Dönetici: 1 ) Sahte negatif negatifler pahalı olduğunda – bir tanının eksik olduğu hastalık taramasında ölümcül olabilir.
  • [FONT:0) Hem de [DÜDÜDÜDÜDÜDÜDÜDÜDÜDÜDÜŞÜNÜŞÜNÜ:0) Her iki hata türü eşit derecede eşit derecede eşit derecede eşit derecede eşit derecede eşit derecede eşit derecede eşit derecede hata miktarında F1 puanını kullanarak [DÜDÜT:0)

Hassasiyet ve hatırlama, bir ticaret teklifi sunar, yani bu ilişkinin uygulamanız için doğru dengeyi elde etmenize yardımcı olur.Daha hassas, veri kümesinden gerçek olumlu örnekleri bile içeren sert bir eleştirmen ( sınıflandırıcı) içerir.Bu nedenle, bu ilişkinin anlaşılması, modelinizin uygulamanız için doğru dengeyi elde etmenize yardımcı olur.

Confüzyon Matini Sonuçları

Kompiyon matrisinizi hesapladıktan sonra ve anahtar ölçümler elde ettikten sonra, bir sonraki kritik adım yorumlanır. Bu sayıların belirli uygulama rehberlerinin model geliştirme ve dağıtım kararlarının bağlamında ne anlama geldiğini anlamak.

Matin Yapısını Analyating the Matrix Structure

Bir karışıklık matrisini incelerken, tüm doğru tahminler masanın köşesinde bulunur (daha yüksek yeşilde aydınlatılır), bu yüzden tahmini hataların tabloyu görsel olarak incelemek kolaydır, çünkü digonal dışındaki değerler onları temsil edecektir.

Direngen (gerçek pozitif ve gerçek negatifler) ve düşük değerlerin yanı sıra (daha iyi pozitif ve yanlış negatifler) diferansiyel değerleri göreceksiniz.Eğer doğru doğru doğru doğru doğru kanıtlara ihtiyacınız olan hataları gösterirseniz, bu, soruşturmaya ihtiyaç duyan sistematik hataları gösterir.

Model Weaknesses Tanımlama

Hata Type Farklıiator: Makine öğrenme modeli tarafından üretilen farklı hataları anlamak, hangi hücrelerin beklenmedik yüksek değerleri olduğunu inceleyerek, belirli zayıflıkları tanımlayabilirsiniz:

  • [FONT:0) Yüksek Sahte Olumlular[[Dönemli: Modeliniz olumlu sınıf tahmin etmek için çok agresiftir - sınıflandırma eşini yükseltmek veya negatif durumlarda olumlu ayırt edici özellikleri eklemek için yorum yapın.
  • [FONT:0) Yüksek Yanlış Olumsuzlar[[Dönemli: Modeliniz çok muhafazakardır - eşliği daha iyi yakalamak için özellik mühendisliğini daha düşük hale getirmek için, olumlu vakaları yakalamak için olumlu vakaları geliştirmek için özellik mühendisliği daha iyi düşünmek.
  • [FONT:0]Imbalanced Hatalar[[Dönem: Hatalar bir yönde yoğunlaşırsa, bu, eğitim verinizi yeniden başlatabilecek veya sınıf ağırlıklarını ayarlayabilecek sistematik önyargıyı önerir.

Context-Specific Interpretation

"Doğru" karışıklık matrixi, uygulamanızın gereksinimlerine tamamen bağlıdır. - Hepimiz bildiğimiz gibi, hızla yayılmak için çok kötü bir durumdur. - Bu, tıp görüntülerini (kırık X-ray veya CT-Scans) "COVID pozitif" ve "COVID negatif" sınıflarından yayılan bir model için, en düşük fiyat istiyoruz.

Farklı uygulamalar farklı önceliklere ihtiyaç duyar:

  • [0]Medical Tanısı[DÜT:1): Kayıp hastalıklardan kaçınmak için yanlış negatif negatifleri ayırın.
  • [FONT=0]Spam Filtreleme[DÜT:1]: Her ikisine de denge – spam'in can sıkıcı olduğunu, ancak meşru e-postaların engellenmesi daha kötü
  • [FONT:0]Fraud Tespiti[[DÜDÜT:1): Sahte pozitifleri ele almak için, sahte yorumla yüksek hatırlıyor
  • [FONT:0)Manufacturing Quality Control[DÜT:1): İyi ürünleri reddetme maliyetine bağlı olarak iyi ürünleri reddetme maliyetine bağlı olarak iyi ürünlere karşı iyi ürünler reddetme maliyetine bağlı olarak

Çok Sınıf Sınıf Sınıf Sınıfları için Yoğun Matrikes

Confüzyon matrisi ikili sınıflandırma ile sınırlı değildir ve çok sınıf sınıflandırıcılarda da kullanılabilir. iki sınıftan daha fazla uğraşırken, karışıklık matrisi genişletir, ancak aynı temel ilkeleri takip eder.

N sınıfları ile çok sınıf bir problem için, her sınıf için ayrı olarak hesaplanmış bir N×N karışıklık matrisi olacaktır.Bir sınıf bir seferde değerlendirildiğinde (bir-vs-rest), TP, FP, FN ve TN gibi karışıklık matrisleri her sınıf için ayrı olarak hesaplanmıştır.

Çok-Class Matrices

Çok sınıf bir karışıklık matrisinde:

  • Rows gerçek sınıfları temsil ediyor
  • Köşeler tahmin edilen sınıfları temsil eder
  • Diagonal her sınıf için doğru tahminleri gösterir
  • Off-diagonal hücreler belirli sınıf çiftleri arasındaki yanlış sınıflamaları gösterir

Çok sınıf problemlerde, matrix ana köşegonal her sınıf için TruePozisyon gösterir. Bu, modelinizin iyi çalıştığını ve hangilerinin karıştırdığını görmenize olanak sağlar.

Çok-Class Sorunları için Toplayıcıları Hesaplamak

Çok sınıf sınıflandırması için, hassas gibi ölçümler, hatırla ve F1 puan birkaç şekilde hesaplanabilir:

  • [FONT:0)Mikro-ortalama[[[Dönetici: Toplam gerçek olumluları, yanlış pozitifleri ve tüm sınıflardaki yanlış negatif negatif negatifleri sayarak küresel olarak hesaplayın.
  • [FONT=0]Macro-avering[[[Dönetici: Her sınıf için bağımsız olarak hesaplanabilir, sonra ortalama ortalamayı alır.
  • [FONT:0]Weighted averaging[[DÜT:1): Makro-ortalama ile benzer ama her sınıftaki örneklerin sayısıyla ağırlıklandırılan.

Boş veri kümeleri için ağırlıklandırılan ortalamaları kullanın. ● Seçmeli veri setleri için makro ortalamaları kullanın. Seçim, tüm sınıflara veya ağırlıklarına frekansına eşit önem vermek isteyip istemediğinize bağlıdır.

Gerçek Dünya Uygulamaları ve Örnekler

Confüzyon matrisleri sayısız makine öğrenme uygulamaları arasında paha biçilmezdir. Uygulamada nasıl kullanıldığını anlamak, kendi projelerinize etkili bir şekilde uygulamanıza yardımcı olur.

Tıbbi Tanıklık

Tıbbi Tanı: Kompiyon matrisi, testlere veya görüntülere dayanan hastalıkları teşhis etmek için tıbbi alanlarda kapsamlı bir şekilde kullanım bulur. teşhis testlerinin doğruluğunu ölçmek ve yanlış pozitifler ve yanlış negatif negatifler arasındaki dengeyi tanımlamak yardımcı olur.

Tıbbi uygulamalarda, yanlış negatiflerin maliyeti (bir hastalık izin) genellikle yanlış pozitiflerden daha yüksektir (gerekli takip testleri). Bu nedenle, tıbbi tanı modelleri genellikle hatırlamayı optimize etmek için ayarlanır, çok az vakanın kaçırılmasını sağlamak için daha fazla yanlış pozitif kabul edilir.

Dolandırıcılık Tespiti

Bankalar ve finansal kurumlar, sahte işlemleri tespit etmek için karışıklık matrislerini kullanır: AI algoritmalarının sahtekarlık olaylarının modellerini tanımlamasına yardımcı olur. İşte ikili sınıflandırma problemlerinin bazı örnekleri: dolandırıcılık algılama: Bir ödeme işlemi hileli olup olmadığını tahmin edin: bir kullanıcının hizmeti kullanmayı bırakma olasılığı yüksektir.

Sahte alarmlar araştırılması için yüksek hatırlama, sahte işlemleri yakalamak önemlidir, ancak hassas alarmlar da önemlidir. karışıklık matrisi, dolandırıcılık ve gereksiz soruşturmalar arasındaki en iyi dengeyi bulmaya yardımcı olur.

Doğal Dil İşleme

Doğal Dil İşleme (NLP): NLP modelleri duygusal analiz, metin sınıflandırmasını değerlendirmek için karışık matrisleri kullanır ve varlık tanımasını isimlendirir. spam e-posta sınıflandırmasında, örneğin, karışıklık matrisi, modelin doğru şekilde doğru şekilde yanlış spam ayırt edip etmediği ve hangi hataların hangi türlerinden oluştuğu ortaya çıkar.

Müşteri Churn Prediction

Müşteri Churn Prediction: Confüzyon matrisleri müşteri urnunu tahmin etmede önemli bir rol oynar ve AI odaklı modeller, müşteriyi yetersiz tutmak için tarihsel verileri nasıl kullanır ve hafifletir. İşletmeler hangi müşterilerin ayrılma ve proaktif tutma önlemleri alma riskini belirlemek için bu öngörüleri kullanırlar.

Görüntü ve Object Recognition

Görüntü ve Object Recognition: Confüzyon matrisleri, görüntülerdeki nesneleri tanımlamak için eğitim modellerine yardımcı oluyor, kendi kendine giden arabalar ve yüz tanıma sistemleri gibi teknolojilere olanak sağlıyor. Örneğin, yayaları, araçları doğru tanımlayın ve engeller güvenlik için kritik önem taşıyor, algılama sistemlerini değerlendirmek ve geliştirmek için karışık matrisler yaratıyor.

Ortak Pitfalls ve Limitler

karışıklık matrisleri güçlü araçlar olsa da, uygulayıcıların yanlış ifadeden kaçınmaları gerektiğini anlamaları gerekir.

The Truth Parado

En yaygın hatalardan biri sadece doğrulukta, özellikle de dengesizlikli veri setleriyle güvenilir. Örneğin, kanser sınıfı için 95 kanser örneği ve sadece 5 kişi olmayan sınıf dışı örnekler için, özellikle de kansere sahip olduğu gibi gözlemleri sınıflandırmak olabilir.

Bu, tam karışıklık matrisini incelemenin ve birden çok metriklerin hesaplanmasının neden önemli olduğunu gösteriyor - sadece yanlış olabilir.

Epistemic Limitations

Özellikle, karışıklık matrisi doğru tahminlerin seslendirme veya sadece şansla ulaştığını gösteremez (bir modelin gerçek güvenilirliği olarak bilinen bir problem). Ayrıca, gerçekleri daha sonra bir değişiklik yapmak için kullanılan durumlar yakalamaz (defeabilite). Bu, karışıklık matrisi sınıflandırma performansı için yararlı bir araçtırken, bir modelin gerçek güvenilirliğinin eksik bir resmini verebilir.

Bu karışıklık matrisi size modelinizin ne tahmin ettiğini söyler, ancak neden bir model test setinizde yeni verilere genelleştirmeyecek olan çok sayıda korelasyon elde edebilir.Her zaman diğer geçerlilik teknikleri ve alan uzmanlığı ile karışıklık matris analizini tamamlayamaz.

Threshold Hassasity

Olasılıksal sınıflandırıcılar için, karışıklık matrisi, uygulamanın öncelikleriyle uyumlu olan sınıflandırma eşine bağlıdır. Farklı eşler farklı karışıklık matrisleri üretir, tüm türlenmiş metrikleri etkiler.Farklı eşiğine nasıl değiştiğini araştırmak ve uygulamanızın önceliklerini seçmek önemlidir.

Gelişmiş Teknikler ve İlgili Metrikler

Temel karışıklık matrisinin ötesinde, birkaç gelişmiş teknik ve ilgili ölçümler model performansına ek öngörüler sağlar.

Matthews Correlation Co effective (MCC)

Davide Chicco ve Giuseppe Jurman'a göre, bir karışıklık matrisini değerlendirmek için en bilgilendirici metrik, Matthews korelasyonu (MCC) Davide Chicco ve Giuseppe Jurman'a göre, F1 puan, ikili değerlendirme sınıflandırmasında daha az doğru ve bilgilendiricidir.

MCC tüm dört karışıklık matris kategorilerini dikkate alır ve -1 ve +1 arasında bir puan üretir, +1 mükemmel bir tahmin temsil eder, 0 rastgele öngörüyü temsil eder ve -1 toplam anlaşmazlıkları temsil eder.

ROC Curves ve AUC

Alıcı İşletim Karakteristik (ROC) eğrisi, çeşitli eşgüdüm ayarlarında yanlış pozitif oranlara karşı gerçek pozitif oranı (recall) arsamaktadır. The Area Under the Curve (AUC) tüm eşler arasında tek bir sayı özetleme performansı sağlar.

ROC eğrileri, gerçek pozitifler ve sahte pozitifler arasındaki ticaretin nasıl değiştiğini göstererek karışık matrisleri tamamlamaktadır. Bu, belirli uygulama gereksinimleriniz için en uygun eşi seçmenize yardımcı olur.

Hassasiyet-Recall Curves

Genellikle, hassas ve hatırlanmıyor puanlar izolasyonda tartışılmaz. Bir hassas arama eğrisi hatırlama işlevi olarak hassastır; genellikle hatırlanan artışlar arttıkça hassastır.Bu eğriler özellikle ROC eğrilerinin aşırı derecede iyimser olabileceği dengesiz veri kümeleri için faydalıdır.

Maliyet-Sensitive Learning

David Hand ve diğerleri F1 puanını yaygın olarak eleştirir, çünkü hassas ve hatırlamaya eşit önem verir. Pratikte, farklı yanlış sınıflamalar farklı maliyetlerde. Başka bir deyişle, hassaslığın göreceli önemi ve hatırlanılması problemin bir parçasıdır.

Birçok gerçek dünya uygulamalarında, farklı hataların türleri farklı maliyetlere sahiptir. Maliyete duyarlı öğrenme, bu maliyetleri doğrudan model eğitim sürecine dahil eder, sadece onları değerlendirme için kullanmak yerine. Bu, belirli iş veya uygulama gereksinimleriniz için daha iyi optimize edilmiş modeller için yol açabilir.

Confüzyon Matrices Kullanımı için En İyi Uygulamalar

Makine öğrenme projelerindeki karışıklık matrislerinden en değer almak için, bu en iyi uygulamaları takip edin:

Her zaman ayrı bir Test seti kullanın

Test sırasında karışıklık matrisinizi hesaplamak, eğitim verileri kullanarak gerçek dünya performansını yansıtmayan aşırı iyimser sonuçlar verecektir. İdeal olarak, güvenilir tahminler elde etmek için bir toplantı veya çapraz-validasyon kullanın.

Birden Çok Metriks

Makine öğrenimi değerlendirmesi alanında, karışıklık matrisleri önemli ölçüde önemlidir. Bunlar hassas ve hatırlanmıyor gibi anahtar ölçümleri hesaplamaya yardımcı olurlar.Bu metrikler, özellikle de veri kümeleri ile ilgili olarak dağıtılmadığı bir modeldeki performansa daha derin öngörüler sağlar.

Tek bir metrik. Sınavin doğruluğu, hassasiyet, hatırla, F1 puanına ve tam bir model performansı resmi elde etmek için birlikte çiğ karışıklık matrisine güvenmeyin. Farklı metrikler performans farklı yönleri vurgulamaktadır.

Sonuçlarınızı Görselleştirin

Sıcaklık veya diğer görselleştirmeleri, karışık matrisleri yorumlamak, özellikle çok sınıf problemleri için daha kolay hale getirmek için kullanın. Renk kodlaması, modelin iyi performans gösterdiğini ve mücadele ettiğini hızla tanımlamaya yardımcı olur. çoğu makine öğrenme kütüphanesi inşa edilmiş- görselleştirme araçları sağlar.

Zaman Üzerinde Performansı

Ayrı olarak, model tarafından tahmin edilen mutlak sayıda olumlu ve negatif etiket izlemek ve model tahminlerde dağıtım sürüklenmek için de yararlı olabilir. Geri bildirim almadan önce bile, model tahminlerinde bir sapma tespit edebilirsiniz (önemli sürüklenme): örneğin bir model "fraud" daha sık tahmin etmeye başlar.

Üretim sistemlerinde, sürekli olarak karışık matris ölçümlerinizi izleyin. Zaman içinde karışıklık matrisinde değişiklikler veri sürüklenebilir, konsept sürüklenebilir veya model yeniden eğitim veya ayarlama gerektiren diğer sorunlar gösterebilir.

İş Hedefleri ile Align Metriks

Gerçek dünya maliyetlerine dayanan hangi ölçümleri optimize etmek ve uygulamanızda farklı hataların faydalarını sağlamak için hangi ölçümler seçin. İşle uyumlu olmayan teknik olarak etkileyici bir model, hangi hataların en pahalı ve optimize edilmesini sağlamak için değer vermez.

Threshold Choices

Sınıf eşiği seçtiğinizde, bu seçimi neden yaptığınızı ve hangi ticaretten temsil ettiğini belgeleyin. Bu, modelinizin davranışını anlamanıza yardımcı olur ve gereksinimleri değiştirirseniz ayarlamanızı kolaylaştırır.

Confüzyon Matrisi Analizi: Pratik Örnek

Teorik matrix analizinin pratikte nasıl çalıştığını görmek için tam bir örnekle yürüyelim. Bir e-posta spam sınıfı oluşturmanızı ve 1.000 e-posta üzerinde test ettiniz.

Modeliniz aşağıdaki karışıklık matrisini üretir:

  • Gerçek Olumlular (korrectly olarak spam tespit edildi): 85
  • Gerçek Negatifler (korrectly olarak meşru tespit edilir): 870
  • Sahte Olumlular (mikromi olarak işaretlenen heyet): 30
  • Sahte Negatifler (spam meşru olarak işaretlenir): 15

Bu karışıklık matrisinden, hesaplayabilirsiniz:

[FONT=0)[0][Dönetici[Dönemlilik[DÜT:1) = (85 + 870) / 1000 = 0.955 veya 95.5%

[FONT:0)[[Döncükler[Döncükler) = 85 / (85 + 30) = 0.739 veya% 73.9%

[FONT:0)[[[DÜT 1: 85 / (85 + 15) = 0.85 veya% 85

[FONT=0)F1 Puan[[DÜT:1] = 2 × (0.739 × 0.85) / (0.739 + 0.85) = 0.791 veya 79.1% 0.7

Bu size ne anlatıyor? Modelin yüksek doğruluk (95.5%) var, bu ilk bakışta iyi görünüyor. Ancak,% 73.9%'un hassaslığı spam olarak işaretlenen e-postaların yaklaşık% 26'sı aslında meşru – potansiyel olarak kullanıcıların önemli e-postaları kaçırmasına neden oluyor.% 85'in hatırlanmıyor, ancak% 15'i hala geçiyor.

Öncelerinize bağlı olarak, bu yarışçıyı dengelemek için sınıflandırma eşini ayarlayabilirsiniz (daha fazla spam) ama hassaslığı azaltır (daha yanlış alarmlar). %79.1 puanını dengelemek için bir oda olduğunu gösterir.

Confüzyon Matrisine dayanan Model Performansı Geliştirmek

Kompiyon matrisi sadece modelinizi değerlendirmez - rehberlik eder. İşte performans artırmak için karışıklık matrisi içgörülmesi:

Adres Sınıfı Imbalance

Eğer karışıklık matrisi azınlık sınıfında kötü performans ortaya çıkarsa, teknikler düşünün:

  • Azınlık sınıfından (SMOTE, ADASYN)
  • Çoğu sınıf sınıf altları
  • Sınıf ağırlıklarını modelinizde kullanarak
  • Altmış sınıflar için daha fazla veri toplamak

Özel Mühendislik

Sistemli hataları görürseniz (örneğin, iki özel sınıfları sürekli karıştırır), bu sizin özellikleriniz arasında yeterli ayrım yapmaz. Yaygın karışık sınıflar arasındaki farklılıkları yakalamak için yeni özellikler ekleyin.

Karar Thresholds

Varsayılan 0,5 eşiği kullanmak yerine, uygulamanız için hassas ve hatırlanan optimal dengeyi bulmak için farklı eşler ile deney. Plot sensitive-recall eğrileri bu ticaretle görselleştirmek için.

Ensemble Yöntemleri

Bir veri kümesi için aynı test için hesaplanmış bir karışıklık matrisi, ancak farklı sınıflayıcıları kullanarak, aynı zamanda göreceli güçlüleri ve zayıflıklarını karşılaştırmaya ve nasıl bir araya gelebileceği konusunda bir uyarı çizebilir (ensemble learning) en iyi performans elde etmek için.Eğer farklı modeller farklı hataları farklı modeller kullanarak, genel performansları artırabilir.

Hata Analizi

Yanlış sınıflanmış belirli örnekleri inceler. Hatalara bakınız - bazı giriş türleri sürekli yanlış sınıflanmış mıdır? Bu nitel analiz genellikle saf metriklerin özlediği öngörüleri ortaya çıkarır.

Confüzyon Matrisi Analiz için Araçlar ve Kütüphaneler

Birkaç güçlü araç ve kütüphaneler karışık matrislerle daha kolay ve daha etkili bir şekilde çalışıyor:

Scikit-learn (Python)

Scikit-learn, metriks modülü aracılığıyla kapsamlı bir karışıklık matrisi işlevi sağlar. Bu, karışık matrisleri hesaplamak, hepsini görselleştirmek ve tüm standart metrikleri hesaplamak için fonksiyonlar içerir. Kütüphane iyi niyetli ve diğer Python veri bilimi araçlarıyla sorunsuz bir şekilde entegre edilir.

TensorFlow ve Keras

Derin öğrenme uygulamaları için, TensorFlow ve Keras, sinir ağ modelleri ile çalışan karışık matris hizmetleri sunar. Bunlar TensorBoard ile eğitim sırasında görselleştirme ve izleme için entegre eder.

R Paketleri

R kullanıcıları, kapsamlı karışık matrix analizi için bakım, bahçe ve karışıklıkMatrix gibi paketlerden yararlanabilirler. Bu paketler hem hesaplama hem de görselleştirme yeteneklerini geniş özelleştirme seçenekleri ile sağlar.

Özelleştirilmiş Görselleştirme Araçları

Evli AI, Kilos & gibi araçlar; Biases ve MLflow, üretim sistemlerindeki karışıklık matrisleri için gelişmiş izleme ve görselleştirme yetenekleri sağlar, zaman içinde modelleme performansını takip etmek ve bozulmayı tespit etmek daha kolay hale getirir.

Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç

Kompiyon matrisi sınıflandırma modellerinin değerlendirilmesinde vazgeçilmez bir araçtır. Performansı ayrıntılı bileşenlere kırarak, modelin nasıl iyi performans gösterdiğini daha derin bir anlayış sağlar, hem güçlü hem de zayıf yönleri vurgulayın.Yeni başlayanlar veya deneyimli bir veri bilim insanı olsanız da, karışık matrisi ustalaştırmanız etkili ve güvenilir makine öğrenme modelleri oluşturmak için önemlidir.

Hesaplamanın, yorumlamanın ve karışıklık matrisi içgörünleri hakkında hareket etmek, doğrulama gibi tek ölçümlere kör güvenenlerden etkili makine öğrenme uygulayıcılarını ayırmaktadır. karışıklık matrisi sadece modelinizin işe yaradığı, ancak nasıl çalıştığını ve onu geliştirmek için ne yapabileceğinizi ortaya çıkarır.

Gerçek pozitifleri inceleyerek, gerçek negatifler, yanlış pozitifler ve yanlış negatifler, modelinizin davranışını tam bir resim elde edersiniz. Bu bileşenlerden elde edilen ölçümler - uyumluluk, hassas, hatırla, F1 puan ve diğerleri -her zaman hikayenin bir bölümünü anlatıyorlar, sadece test setlerinde iyi performans gösteren modeller için size rehberlik ederler, ancak üretim uygulamalarında gerçek değer verir.

Sınıflama modellerini inşa ettiğinizde, karışıklık matrisi analiz edin değerlendirme sürecinizin merkezi bir bölümünü yapın. onu alan uzmanlığı, iş gereksinimleri ve sadece doğru olmayan modeller oluşturmak için sürekli izleme, ancak gerçekten yararlı. Zaman karışıklık matrisleri anlamak için yatırım yapmak model kalitesi, güvenilirlik ve gerçek dünya etkisi.

Makine öğrenme değerlendirme teknikleri hakkında daha fazla okuma için, kaynakları inceler:0)scikit- learning'in model değerlendirme belgeleri), [[Ücretsiz Öğrenme Crash Dersi[Döneticileri ile ilgili akademik makaleler ileri değerlendirme metrikleri üzerinde çalışır.