Giriş: Neden Sınıfta Maliyet Maddeleri

Karar ağaçları, iş dünyasındaki en yorumlanabilir ve yaygın olarak kullanılan makine öğrenme modellerinden biri olarak kalır. Her iki sayısal ve kategorik verileri de kullanabilme yeteneği, sezgisel bir kural tabanlı mantıkla birlikte, kredi puanlamalarından gelen kredi puanlamalarından gelen uygulamalar için cazip hale getirir (daha iyi) Standart bir karar ağacı algoritmaları, tüm yanlış sınıflamaları eşit şekilde tedavi ederken, yanlış bir şekilde yanlış bir şekilde yanlış bir şekilde olumsuzluk maliyetinin düşmesine neden olabilir.

Maliyete duyarlı karar ağaçları doğrudan bu boşluğu öğrenme sürecine dahil ederek ele alır. minimizleme hatası yerine, toplam yanlış sınıflama maliyetine en aza indirirler. Bu değişim, iş hedeflerini model eğitim döngüsüne getirir, daha kârlı ve operasyonel olarak ilgili kararlar verir.Bu makale maliyetle hassas karar ağaçlarının prensiplerini, uygulamalarını ve gerçek dünya uygulamalarını keşfeder, veri bilim adamları ve iş analistleri için pratik rehberlik eder.

Maliyet-Sensif Karar Ağaçlarını Anlamak

Onun özünde, maliyete duyarlı bir karar ağacı eğitim algoritmasını değiştirir, böylece farklı hataların türleri farklı cezalara katkıda bulunur.The model is built to support partitions, even if that means improve low-cost errors.The two basic components are the.

Maliyet Matrix Nedir?

Bir maliyet matrisi, gerçek ve öngörülmüş sınıfın her kombinasyonu ile ilişkili ceza veya maliyet tanımlar. ikili sınıflandırma problemi için, matrix dört giriş vardır:

  • [0]C(TP) = 0[[Dönemli bir pozitif (kork tahmin) maliyeti sıfırdır.
  • [FONT) = 0[[Dönem:0)C(TN) = 0[Dönetici:0)) = 0[Dönemli bir negatif maliyeti sıfırdır.
  • [FONT:0)C (FP)) - yanlış bir pozitif (örneğin, doğru bir işlem) maliyeti.
  • [FONT:0)C (FN)) - yanlış bir negatif negatif (örneğin, bir hileli işlemi eksik).

Birçok gerçek dünya senaryolarında C(FN) C(FP)'den çok daha büyükdir, örneğin kanser taramasında, bir malignancy (FN) can be life- Tehdit edilebilir, ancak yanlış bir alarm (FP) sadece hafif bir endişe ve ekstra teste neden olabilir.

Nasıl Kilo Verme Köprüleri Ağaçlara Maliyetler

En karar ağacı uygulamaları, scikit-learn'in dördüşü:0) dahil olmak üzere, her örnek için yanlış sınıflama maliyetinin (örneğin, 100) tarafından belirlenen ağırlıkların ağırlıkları tespit etmek için her türlü eğitim örneği, nodeFLT:0) Ağacın hassas olması için, sınıf için yanlış sınıflama maliyetinin yüksek olduğu durumlardan dolayı daha yüksek ağırlık tayin etmemizi sağlar.

Sadece sınıf boyutlarının dengelendiği basit sınıf ağırlık tekniklerinin aksine, maliyet duyarlılığı için örnek ağırlık, tam iş maliyeti yapısını korur. ağaç, pahalı hataları doğru şekilde sınıflandırmayı tercih eder, ancak bu daha ucuz olanları yanlış anlama anlamına gelir.

Standart vs. Cost-Sensitive Decision Trees

Standart bir karar ağacı, Bayes'in en iyi sınıflandırıcılığı, tüm işlemler için "ilaç" tahmin ederek, bu, altoptimal. Örneğin, FN için yalnızca% 1'in hileli bir tespiti dikkate alındığında, tüm işlemlerin "ilişmanlık" olduğunu tahmin ederek, sıfır yanlış pozitif olduğunu varsayar.% 100 false negatif negatiftir.

İş Uygulamaları Neden Maliyet Hassasiyeti Talep Ediyor

Her iş kararı asimetrik sonuçları içeriyor. asimetrik maliyet gözlüğü, teknik olarak henüz ekonomik olarak zararlı olan modellere yol açıyor. Aşağıda, maliyete duyarlı karar ağaçlarının net avantaj sağladığı ortak domainler vardır.

Dolandırıcılık ve Finansal Suçlar

Sahte bir pozitif maliyetle ilgili olarak, yanlış negatif olumsuz işlemleri kontrol etmek için yanlış bir şekilde optimize edilmiş olan maliyetler oldukça düşük olsa da, bu çok sayıda yasal işlemden dolayı yanlış bir şekilde yararlanılabilir.(0)FICO'nun maliyete duyarlı bir dolandırıcılık algılamasını araştırırken, ancak hata oranı yerine toplam maliyetin az olduğu ortaya çıkar.

Müşteri Churn Prediction

Tüm müşteriler eşit değildir. yüksek değerli uzun vadeli bir abone maliyetleri müşteri değeri için daha fazla düşük ücretli bir kullanıcı için harcama eylemlerine öncelik vermekten daha fazla masraflar. Maliyete duyarlı karar ağaçları yüksek ücretli için churn for high-CLV (customer ömür boyu değer) segmentleri tahmin edemez.

Kredi Risk ve Kredi Yazının Altında

Kredilendirmede, yanlış bir negatif (kötü bir krediyi onaylayın) genellikle tüm ana artı faiz kaybına mal olur, yanlış bir pozitif (iyi bir başvuru sahibine karşı) ancak kayıp kar fırsatı sunar. Maliyete duyarlı ağaçlar, kredi verenlerin karar sınırını bu maliyetleri açıkça ayarlamasına izin verir.D:0) Maliyete duyarlı kredi puanlama literatürü’de).

Tıbbi Tanı ve Sağlık Operasyonları

Bir koşulu özleyen teşhis modelleri (FN), tedavi ve daha kötü sonuçlar doğurabilir, ancak overdiagnoz (FP), önceden belirlenmiş prosedürlere ve kaygılara neden olabilir. Maliyete duyarlı ağaçlar, hastanelere tüm hataların maliyetine göre en azalabilir, genellikle kaliteli-haklı yaşam yılları veya doğrudan tıbbi harcamalar açısından tanımlanabilir.

Uygulama Yaklaşımları

Maliyete duyarlı karar ağaçları üç geniş strateji ile fark edilebilir: veri seviyesi, algoritma seviyesi ve post-hoc eş ayarlamaları.Her biri basitlik ve optimallik arasında ticaret yapıyor.

Data-Level Yöntemleri: Örnek Ağırlık ve Kısıtlama

En basit yöntem, sınıflama maliyetinin doğru şekilde belirlenmesi için örnek ağırlıkları belirlemektir.In scikit-learn, you simply pass aİLFLT:2Contople the d-cost class, but exampleweighting protects in the impurity measure (Gini or Entropi) so that partitions that correct class.In scikit- learning, you simply pass aİLFLT:2 which to the sun to the sun to the sun to the sun to the sun to the sun the sun to maintain the original distribution while makeing impact. Data- level methods are support.

Algoritma-Level Yöntemleri: Değiştirilmiş Bölünme Kriterleri

Bazı araştırmalar, bölünme kriterinin kendisini doğrudan tahmin edilen maliyetin yetersiz kalmasına olanak tanır. Örneğin, "malzeme" değişkeni, farklı maliyetlerden ayrılmaya farklı maliyetler atabilir. Ancak, algoritma düzeyinde değişiklikler standart kütüphanelerde daha az yaygın olarak desteklenmelidir.

Post-hoc Threshold Tuning

Standart bir karar ağacı (veya herhangi bir olasılıksal sınıflandırıcı), karar eşiğine maliyetleri yansıtmak için ayarlayabilirsiniz. Bu yükümlülükler, optimal eşiğinize edilmesi gerekir:0)p* = C (FP) / (C(FP) + C (FN)[P)) öncekiler eşit olduğunda, daha önceleri dengesiz bir şekilde inşa etmeniz gerekir. Bu yaklaşım genellikle ağaç yapısını değiştirir; ancak sınıflandırma sınırı değiştirir.

Step-by-Step Uygulama Kılavuzu

Aşağıdaki adımlar Python ve scikit-learn kullanarak maliyete duyarlı bir karar ağacı nasıl uygulayacağını özetliyor. İşi doğrudan model eğitime entegre ediyor.

1. İş Maliyeti Matrix'i Tanımlayın

Her bir hata türünin parasal maliyetini tahmin etmek için alan uzmanlarıyla çalışın. dolandırıcılık için C(FN) belirli bir müşteri segmentinde bulunan geliri elde eden net bir değer olabilir; C(FP)=$10, C (FN) = 500 $.

2. Maliyet Matrix'i Örnek Ağırlıklara Dönüştürmek

Güçlü bir yaklaşım, her eğitim örneği, sınıfsal bir problem için ağırlık belirlemek için bir ağırlık tahsis etmektir.Seks-w i = C(i, j)[Düzücük için maliyetle ilgili tüm örnekler için geçerlidir.[Düzükleersiz)[Düzükler, çünkü ağaç, daha basit bir yöntem ağırlık tayin edilir.[C) Tüm ağırlık örneklerini alır (C)[Düzükler için).

Veri kümesi büyük ve maliyetler her müşterinin farklı CLV olduğu yerde değişirse, aynı fikrin doğrudan uzantısıdır.

3. Karar Ağacı Örnek Ağırlıklarla Trenler

from sklearn.tree import DecisionTreeClassifier

cost_FN = 500
cost_FP = 10
sample_weights = y * cost_FN + (1 - y) * cost_FP

clf = DecisionTreeClassifier(max_depth=5, random_state=42)
clf.fit(X_train, y_train, sample_weight=sample_weights)

Not: Yukarıdaki kod, 1'lerin (pozitif) sayısal ve 0'ların (gerçek kodlama için ayarlandığından varsayılır.

4. Maliyet-Aware Metriklerini Kullanımı

Sadece doğruya güvenmeyin.Tüm maliyeti bir iş yerinde dengelemek için: toplam cost = toplam (önemli hataları * ilgili maliyetler) Bu ile bir temel modelle karşılaştırın (örneğin, ağırlıksız ağaç). Farklı eşlerin arasında karşılaştırma maliyeti azaltılabilir. Ayrıca hesaplama maliyeti -0) tahmin başına maliyet maliyeti).

5. Maliyet için Tune Hyperparametreleri

Ağaç derinliği, yaprak başına minimum örnekler ve pruning parametreleri maliyet bazlı bir nesne işlevi kullanarak optimize edilmelidir. Puanın negatif toplam maliyet (veya toplam tasarruf) olduğu yerde geçiş yapın.

Maliyet-Sensif Modeller için Değerlendirme Topları

AUC-ROC ve F1-mark gibi standart ölçümler maliyete duyarlı problemler için yeterli değildir, çünkü para etkisini yakalamazlar. Bunun yerine aşağıdakileri kullanın:

  • [0]Toplam Yanlışlık Maliyeti:[Dönetici:[Dönetici:0)Test setinde tüm terörle ilgili masraflar.
  • [FONT:0]Cost Tasarrufları: [Dönerge modelinin en iyisi – maliyete duyarlı model maliyeti) / Temelde maliyet artışı.
  • [FONT=0]Cost-Sensitive Precision and Recall:[Dönetici:0) Kilo hassaslığı ve maliyet matrisi tarafından hatırlanır. Örneğin, maliyet ağırlıklı hatırla = (TP * 0) / (TP*0 + FN*C (FN) = 1 - normalleştirilmiş yanlış negatif negatif negatif negatif maliyet.
  • [FONT=0) Parasal ŞartlardaLift: İşlem başına veya modeller arasındaki müşteri başına maliyetle karşılanır.

İş paydaşlarına sunulanda, her zaman model performansını kurtarılan veya gelir geri kazanılır. Birkaç ek sahte alarm pahasına toplam maliyeti azaltan bir model, AUC'yi 0.02 ile geliştirenden daha kolay.

Gerçek Dünya Vaka Çalışmaları

Bir Ödeme Süreçorunda Dolandırıcılık Tespiti

Büyük bir ödeme işlemcisi gerçek zamanlı dolandırıcılık tespiti için maliyete duyarlı karar ağaçları uyguladı. Standart modeli %99,8 doğruluk elde etti, ancak her bir yanlış olumlu maliyetle 5 $ değerindeki ortalama dolandırıcılık miktarından tasarruf etti.

Bir Telco için müşteri yeniden kabul

Bir telecom şirketi, ödeme sonrası müşteriler arasında zıvırları tahmin etmek için maliyete duyarlı karar ağaçları kullandı.Her müşteri eşit ağırlıklarla eğitilmiş bir modele kıyasla, çünkü müşteri CLV tarafından her eğitim örneği için müşteri CLV'ye ağırlık vererek, model yüksek değerli değerlere odaklandı.

Acil Bir Anabilim Dalında Tıbbi Triage

Bir hastane, hastaların 24 saat içinde ICU'ya giriş yapmasını öngören maliyete duyarlı bir karar ağacı uyguladı.Hastalıklı bir hastayı kaçırma maliyeti (FN) gecikmiş bir tedavi ve potansiyel yetersiz risk olarak tanımlandı, hasta başına tasarruf maliyetinin yaklaşık 1.2.000 $ olduğunu tahmin etti.

Ortak Zorluklar ve Çözümleri

Challenge 1: Doğru Maliyetleri Tahmin Etmek

İş maliyetleri genellikle belirsiz ve bağlamsaldır. Sabit bir maliyet matrisi, birçok maliyet matrisini test ederek (örneğin, bazı dolandırıcılık kayıpları küçük, diğer büyük).Ücret:0)Solution:) Mevcutsa, veya hassas analizleri yerine getirebilseydi, veya birden fazla maliyet matrisini test ederek performansa yardımcı olabilir. Monte Carlo simülasyonu, sağlamlığı değerlendirmenize yardımcı olabilir.

2. HaftaData Imbalance Magnified by Costs

C (FN) çok yüksek olduğunda, model olumlu sınıfları aşırı tahmin edebilir, çok fazla yanlış pozitif ve operasyonel yük yaratır. )Uygun:)Sayı:[Dönetici:[Dönetici verileri kullanarak maliyet matrisi kullanarak. FP ve FN dinamik olarak dengeleyerek bir eş ayarlamayı düşünün.

Challenge 3: High-Weight Instances

Birkaç örneği son derece yüksek ağırlıklara sahipse (örneğin, birkaç milyon dolarlık dolandırıcılık vakası), ağaç bu noktalara aşırı uyum sağlayabilir. Tanıtım:[Dörtüncü ağırlıklar, normalleştirmeler kullanarak normalleştirmeyi kullanabilir ve Random Forests gibi örnek ağırlıkları olan yöntemlere katılabilir.

Challenge 4: Model Yorumability Trade-Off

Derin maliyete duyarlı ağaçlar karmaşık hale gelebilir.ETHFLT:0)Solution:[Dönetici:[Dönetici:0) Maliyete duyarlı bir kural çıkarma veya limit derinliğine sahiptir. genellikle sığ bir ağaç (derinlemesine 4–5) örnek ağırlıklar yorumlanabilir kurallar ve büyük maliyet tasarrufu sağlar.

Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç

Maliyete duyarlı karar ağaçları teorik bir merak değil, ancak scikit-öğrenme modellerini gerçek dünya iş hedeflerini kullanarak uyumlu bir şekilde kullanarak, işletmeler eğitimde maliyet matrisi oluşturmaya devam ettikçe, işletmeler dolandırıcılık algılamada finansal kayıpları dramatik bir şekilde azaltabilir, churn yönetimi, kredi riski ve ötesindeki uygulamalar basit bir şekilde kullanır.

Daha fazla okuma için, [[Dönetici-öğrenme ağacı belgesine bakınız[Dönetici:0) ve Elkan tarafından klasik kağıt, "The Foundations of Cost-Sensitive Learning" (İngilizce).