Giới thiệu

Theo lịch sử, các ngân hàng dựa vào sự đánh giá và mô hình đơn giản của ngân hàng âm thanh. Người cho vay phải phân biệt giữa người vay và người vay sẽ trả nợ đúng thời gian. theo các quy tắc hợp lý, các ngân hàng phụ thuộc vào sự đánh giá con người và mô hình đánh giá đơn giản, nhưng sự phức tạp của các danh mục đầu tư hiện đại đòi hỏi nhiều công cụ phức tạp hơn. Cây quyết định cung cấp một cách minh bạch, trực giác, và mạnh mẽ để phân loại rủi ro tín dụng. Bằng cách đưa ra các quyết định như một chuỗi các quy tắc hợp lý, họ giúp giảm thiểu các tổ chức tài chính, định tối ưu hóa, và tuân thủ tiêu chuẩn như II Base/III và IS.

Cây quyết định là gì?

Một cây quyết định là một thuật toán học giám sát sử dụng một cấu trúc dòng chảy để dự đoán. Nó bao gồm một nút gốc (toàn bộ dữ liệu), nút nội bộ (dấu chấm (dấu chấm tắt dựa trên một tính năng), chi nhánh (có kết quả của một cuộc kiểm tra), và lá (những dự đoán chung). Đối với rủi ro tín dụng, mục tiêu là phân loại người vay là“ định giới hạn hoặc “không có khả năng sử dụng (hoặc không có)

Thành phần lõi

  • NútRoot:) Sự chia cắt đầu tiên trên tính chất hữu ích nhất.
  • Độ tiêu chuẩn đặc trưng: đo lường như tội ô uế Ghiini hoặc thu thập thông tin quyết định làm thế nào để phân chia dữ liệu để tối đa hóa sự đồng nhất tại mỗi nút.
  • Đang chạy loại bỏ các nhánh mọc quá mức để cải tiến khái quát hóa.

Những cây quyết định không tương xứng, không đưa ra những giả định về phân phối dữ liệu, và có thể nắm bắt những mối quan hệ phi tuyến tính mà không cần kỹ thuật kỹ thuật. sự khả năng giải thích của chúng là một lợi thế chủ yếu trong ngành công nghiệp quy định: một nhân viên rủi ro có thể giải thích chính xác tại sao một ứng dụng cho vay bị từ chối.

Những bước để xây dựng một cây quyết định liều lĩnh về tín dụng

1. Bộ sưu tập dữ liệu

Dữ liệu lịch sử chất lượng cao là nền tảng.

  • Dữ liệu ứng dụng:) Trích thụ, làm việc, tuổi tác, giáo dục.
  • Dữ liệuBureau: Lịch sử tư liệu, món nợ nổi bật, số lượng các dự tính trước đây.
  • Dữ liệu Bhavioral:) Mô hình giao thức, cân bằng tài khoản.
  • dữ liệu kinh tế học: tỷ lệ lãi suất, tỷ lệ thất nghiệp (cho các mô hình cấp đầu tư).

Một bộ dữ liệu điển hình chứa 10–30 tính năng và hàng chục ngàn hồ sơ cho vay. Biến đích là một cờ nhị phân: 1 nếu người mượn mặc định trong một cửa sổ hiệu suất xác định (v. d., 12 tháng), khác 0.

Xử lý trước dữ liệu 2.

Dữ liệu thô cần thiết làm sạch:

  • Đang tìm kiếm giá trị bị thiếu:, nhập chuẩn với meid (cho số) hay chế độ (cho mục nhập), hoặc coi việc thiếu là một loại riêng để lấy các mẫu có khả năng thông tin.
  • Cách đối xử tốt hơn : Giá trị cực đoan để tránh bị chia cắt.
  • Biến phân loại [FLT: 1] hoặc nhãn mã hoá cho các biến như kiểu việc làm.
  • Không có sự nhiệt đới:) không nhất thiết phải có cây quyết định, nhưng việc nhất quán quy mô giúp ích khi dùng phương pháp kết hợp sau này.

Xử lý đúng cách sẽ giảm bớt thành kiến và chuẩn bị dữ liệu để tách ra một cách hiệu quả.

3 Chọn tính năng

Chọn tính năng cải thiện hiệu suất mô hình và khả năng giải thích:

  • Thông tin chung thu thập: [FLT: 1] tính năng [FLT:] nhờ mức độ không chắc chắn về mục tiêu.
  • Phân tích đối chiếu:[FLT: 0] ) Gỡ bỏ những tính năng có liên quan cao để giảm sự dự phòng.
  • Tính năng loại bỏ đệ quy (RFE): [FLT: 1) Dùng một cây quyết định để loại bỏ những tính năng yếu.

Các tính năng thường được chọn cho rủi ro tín dụng bao gồm tỷ lệ thu nhập, lợi nhuận tín dụng, số giao dịch mở, và độ dài của lịch sử tín dụng.

4 Tòa nhà Cây

Thuật toán khác nhau trong việc tách tiêu chuẩn và kiểm soát sự phức tạp.

  • CAT (Clasiification and Reconction trees): ) dùng chất tẩy rửa Ghiini để phân loại. Nó tạo ra các phân chia nhị phân và xử lý dữ liệu bị thiếu qua việc tách người máy.
  • C4.5 / C5.0: ) Dùng tỷ lệ thông tin và tạo ra sự chia cắt đa chiều, nhưng dễ dàng hơn mà không cần cắt cẩn thận.
  • ID3:) tiền nhiệm lịch sử, hiếm khi được dùng trong sản xuất.

Điều chỉnh siêu chiều rộng

Tham số chính điều khiển độ phức tạp cây:

  • : giới hạn cấp tối đa để ngăn chặn giá trị quá hợp (common: 5–15).
  • : số mẫu tối thiểu cần thiết để chia một nút (v. g., 50).
  • : mẫu tối thiểu trên lá (e.g., 20).
  • : số tính năng được xem xét cho mỗi chia (v. d., nhỏ hơn tổng số tính năng).

Sử dụng sự va chạm để chọn tham số. Một cây nông có thể bị nền; một cây sâu nhớ tiếng ồn. Mục tiêu là một cây có tổng quát hoá người mượn vô hình.

5. gấp rút

Khi nó được trồng sâu, nó sẽ giảm xuống còn sâu hơn 2 cách tiếp cận thông thường:

  • Đang chạy chương trình (ngập tắt: ) Dừng việc tách khi nút chứa ít hơn số mẫu hoặc khi chia không cải thiện sự giảm ô nhiễm vượt quá mức thu nhập tối thiểu (v. d.: 0.
  • Việc chạy ngược (sự phức tạp hóa giá trị: [FLT: 1) phát triển một cây đầy đủ, rồi tự nhiên loại bỏ các nhánh thêm một ít giá trị dự đoán. Hãy chọn cây con với lỗi nhỏ nhất có tính ngang. hỗ trợ điều này qua tham số [FLT: 5.

Cây cối có nếp nhăn thì đơn giản hơn, ít có xu hướng quá sức thích hợp hơn, và dễ dàng triển khai sản xuất hơn.

Lợi ích của việc dùng cây quyết định để ngân hàng

  • Khả năng dự đoán:) Một cây quyết định có thể được hình dung và giải thích cho những người không phải là chủ sở hữu về công nghệ.
  • [FLT: 0] Không cần thiết tỷ lệ: các phần tử và tính năng phân loại được xử lý tự nhiên, giảm các bước xử lý trước.
  • Các mối quan hệ phi tuyến tính: các sự tương tác giữa các tính năng (v. d., thu nhập và số lượng cho vay) tự động được thu qua các sự tách.
  • Đã ghi chú: Một khi được đào tạo, dự đoán là thời gian sử dụng nhanh tương đương với độ sâu của cây. Lý tưởng cho việc quyết định tín dụng thời gian thực.
  • Tầm quan trọng của tính chất: cây cung cấp các mét có sẵn (v. d., có nghĩa là giảm trong ô uế) để xếp hạng các yếu tố có ảnh hưởng nhất.

Những thử thách và sự quan tâm

Quá phù hợp

Những thay đổi nhỏ trong dữ liệu huấn luyện có thể tạo ra những sự phân chia khác nhau.

Dữ liệu cân bằng

Mặc định tín dụng là hiếm có- hơn 5% mẫu thử.

  • Đang sửa đổi: Giá trị quá mức (SMTE) hoặc dưới một bản mặc định.
  • Lớp học đã được cân nhắc: gán hình phạt cao hơn cho những người phân loại sai .
  • Điều chỉnh Th [FLT: 1] điều chỉnh xác suất (cây mặc định dự đoán 0/ 1; sử dụng xác suất và đặt một ngưỡng cao hơn để có nguy cơ bị đánh dấu).

Khả năng

Cây cối có thể nhạy cảm với mẫu huấn luyện đặc biệt. Một phương pháp là dùng [FLT: 0] Rừng Random ) hoặc ) ) ) Khởi động , mà trung bình nhiều cây cần giảm khả năng phân tách trong khi tính năng duy trì (sự quan trọng của việc giải thích).

Làm tăng sự phấn khởi của cây quyết định

Để sản xuất mô hình tín dụng, cây quyết định ít khi được sử dụng riêng, thay vào đó chúng là những khối xây dựng cho các phương pháp có thể phát triển:

Rừng Ngẫu nhiên

Một loạt hàng trăm cây quyết định, mỗi cây được đào tạo trên một mẫu khởi động và sử dụng các tính năng ngẫu nhiên. nó cải thiện độ chính xác và sự mạnh mẽ, nhưng với chi phí của một số khả năng giải thích. vẫn có thể giải thích được những giá trị quan trọng và phân chia có thể giải thích các dự đoán.

Gradient đẩy mạnh máy (GBM)

XG Boost, LightGBM và Cat Boost là ngành công nghiệp được yêu thích cho rủi ro tín dụng. họ xây dựng cây, học hỏi từ những lỗi trước đây. những mô hình này thường đạt được hiệu suất tối ưu, mặc dù họ yêu cầu phải cẩn thận điều chỉnh để tránh quá trình phù hợp.

So sánh

MethodAccuracyInterpretabilityTraining Speed
Single Decision TreeModerateVery HighFast
Random ForestHighModerateMedium
Gradient BoostingVery HighLow–ModerateSlow (with tuning)

Nhiều ngân hàng bắt đầu với một cây đơn để phân tích và giải thích theo quy định, rồi triển khai một mô hình đã được nâng cấp cho các quyết định cho vay thực tế.

Các khía cạnh có thể giải thích và điều chỉnh

Các bộ điều chỉnh tài chính (v. d., [FLT: 0] Ủy ban Ngân hàng ) đòi hỏi sự minh bạch và công bằng mô hình. Cây quyết định theo các nguyên tắc này vì chúng có thể được giải thích. Các đòi hỏi điều chỉnh chìa khóa bao gồm:

  • Tài liệu hướng dẫn: mỗi quy tắc chia tay phải được ghi chép và hợp lý.
  • Thử nghiệm Biss:) Bảo đảm rằng cây không phân biệt các nhóm được bảo vệ (v. d., độ tuổi, giới tính).
  • Thử nghiệm lại: so sánh tỷ lệ mặc định với kết quả thực tế theo thời gian.

Cây quyết định ) được sử dụng rộng rãi cho prit. Để sản xuất, thư viện như XGBst cung cấp khả năng giải thích xây dựng mô hình.

Kết luận

Khi thu thập dữ liệu, xử lý, chọn lựa, xây dựng và tỉa sửa cây, giải quyết những thách thức như quá hợp lý và mất cân bằng, ngân hàng có thể tạo ra những mô hình vừa chính xác vừa có thể kiểm toán được. Trong khi những cây đơn lẻ bị hạn chế về sự phức tạp, chúng tạo ra những mẫu có sức mạnh được sắp xếp theo tiêu chuẩn trong ngành công nghiệp.

Để đọc thêm, hãy xem sách CART gốc của Breiman et al. (1984) và [FLT: 0]Riss.net . Để tìm kiếm thực hiện, tài liệu hướng dẫn [FLT:] là một tài nguyên tuyệt vời.