Tiến trình xử lý dữ liệu là một bước quan trọng trong việc chuẩn bị dữ liệu thô cho các công việc học tập không được giám sát. Dữ liệu được xử lý đúng có thể cải thiện đáng kể hiệu suất của các thuật toán như cụm và chiều giảm. Bài này thảo luận về các kỹ thuật khóa và xem xét để biến dữ liệu thô thành sự hiểu biết có ý nghĩa.

Hiểu dữ liệu thô

Dữ liệu thô thường chứa những mâu thuẫn, giá trị còn thiếu, và nhiễu có thể cản trở việc phân tích. Nó có thể đến từ nhiều nguồn khác nhau như bản ghi, cảm biến, hoặc cơ sở dữ liệu, mỗi loại khác nhau và chất lượng. Nhận ra những vấn đề này là bước đầu tiên hướng tới việc xử lý có hiệu quả.

Công nghệ dọn dẹp dữ liệu

Làm sạch dữ liệu bao gồm xử lý các giá trị còn thiếu, gỡ bỏ bản sao và sửa chữa lỗi. Kỹ thuật hóa bao gồm:

  • Sự mặc định: lấp đầy các giá trị bị mất với giá trị, trung bình, hoặc chế độ.
  • Đang tắt: Gỡ bỏ những kẻ ngoài hoặc tiếng ồn.
  • Không có nhiệt hóa:[FLT:] dữ liệu ighling đến một phạm vi chuẩn.
  • [FLT: 1] Đang chuyển đổi biến số thành dạng số.

Kỹ thuật tính năng

Công nghệ bao gồm việc tạo ra các tính năng mới, chọn những tính năng liên quan và giảm chiều. những bước này giúp thuật toán tập trung vào những khía cạnh có ích nhất của dữ liệu.

Giảm độ phân giải

Dữ liệu cao chiều có thể là thách thức cho các thuật toán không có giám sát. Công nghệ như thành phần chính phân tích (PCA) và t-Distributed Stochtic hàng xóm nhúng (t-SNE) giảm số tính năng trong khi bảo tồn cấu trúc quan trọng. Tính năng mô phỏng này mô phỏng phân tích và hình ảnh hóa.