Modern makine öğrenimi boru hatlarında, ham veriler nadiren bir modele dönüştürülür. Eğitim başlamadan önce, veri noktaları üzerinde mantıksal bir siparişin temizlenmesi gerekir - ortaya çıkan veri kümesinin hem yönetilebilir hem de temsilcisi olması gerekir. Sorting algoritmaları, geleneksel olarak veritabanı işlemleri ve arama optimizasyonları ile ilişkili olarak, veri puanları hakkında doğrulayıcılar oluşturmak için doğrulayıcı bir şekilde eleştireldir.
Data Preprocessing for Machine Learning için Sorting
Veri preişmanları, herhangi bir makine öğrenme projesinde zamanın önemli bir bölümünü tüketmektedir. Sorting, logarithmic zamanında belirli alt kümeleri bulmak için ikili arama gibi teknikleri uygulamak özellikle de milyonlarca veya milyarlarca kayıt içeren yapılara yol açan koleksiyonlara dönüştürür.
Verimlilik Veri Retrievallarında Kazananlar
Unsorted data, bir kriterle ilgili kayıtları tanımlamak için tam tarama gerektirir. Örneğin, bir dizi içinde tüm kayıtların değerini seçerek yapılan işlemlerden ilk% 1'i seçerek herhangi bir milyar giriş listesi, her kaydı taramayı içerir.T:2.Bu verimlilik, hiperparametre veya çapraz-validasyon sırasında tekrarlanan bir şekilde kritiktir.
Enabling Advanced Sampling Techniques
Birçok örnekleme yöntemi, nüfusun sipariş edilen bir gösterimine bağlıdır. Strasted örnekleme, veriye göre gruplama gerektirir; sistematik örnekleme sabit bir aralık gerektirir; rezervuar örnekleme, akışlarda adilliği korumak için sıralanabilir.Asla bu teknikler, hesaplamalı olarak yasaklayıcı veya kaybetmektedir.
Anahtar Algoritmalar ve Uygulamaları Veri Sampling
Farklı tür algoritmaları hız, hafıza kullanımı, stabilite ve paralellik sunar. Algoritma seçimi, örnekleme boru hattının genel performansını dramatik şekilde etkileyebilir. Aşağıda, veri yoğun uygulamalardaki en yaygın kullanılan tür algoritmaların çoğudur.
QuickSort: Hız ve Katılımcı
QuickSort, birçok standart kütüphanede genellikle varsayılan olan bir bölme algoritmasıdır (örneğin, C++ENFLT:4) Örnek olarak, QuickSort hafızadaki tüm veri kümesine uygun olduğunda başarır.In stratejik örnekleme için, QuickSort genellikle sınıf etiketleri ile ayarlanabilir, sonraki rastgele örneklemelere izin verebilir.In sample, QuickSort hibrid).In sample, QuickSort masters when the entire dataset in memory.For stratified datacoled, QuickSort can quickly data by class label.
Bununla birlikte, QuickSort stabil değildir ve büyük ölçekli örnekleme iş yükleri için, bu korumaları içeren kütüphane uygulamalarına güvenmek en iyisidir.Introsort like introsort mitigate this by switch to HeapSort when recursion deep-scale sample workloads, it is best to rely on library applications that include these protections.
MergeSort: Stable and Dış Sorting
MergeSort verileri küçük bir chunkslara ayırır, her bir chunk'a bir araya getirir ve sonra onları birleştirir. onun OLFLT:6, en kötü durum performansı ve istikrar (daha küçük elementlerin göreceli siparişini korur) bir akış modaya sığmayan bir yaklaşım için ideal kılar, sadece Apache Hadoop ve Spark gibi dışsal bir algoritmalar dağıtır.
Örneğin, ikincil anahtarlar var olduğunda Stability önemlidir, eğer zamanlayıcı ve sonra müşteri kimliği tarafından, aynı müşteri kimliği ile kayıt için zaman damgasını sipariş etmek için sürekli olarak korumanız gerekir. Bu, her bir strateji içinde kronolojik siparişi korumak için gereken zaman ayarlı örnekleme için önemlidir.
HeapSort: Garantili Performans
HeapSort, zayıf önbellek nedeniyle en yüksek elementi geri alır ve çoğu zaman 180 $ 'lık en kötü örnekleme sistemlerindeki en kötü örnekleme sistemlerini kullanır. Örneğin, örnek olarak, sabit bir sayıda kayıttan elde edilen bir veri akışı nedeniyle, HeapSort, tüm veri kümesini sıralamak zorunda kalmadan bir şekilde çalıştırılabilir.
Konting Sort ve Radix Sort: Integers için Promosyon Olmayan Sorting
Anahtar değerleri sınırlı bir aralığı ile tamsayılar olduğunda (örneğin, sınıf IDs 0-100, ölçümlenen özellikler), her kategorideki olayları sayarak ve sonra kıyaslama indeksleri doğrudan uyumlu sıralamalar elde edebilir, karşılaştırma tabanlı sıralamalar için özellikle kullanışlıdır.
Yüksek boyutlu veriler için, kova türü veya bin türleme, bu yöntemler ile stratejili veya küme örnekleme için hızlı bir şekilde bölüm verileri ile birleştirilebilir.
Detaylı Örnekleme Yöntemleri Detaylı
Strarec edilen Sampling with Sorted Etiketler
Strarec edilmiş örnek, her bir alt gruptaki (strator) oranlarının, kontiguous blokları olmadan, her bir stratum veya birden fazla öğe için herhangi bir binayı uygulamaktadır.Bu yaklaşım, rastgele sıralama anahtarındaki elementleri seçerek çizilebilir.Bu yaklaşım, tüm veri indeksine tek bir tür indekse bölünmüş olması için yapılandırılabilir.
Python'da, bu, bir DataFrame ile bir veri kümesi ile kolayca uygulanabilir ve sonra ile birlikte, tüm bir DataFrame kullanmak pahalı olabilir; çok büyük veri setleri için, [[Dönetici- learning's StraizedShuffleSplit).
Systematic Sampling After Sorting
Sistematik örnek, rastgele bir başlangıç noktasının ardından her türlü elementi seçer. Örnekin temsil edilmesinden emin olmak için, veri kümesi öncelikle ilgi değişkenleri ile ilişkili bir anahtar tarafından sıralamalıdır. Örneğin, örnek olarak, bir anket için müşteri kayıtlarının tüm yaş aralıklarının orantılı olarak kapsamazsa ortaya çıkmasını sağlar.
Sistematik örnekleme özellikle büyük, tutarlı bir şekilde depolanmış veri kümeleri için etkilidir (örneğin, log dosyaları, zaman serisi arşivler) çünkü sıralanan sipariş fiziksel depolama düzeni ile uyumludur, rastgele I/O. Bu veritabanı optimize edilmiş bir örneklemedir.
Reservoir Sampling ve Sorting Rol
Reservoir örneği, bir önyargılı siparişe geldiğinde (örneğin, erken elementler bilinmeyen bir uzunluktan farklı), rezervuar örneği doğal olarak gerekli değildir, türleme iki şekilde performansını artırabilir. İlk olarak, eğer akış bir önyargılı siparişe gelirse (örneğin, erken elementler daha sonra farklı), her bir eklemeden sonra rezervuar örneği korumak için bir temsilci örneği tutabilir.İkinci olarak, rezervuar örneklemesine izin vermek için, her bir örnekle dağıtamaz.
çevrimdışı veri setleri için, bir tür rezervuar, verileri bir kez tarayarak ve örneklenmiş indekslerin listesini sürdürmek, verimli ek ve kaldırmaya yardımcı olabilir. Kütüphaneler gibi:0)Python'un [FLT][Dönemli bir şekilde seçilmiş elementlerin tutarlı bir şekilde üretilmesine güvenmektedir.
Pratik Faydaları ve Ticaret-offs
Az önce C ⁇ Kompleksi azaltıldı
En doğrudan sıralama fayda, uzun süre karmaşık operasyonların azalmasıdır.Bir türden elde edilen veriler, rastgele erişim veya 03: 18) için rastgele erişim veya arsalama sırasında kurtarılabilir.Asla, bu işlemlerin çoğu gerekli olacaktır.
Ancak, bu tür bir adımın kendisi de var. Pratikte, bu kabul edilebilir çünkü türleme birçok örnekleme işlemi üzerinde amortize edilebilir bir zaman maliyetidir.Son derece büyük veri kümeleri için, dağıtılmış tür algoritmaları (örneğin, MapReduce bazlı tür) mevcuttur ve maliyet kümeler arasında paralelleştirilebilir.
Memory ve I/O Thinkations
In-memory sorting, tüm veri kümesinin RAM'a yüklenmesini gerektirir, bu genellikle bir tür performans göstermesi için daha verimlidir. Dış tür algoritmalar, veritabanı sistemlerinde uygulananlar gibi, XPT:0pandas[Dönesel stratejiler kullanarak) ile ilgili olarak, genellikle hafıza eşleri ile etiketlenmeleri için daha verimlidir.
Zaman serisi verileri için, zaman damgası ile sıralama aynı zamanda sıkıştırmayı ve depolama ayak izinini artırabilir, örnekleme sırasında I/O performanslarını dolaylı olarak kullanabilir.
Doğruluk vs. Overhead
Örnekleme verimliliğini geliştirirken, bu tür siparişin rastgele bir seçim mekanizması için bir proxy olarak kullanılması gerektiği konusunda önyargıyı ortaya çıkarabilir. Örneğin, türleme olmayan bir anahtarla sıralamak ve sonra ilk derecelikT:22'in elde edilmesi gerekir; nüfus temsil edilemeyen bir seçim yaratır. Sorting her zaman doğru rastgele seçim mekanizması ile birleştirilmelidir.
Uygulamada, örnekleme stratejisinin gerektirdiği maliyetlere çok fazla olan faydalar (örneğin, stratejilenmiş veya sistematik örnekleme) Tam olarak rastgele örnekleme olmadan, türleme gereksizdir ve kaçınılmalıdır.
Gerçek Dünya Örnekleri ve Vakaları Kullanın
Eğitim Dengeli Verisetleri
Imbalance sınıflandırma veri setleri (örneğin, azınlık sınıfı ile dolandırıcılık tespiti %99 normal, %1 sahte) genellikle azınlık sınıfı korumak için gerekli örnekleme gerektirir.Seksle birlikte, sınıf etiketiyle tüm dolandırıcılık örneklerini ayırt edebilir.
Zaman serisi Data Sampling
Zaman serisi verileriyle uğraşırken, sensör okumaları veya finansal işlemler gibi, zaman zaman zaman damgası veri sızıntısını önlemek için gereklidir.Eğitim örneklerinin zaman zaman zamanlı bir pencereden çekildiği ve geçerlilik setlerinin daha sonra sıralanmış bir zaman serisinden geldiğini garanti eder.
Büyük-Scale Sampling
Apache Spark gibi dağıtılmış hesaplama çerçevelerinde, örnekleme genellikle veri kıvrımları sırasında yapılır.Rektöre göre her bir eki dengelemeyi geliştirir ve ağ dengelemesini azaltır. Spark'surFLT:25) tam bir tür dağıtılmış örnek olmadan küresel bir örnek vermek.
GPU-akcelerated makine öğrenimi için, RAPIDS cuDF tür verileri paralel radix tipi kullanarak, CPU tabanlı türlerinden daha hızlı hız siparişlerine ulaşmak.Bu, online öğrenme modelleri için akış verilerinin yakın zamanlı örneği sağlar.
Gelişmiş düşünceler: Dağıtılmış ve GPU Ortamlarında Sıralama
Veri setleri tek bir makinenin ötesinde büyürken, türleme dağıtılmış bir işlem haline gelir. Örnek Sorti Sortileri örnekleme anahtarları ile aynı bölümleme mantığı yeniden dağıtılır ve sonra her bir stratumun tek bir düğümde işlenmesini sağlamak için yeniden dağıtılır.Bu, veritabanı ve büyük veri çerçeveleri.For example, the same partitioning logic can be replicad to ensure that each stratum is processed on a single node, the connection-network.
GPU sorting, derin öğrenme hatları için giderek daha fazla alakalı hale geldi.Demokrat'ın NB kütüphanesi ve cuDF yüksek performanslı radix'i uygulamaktadır ve saniyeler içinde milyarlarca elementi bir araya getirir.Online örnekleme ile birlikte, bu araçlar her zaman hafızada eğitilmiş alt kümelere izin verir, verimli mini-batch oluşturmasını sağlar.
Bir örnekleme hattı için bir tür algoritma seçerken, uygulayıcılar veri boyutunu, anahtar türü, hafıza bütçesini ve paralelliği göz önünde bulundurmalıdır. tek boyutlu bir çözüm yoktur; temsilci donanıma ilişkin sıralama adımının ölçülmesi şişeden kaçınmanız önerilir.
Final Düşünceler
Sınıflama algoritmaları bir ders konseptinden çok daha fazlasıdır - aksi takdirde modern veri setleri üzerinde pratik bir şekilde pratik bir şekilde pratik olarak kullanılabilir ve makine öğreniminde istatistiksel olarak ses veri örneği. sınıf dağıtımlarından zaman analizlerini hızlandırmaya, veri görselleştirme yöntemlerine uygun olarak, aksi takdirde modern veri setlerini düzeltmeye devam edecek şekilde ayarlama yeteneği.Sort, MergeSort ve QuickType gibi algoritmaların arasındaki ticaret-offlarını anlamak için, veri toplama sistemleri daha yüksek bir şekilde, veri bilim insanları, önceden işleme araçları olarak sıralayabilirler.