Table of Contents
Il rapporto fondamentale tra ordinare e compressione
Mentre la maggior parte degli ingegneri si concentrano sulla codifica entropia, sui metodi del dizionario o sulla codifica di trasformazione, un acceleratore spesso sovrapposto sta selezionando. Gli algoritmi di selezione fanno più che riordinare i dati; riducono l'entropia, consentono il rilevamento dei modelli e le informazioni sulla struttura in modo che i motori di compressione possano sfruttare la ridondanza con un minimo di overhead.
Gli algoritmi di compressione senza perdite come Huffman coding, run-length encoding (RLE), e Burrows-Wheeler Transform (BWT) si affidano a dati ordinati o parzialmente ordinati per raggiungere elevati rapporti di compressione. Anche i codec persi come JPEG-2000 utilizzano la selezione di coefficienti di wavelet per una quantizzazione efficiente.
Come ordinare riduce Entropy
Entropy, nella teoria dell'informazione, misura la quantità media di informazioni contenute in una fonte. L'alta entropia significa che i dati sono vicini a casuale e difficile da comprimere. La selezione riduce l'entropia locale raggruppando valori simili. Quando identici byte o token appaiono consecutivamente, schemi semplici come la codifica della lunghezza di esecuzione diventano estremamente efficaci.
La riduzione dell'entropia non è globale; la smistamento introduce un tipo diverso di struttura. Il compressore deve registrare l'ordine originale (trasformando inverso o permutazione) per consentire la ricostruzione senza perdita. Ma il costo di immagazzinamento che la permutazione è di solito molto inferiore al risparmio dell'entropia abbassata.
Ordinazione come fase di preprocessing
Molti sistemi di compressione si applicano come fase di preprocessing. Il Burrows-Wheeler trasforma le partizioni dell'ingresso in blocchi, quindi ordina tutte le rotazioni cicliche di ogni blocco. Il risultato è una stringa altamente localizzata — i caratteri che spesso co-occur nell'ingresso diventano adiacenti. Questa uscita, dopo una trasformazione di movimento-to-front, produce molti byte a valore zero, che vengono poi trasformati in estensione di RLE e Huff
Un altro esempio è l'uso di smistamento nei metodi del dizionario Lempel‐Ziv. Il dizionario è spesso implementato come tabella hash o albero. Se il dizionario è ordinato (ad esempio, un elenco ordinato di frasi), la ricerca binaria riduce il tempo di ricerca da O(n) a O(log n). Questo speedup diventa critico nelle pipeline di compressione ad alto rendimento, come quelli utilizzati nella trasmissione dati in tempo reale.
Ordinazione comune Algoritmi utilizzati in compressione
Non tutti gli algoritmi di smistamento sono altrettanto adatti per i carichi di lavoro di compressione. La scelta dipende dalla dimensione dei dati, dai vincoli di memoria e se l'ingresso può essere elaborato in luogo.
- Quicksort[]] è ampiamente utilizzato per la selezione in-memoria di blocchi a causa del suo tempo medio O(n log n) e della bassa sovraccarica. Molte implementazioni bzip2 utilizzano la rapida gamma per la costruzione di array suffissi BWT, anche se la sua peggiore custodia O(n2) può essere problematica per gli ingressi avversari.
- Mergesort[]] è stabile e offre tempo garantito O(n log n) che lo rende una buona misura per la selezione esterna quando i dati superano la RAM. Alcuni strumenti di compressione che ordinano grandi tabelle di simboli utilizzano una variante di fusione esterna.
- Radix Sort[] è lineare nel numero di bit per chiave, rendendolo attraente per ordinare integer (ad esempio, valori pixel, conteggi di frequenza), utilizzato in alcuni compressori speciali per la grafica e dati scientifici dove le chiavi sono di larghezza fissa.
- Introspezione Sort (Introsort)[] inizia con una rapida gamma ma passa alla heapsort quando la profondità di ricorsione supera una soglia, combinando velocità con sicurezza. È il tipo predefinito nella libreria standard C++ e appare in molte condotte di compressione che hanno bisogno di un comportamento robusto peggiore.
Ordinazione in tecniche di compressione senza perdita
Gli algoritmi di compressione senza perdite sfruttano la ridondanza senza distruggere le informazioni. La selezione si integra naturalmente in molti di loro, spesso come un'operazione primitiva all'interno del coder o come pre-trasforma.
Encoding Run-Length (RLE) con dati ordinati
Il suo fattore di compressione dipende interamente dalle lunghezze di esecuzione. L’impostazione dell’ingresso può convertire una sequenza casuale in lunghe corse, aumentando notevolmente l’efficacia di RLE. Ad esempio, le immagini di fax in bianco e nero (Group 4 compression) utilizzano una codifica a lunghezza d’esecuzione bidimensionale che beneficia dell’ordine naturale delle linee di scansione.
Huffman Coding e uscita ordinata
La codifica Huffman costruisce un codice prefisso ottimale basato sulle frequenze dei simboli. L'algoritmo stesso richiede l'ordinamento delle frequenze per costruire l'albero binario in modo efficiente (tipicamente usando una coda di priorità, che è una struttura ordinata).
Lempel-Ziv Algoritmi e Dizionari Ordinati
Compressori basati su dizionario come LZ77, LZ78 e i loro derivati (LZW, LZMA) mantengono una finestra scorrevole o un dizionario crescente di frasi. Strutture dati ordinate, come alberi bilanciati o tasti da tavolo ordinati, velocizzano la ricerca più lunga-match. Ad esempio, zlib utilizza una tabella hash il cui vantaggio di catena di smistamento di secchi hash.
Burrows-Wheeler Transform (BWT) e Sorting
La colonna di compressione BLT è forse l'ultima rappresentazione diretta del ruolo di smistamento nella compressione. Si costruisce una matrice di tutte le rotazioni cicliche di un blocco e ordina le righe lessicograficamente. L'ultima colonna di questa matrice ordinati diventa l'output trasformato.
Codifica e Ordinazione Arithmetic delle Probabilità
Se le probabilità di simboli variano con il contesto, i contesti di selezione possono migliorare l'accuratezza della stima delle probabilità. I coder aritmetici adattivi spesso mantengono una lista ordinata di coppie di contesti-simbolo per individuare rapidamente la distribuzione delle probabilità rilevanti.
Il ruolo di selezione nella velocità di decompressione
La decompressione deve ricostruire rapidamente i dati originali, spesso con memoria limitata. La selezione accelera questa ricostruzione in diversi modi.
Ricodizionamento più veloce con strutture dati ordinate
Molti formati compressi memorizzano i metadati (le lunghezze di codice, gli offset, i conti di esecuzione) in ordine ordinato. Ad esempio, i tavoli di codice Huffman sono ordinati per lunghezza del codice per accelerare il controllo del decoder. Quando le lunghezze del codice sono monotonicamente non-decreative, il decoder può usare un albero canonica Huffman, che riduce la ricerca di un semplice bit-by-bit traversal utilizzando un array indicizzato rapidamente dai simboli del contatore di lunghezza cumulativo.
Ordinazione e ricostruzione inversa
Il BWT inverso è un esempio degno di nota: data l'ultima colonna L e un indice che indica il primo carattere originale, l'algoritmo costruisce la prima colonna selezionando L. Questo passaggio di selezione è la parte più che richiede tempo di decompressione BWT.
Opportunità di parallelizzazione
Per la compressione, le implementazioni multi-threaded possono ordinare blocchi in modo indipendente, quindi unire i risultati (scelta di emergenza). Per la decompressione, la trasformazione inversa di ogni blocco può essere ordinata in modo indipendente pure. Strumenti come pbzip2 e pigz (parallel gzip) sfruttano questo dividendo l'ingresso in chunks, comprimendo ciascuno con la propria fase di selezione, e poi concatenando i blocchi di core-core moderni.
Analisi comparativa degli algoritmi di selezione per la compressione
La scelta dell'algoritmo di selezione giusta può fare la differenza tra un compressore veloce e di livello di produzione e uno lento.
Quicksort vs Mergesort vs Radix Ordina
| Algorithm | Time Complexity | Space Complexity | Best Use Case |
|---|---|---|---|
| Quicksort | O(n log n) average, O(n²) worst | O(log n) in-place | In‑memory block sorting (BWT) |
| Mergesort | O(n log n) guaranteed | O(n) auxiliary | External sorting, stable requirements |
| Radix Sort | O(n * k) (k = bit width) | O(n + 2^k) | Fixed‑width integer keys (frequency, pixel values) |
Per BWT, la rapida gamma è comune ma rischia di sovraccaricare i dati patologici. Alcune implementazioni (ad esempio, bzip2) si spostano a un ribasso se la profondità di ricorsione supera un limite. Mergesort offre la predisposizione al costo della memoria extra. Radix sorto eccelle quando la gamma chiave è piccola (ad esempio, smistando byte, che sono 256 valori) - quindi il conteggio di sorta diventa banale estremamente veloce.
Ordinazione di grandi dataset: Sorting esterno
Quando la compressione dei file più grande della RAM disponibile, l'intero dataset non può essere risolto in memoria. Gli algoritmi di smistamento esterno (solitamente una variante di mergesort che legge e scrive i file temporanei) sono utilizzati. Gli strumenti di compressione come `bzip2` per i file finiti rompere l'ingresso in blocchi (ad esempio, 900 KB), ordinare ogni blocco in memoria, e poi scrivere i blocchi compressi sequenziali.
Ordinazione adattiva e il suo impatto sulla compressione
Alcuni compressori adattano la loro strategia di selezione in base alle caratteristiche dei dati. Ad esempio, un compressore potrebbe rilevare che l'ingresso è già quasi ordinata (ad esempio, testo dopo un BWT parziale) e utilizzare l'inserzione come un fallback, perché l'inserimento tipo è O(n) su dati quasi selezionati. Altri usano timsort, un algoritmo di smistamento stabile ibrido derivato da mergesort e tipo di inserimento, che viene utilizzato nella lista dei dati di Python.
Applicazioni pratiche e ottimizzazioni
La sinergia tra smistamento e compressione appare in molti sistemi reali.
Ordinazione in compressione database
Il sistema di calcolo delle colonne[A] consente di memorizzare ogni colonna separatamente e spesso ordinare le righe per migliorare la compressione. L'ordinamento su una colonna (o un insieme di colonne) migliora notevolmente la codifica della lunghezza di esecuzione: se la colonna è ordinata, tutti i valori identici diventano adiacenti, producendo lunghe operazioni che commettono pochi byte.
Compressione immagine e video
In caso di compressione smarrita, l'onda si trasforma (ad esempio, JPEG-2000, Dirac) decompongono un'immagine in sottobande di coefficienti. Questi coefficienti sono poi quantizzati e codificati.
Compressione del testo
I compressori di testo come PPM (predizione per corrispondenza parziale) spesso ordinano i contesti in cui appare un simbolo. L'array di suffisso o suffisso utilizzato in molti schemi di compressione del testo (ad esempio, per correlazioni a lungo raggio) richiede l'ordinamento di tutti i suffissi dell'ingresso. Questo è identico al BWT in linea di principio.
Compressione dei dati di rete
Ad esempio, la compressione dell'intestazione IP (RFC 2507) utilizza la selezione dei campi dell'intestazione per identificare i delta. Alcuni proxy di compressione trasparenti ordinano i carichi di carico dei pacchetti in un buffer prima di applicare la compressione simile alla zip. Mentre la sovraccarica di ordinare un piccolo buffer è bassa, i guadagni in rapporto di compressione possono essere significativi perché i carichi di pagamento ordinati hanno lunghe funzioni di byte identici.
Conclusioni
Gli algoritmi di selezione sono molto più di esercizi accademici; sono motori pratici che accelerano sia la compressione dei dati che la decompressione. Riducendo l'entropia, consentendo trasformazioni sofisticate come il BWT, e accelerando i lookup dei dizionario, la selezione fornisce la struttura che gli algoritmi di compressione devono raggiungere elevati rapporti. Inoltre, le stesse strutture ordinate che aiutano la compressione anche semplificano e accelerano la decompressione, soprattutto quando si utilizzano tipi di conteggio lineare lineare per piccoli alfabeti.
Se si utilizza una rapida gamma per le trasformazioni di blocchi, il radix è un tipo per le operazioni di livello byte, o un mix esterno per i set di dati su scala terabyte, l'algoritmo di selezione corretto può rendere un sistema sia veloce che efficace, poiché i volumi di dati continuano a crescere e la compressione si muove in domini più specializzati (informatica scientifica, elaborazione critica in tempo reale).
Per ulteriori informazioni, vedere l'articolo ]Burrows‐Wheeler Transform[] su Wikipedia, la Zstandard library compression[, e un documento di ricerca su rapido smistamento per la compressione dei dati (IEEE, 2015).