De laatste vijftig jaar zijn er enorm veel ontwikkelingen geweest op computergebied. Ik ga je aan de hand van een serie artikelen meenemen door die periode vol ontwikkelingen, vreemde uitvindingen, verdwenen merken en nog veel meer. Vandaag in deel 32 van De geschiedenis van: de geschiedenis van datacompressie.
We staan er zelden bij stil, maar zonder datacompressie zou het internet nauwelijks bruikbaar zijn. Elke foto die je deelt, elk filmpje dat je streamt en elk liedje dat je beluistert, is het resultaat van slimme algoritmen die data kleiner maken zonder (al te veel) kwaliteit te verliezen. Datacompressie is de stille kunst van minder is meer en haar geschiedenis vertelt het verhaal van menselijke vindingrijkheid, wiskundige elegantie en eindeloze strijd tussen standaarden.
De oertijd: bits tellen in een wereld van tekens
In de beginjaren van de informatietechnologie was opslag duur en bandbreedte schaars. In de jaren veertig en vijftig werden computers nog geprogrammeerd met ponskaarten en magnetische tape. Elk bit telde… letterlijk.
De theoretische basis werd gelegd door Claude Shannon, die in 1948 zijn beroemde artikel A Mathematical Theory of Communication publiceerde. Shannon introduceerde het begrip informatie-entropie: een maat voor hoeveel ‘onzekerheid’ of variatie een boodschap bevat. Hoe voorspelbaarder data is, hoe beter die kan worden gecomprimeerd. Daaruit ontstonden de eerste praktische compressiemethoden, zoals:
- Run-Length Encoding (RLE): opeenvolgende gelijke waarden worden vervangen door “waarde + aantal keren”
- Huffman-codering (1952): vaak voorkomende symbolen krijgen korte codes, zeldzame langere
- Lempel-Ziv (LZ77 en LZ78): de grondleggers van ZIP, GIF en PNG, die herhalende patronen herkennen en hergebruiken
Hoe ZIP werkt
De ZIP-bestanden die we vandaag nog dagelijks gebruiken, zijn een erfstuk van de jaren tachtig en negentig, gebaseerd op het werk van Abraham Lempel en Jacob Ziv. Het principe is eenvoudig maar briljant:
- Herken herhaling: als een stuk tekst vaak dezelfde patronen bevat (“de”, “ing”, “http”), sla je het één keer op.
- Verwijs terug: in plaats van herhalen, gebruik je een korte verwijzing naar de eerdere voorkomens.
- Gebruik Huffman-codering: symbolen die vaker voorkomen krijgen kortere codes.
Zo kan een tekstbestand van 100 kB soms krimpen tot 20 kB, zonder dat er één letter verloren gaat. Dit heet lossless compressie: perfect omkeerbaar, dus ideaal voor documenten, broncode en foto’s in hoge kwaliteit (zoals PNG of FLAC).
De stap naar beeld en geluid
In de jaren tachtig kwam een nieuwe uitdaging: beeld en geluid bevatten gigantische hoeveelheden data. Een minuut onbewerkte video kon honderden megabytes beslaan; ondenkbaar voor de opslagmedia van die tijd. De oplossing kwam uit een andere hoek van de wiskunde: de Discrete Cosine Transform (DCT). In plaats van ruwe pixels op te slaan, werd het beeld omgezet in frequenties: langzame variaties (grote vlakken) en snelle veranderingen (details). De hoge frequenties, die het oog nauwelijks waarneemt, konden worden weggelaten.
Zo ontstond in 1992 de standaard JPEG (Joint Photographic Experts Group). Een foto die oorspronkelijk 2 MB groot was, kon worden teruggebracht tot 200 kB en zag er voor het menselijk oog nog steeds prima uit. Hetzelfde principe gold voor geluid. Onderzoekers ontdekten dat het menselijk oor bepaalde tonen maskeert: zachte geluiden naast harde zijn nauwelijks hoorbaar. Die psychologische kennis leidde tot perceptuele compressie: we slaan alleen op wat we kunnen horen of zien.
De MP3-revolutie
Begin jaren negentig werkten ingenieurs van het Duitse Fraunhofer-instituut aan een nieuwe geluidsstandaard: MPEG Audio Layer III, beter bekend als MP3. Hun doel: cd-kwaliteit audio in een fractie van de opslagruimte. MP3 gebruikte een slim psycho-akoestisch model: het verwijderde frequenties die het menselijk oor toch niet opmerkte en codeerde de rest met variabele precisie. Een nummer dat op cd zo’n 50 MB in beslag nam, paste nu in 5 MB: een revolutie.
Toen in 1995 de eerste MP3-encoders verschenen, veranderde de muziekindustrie voorgoed. Platenlabels zagen hun zorgvuldig opgebouwde distributiemodel instorten, want ineens kon iedereen muziek delen via internet. Platforms als Napster (1999) en programma’s als Winamp maakten MP3 populair bij het grote publiek. Een cd-collectie paste opeens op een harde schijf van 10 GB en later zelfs op een iPod in je broekzak.
Tegelijkertijd luidde MP3 het tijdperk van digitale rechten in: het formaat was technisch briljant, maar juridisch explosief. Het leerde de wereld dat compressie niet alleen over bits ging, maar ook over de waarde van content.
Van dvd tot YouTube
Na MP3 volgden nieuwe standaarden voor video: MPEG-1 (Video-CD), MPEG-2 (DVD, digitale tv), en later MPEG-4. Deze codecs gebruikten dezelfde principes als JPEG: verwijder wat het oog nauwelijks ziet, en gebruik wiskunde om patronen te herkennen. In 2003 introduceerde de open-sourcewereld Xvid en DivX: populair bij de eerste generatie videodelers. De jaren daarna werden bepaald door H.264 / AVC, de standaard achter Blu-ray, YouTube en Netflix.
Elke nieuwe generatie codecs bespaarde ongeveer 30 tot 50 procent aan data bij gelijke kwaliteit. Vandaag zijn H.265 / HEVC en AV1 de koplopers. Ze gebruiken geavanceerde technieken als contextafhankelijke voorspelling en machine learning om nog meer te besparen.
Zodra video en audio massaal digitaal werden, brak er een strijd los om de standaard van de toekomst. Iedereen wilde de codec leveren die op elke computer, dvd-speler en telefoon zou draaien. Die strijd werd bekend als de codec-oorlogen.
MPEG: de officiële standaard
De MPEG-familie (Moving Picture Experts Group) leverde vanaf de jaren ’90 de bekendste formaten: MPEG-1 (Video-CD), MPEG-2 (dvd, digitale tv) en later MPEG-4 en H.264/AVC. Ze boden uitstekende kwaliteit en brede compatibiliteit, maar er zat een addertje onder het gras: de technieken waren gepatenteerd. Fabrikanten en softwareontwikkelaars moesten licentiekosten betalen om de codecs te mogen gebruiken.
De opstand van DivX en Xvid
Begin jaren 2000 kwam er een tegengeluid. Hobbyprogrammeurs maakten eigen implementaties van MPEG-4, onder namen als DivX en Xvid. Ze boden nagenoeg dezelfde kwaliteit, maar zonder dure licenties. Die codecs werden razend populair in de tijd van cd-rippers en downloadplatforms, en werden symbool voor de vrijheidsstrijd van de digitale generatie.
De nieuwe ronde: AV1 versus HEVC
Twee decennia later is de strijd nog niet voorbij. De opvolger van H.264, H.265/HEVC, biedt uitstekende compressie, maar opnieuw met stevige licentiekosten. Daartegenover staat AV1, ontwikkeld door de Alliance for Open Media (Google, Mozilla, Netflix, Amazon e.a.). AV1 is volledig royalty-vrij en levert vaak zelfs betere kwaliteit. Steeds meer browsers, besturingssystemen en hardware ondersteunen het. De codec-oorlog is dus niet beslist, maar de trend is duidelijk: de toekomst is open, vrij en steeds slimmer gecomprimeerd.
Lossless vs. lossy
Er zijn twee grote families van compressie:
- Lossless (zonder verlies): elk bit kan exact worden hersteld. Voorbeelden: ZIP, PNG, FLAC.
- Lossy (met verlies): niet alles komt terug, maar het verschil is nauwelijks merkbaar. Voorbeelden: JPEG, MP3, H.264.
Welke methode wordt gebruikt, hangt af van de toepassing. Voor archieven en back-ups wil je perfect herstelbare data. Voor video of muziek is goed genoeg belangrijker dan volledig identiek, zeker bij beperkte bandbreedte.
Het streamingtijdperk en adaptieve codecs
Vandaag draait alles om streaming. Een video wordt niet meer als één bestand verstuurd, maar in kleine stukjes die zich aanpassen aan de snelheid van je verbinding: Adaptive Bitrate Streaming. Protocollen als DASH en HLS zorgen dat je film niet stopt bij een dip in de wifi, maar tijdelijk overschakelt op een lagere kwaliteit. Codecs als Opus (audio) en VP9/AV1 (video) zijn geoptimaliseerd voor internet: efficiënt, fouttolerant en open-source. Compressie is niet meer alleen een middel om ruimte te besparen, het is een voorwaarde voor soepel digitaal leven.
De toekomst: compressie met kunstmatige intelligentie
De nieuwste generatie onderzoekers gebruikt neurale netwerken om data te comprimeren. In plaats van handmatig gedefinieerde wiskundige transformaties, leren deze AI-modellen zelf hoe beelden en geluiden het best kunnen worden weergegeven. Deze zogenaamde neural codecs (zoals Google’s Lyra en Meta’s AI Image Compression) bereiken vergelijkbare kwaliteit met de helft van de bandbreedte. Zelfs tekst en spraakmodellen worden intern gecomprimeerd via contextuele vectorrepresentaties: een moderne variant van hetzelfde idee: minder bits, zelfde betekenis.
In de toekomst zal compressie niet alleen efficiënter, maar ook adaptiever worden: afhankelijk van wat jij bekijkt, hoort of belangrijk vindt.
De stille kracht achter alles wat digitaal is
Of het nu gaat om een ZIP-bestand, een foto in je smartphone of een 4K-film op Netflix, achter elk digitaal object schuilt compressie. Het is de stille kracht die het onmogelijke mogelijk maakte: het wereldwijde delen van beeld, geluid en informatie. Zonder compressie zou er geen streaming zijn, geen cloudopslag, geen digitale foto’s en geen online muziek. Het is, kortom, de technologie die onze digitale wereld draaglijk maakt. Letterlijk en figuurlijk.
Het Sloot Digital Coding System (SDCS)
Een geschiedenis van datacompressie laat zich moeilijk vertellen zonder even af te slaan naar een van de meest intrigerende zijpaden uit de Nederlandse technologie: de zaak-Sloot. In de jaren negentig van de vorige eeuw beweerde de Haagse tv-reparateur Jan Sloot een revolutionair coderingssysteem te hebben ontwikkeld, het Sloot Digital Coding System (SDCS), dat digitale informatie zó efficiënt zou comprimeren dat een complete speelfilm op slechts enkele kilobytes zou passen. In een tijd waarin harde schijven nog in megabytes werden gemeten, klonk dat als pure sciencefiction en voor sommigen als een aanstaande doorbraak die de digitale wereld op haar kop zou zetten.
Sloot, die overigens benadrukte dat zijn uitvinding ‘codering’ behelsde en geen ‘compressie’, wist invloedrijke figuren om zich heen te verzamelen, onder wie Philips-topman Roel Pieper en investeerder Marcel Boekhoorn. Demonstraties van zijn techniek, waarbij video’s ogenschijnlijk razendsnel en met minimale opslagruimte werden afgespeeld, maakten diepe indruk. Maar hoe SDCS precies werkte, bleef Sloot angstvallig voor zichzelf houden. Documentatie was schaars en cryptisch, en wanneer experts om inzage vroegen, hield hij vol dat alleen hij de sleutel tot het algoritme bezat. Dat geheimzinnige aura maakte de vinding nog fascinerender, maar ook steeds moeilijker te verifiëren.
Net toen Pieper en Sloot in 1999 op het punt stonden een grote commerciële stap te zetten, sloeg het noodlot toe. Een dag voordat het contract definitief zou worden getekend, overleed Sloot onverwacht aan een hartstilstand. De kluis met de broncode, die volgens Sloot de kern van zijn systeem bevatte, bleek leeg. De laatste persoon die precies wist hoe SDCS werkte, was verdwenen en met hem waarschijnlijk ook de enige manier om de technologie te reconstrueren.
Tot op de dag van vandaag is onduidelijk of Sloot een briljant genie was dat zijn tijd vooruit was, of een man die zijn eigen uitvinding nooit solide vastlegde en in zijn eigen mystiek verstrikt raakte. SDCS leeft verder als een legende in de marge van de technologiegeschiedenis: een verhaal dat balanceert tussen belofte en bedrog en dat vooral laat zien hoe groot het verlangen naar revolutionaire doorbraken soms kan zijn.
Meer artikelen in de serie De geschiedenis van vind je hier
De bij dit artikel gebruikte afbeelding(en) zijn digitaal gegenereerd met behulp van kunstmatige intelligentie en vertegenwoordigen geen daadwerkelijk gefotografeerde situaties.
Over de auteur
Marco Mekenkamp is eindredacteur van PC-Active. Dit 108 pagina's tellende magazine verschijnt elke twee maanden en is te koop in de winkel. Leden van HCC krijgen PC-Active zes keer per jaar thuisgestuurd als onderdeel van het HCC-lidmaatschap.
