AI-bedrijven en andere partijen die grote hoeveelheden gegevens verzamelen voor kunstmatige intelligentie leggen een flinke belasting op de infrastructuur waarop de Linux-kernel wordt ontwikkeld. Op git.kernel.org is inmiddels ongeveer een vijfde van de beschikbare rekenkracht permanent bezig met het verwerken van verzoeken van dergelijke crawlers.
Dat blijkt uit cijfers die Konstantin Ryabitsev, beheerder van Linux-infrastructuur, heeft gepubliceerd. In zijn blog met de veelzeggende titel Creepy crawlies beschrijft hij hoe AI-crawlers de afgelopen tijd steeds agressiever zijn geworden. Het probleem is daarbij niet zozeer dat mensen Linux ontwikkelen of downloaden, maar dat geautomatiseerde programma's grote hoeveelheden informatie opvragen om die vervolgens vermoedelijk voor het trainen van AI-modellen te gebruiken.
Miljoenen verzoeken per dag
De Linux-kernel wordt volledig open ontwikkeld. De broncode, wijzigingen en discussies zijn openbaar beschikbaar. Dat maakt de Linux-gemeenschap voor AI-ontwikkelaars een interessante bron: de informatie is omvangrijk, goed gestructureerd en grotendeels afkomstig uit de periode voordat generatieve AI een rol speelde in softwareontwikkeling.
Ryabitsev constateert dat git.kernel.org inmiddels ongeveer 6 miljoen verzoeken per dag krijgt waarbij willekeurige commits uit de Linux-kernel worden opgevraagd. Volgens zijn berekening is slechts ongeveer 2 procent van het verkeer waarschijnlijk afkomstig van legitieme gebruikers. De rest bestaat vermoedelijk grotendeels uit crawlers en scrapers.
Dat is opmerkelijk, omdat Linux-ontwikkelaars de gegevens ook op een veel efficiëntere manier kunnen ophalen. De volledige geschiedenis van de Linux-kernel is namelijk beschikbaar via Git. Wie de informatie voor analyse of onderzoek wil gebruiken, zou in principe een repository kunnen klonen en daarin lokaal zoeken. De crawlers doen dat volgens Ryabitsev echter vaak niet. Ze vragen in plaats daarvan afzonderlijke webpagina's op voor individuele commits. Daardoor moet de server steeds opnieuw informatie verwerken en als HTML aanbieden.
20 procent van de rekenkracht
Het gevolg daarvan is aanzienlijk. De infrastructuur van git.kernel.org bestaat uit vijf geografisch verspreide servers met gezamenlijk ongeveer 90 CPU-cores. Daarvan zijn volgens Ryabitsev voortdurend 14 tot 16 cores bezig met het verwerken van verzoeken van scrapers. Dat komt neer op ongeveer 20 procent van de totale capaciteit.
En daarmee is het probleem nog niet opgelost. De beheerders proberen de crawlers tegen te houden, maar die worden steeds slimmer. Aanvankelijk konden verdachte IP-adressen eenvoudig worden geblokkeerd. Vervolgens gingen bots zich voordoen als gewone webbrowsers en kwamen ze vanaf steeds wisselende IP-adressen.
Een deel van het verkeer komt inmiddels zelfs vanaf particuliere internetverbindingen en mobiele netwerken. Daardoor is het veel moeilijker om onderscheid te maken tussen een echte gebruiker en een bot.
Rekensom voor bots
De beheerders plaatsten daarom een extra beveiligingslaag voor de website: Anubis. Die laat een bezoeker eerst een kleine rekentaak uitvoeren voordat toegang wordt gegeven. Voor een menselijke bezoeker is dat hooguit een kleine vertraging, terwijl het voor grote aantallen geautomatiseerde verzoeken de kosten zou moeten verhogen. Aanvankelijk werkte dat goed. De crawlers verdwenen grotendeels. Maar ook daar vonden ze uiteindelijk een oplossing voor. De bots bleken de rekentaken eveneens te kunnen uitvoeren. De moeilijkheidsgraad werd daarom verhoogd, maar ook dat bleek uiteindelijk geen blijvende oplossing.
Op dit moment wordt ongeveer 66 procent van de verzoeken direct door Anubis tegengehouden. Een derde weet de rekentaak echter te doorlopen. De hoeveelheid verkeer is zo groot dat de beheerders functies van git.kernel.org moeten uitschakelen of minder toegankelijk maken om de belasting te beperken.
Ook jouw televisie kan onderdeel van het probleem zijn
Ryabitsev waarschuwt bovendien voor een ontwikkeling die verder gaat dan Linux. Een deel van de crawlers maakt gebruik van zogenoemde proxy-netwerken. Daarbij kan verkeer via grote aantallen particuliere apparaten en internetverbindingen worden geleid. Volgens Ryabitsev kunnen ook televisies en andere apparaten daarbij als tussenstation worden gebruikt. Dat maakt het probleem extra ingewikkeld. Een beheerder die een bot probeert te blokkeren, ziet immers niet noodzakelijk een herkenbare AI-dienst of datacenter. Het kan lijken alsof een gewone consument met een moderne browser de website bezoekt.
De Linux-infrastructuur is vooralsnog niet bezweken onder de belasting. De website blijft normaal gesproken goed bereikbaar. Maar de cijfers laten volgens Ryabitsev wel zien hoe AI niet alleen gevolgen heeft voor de computers waarop AI-modellen draaien. Ook websites en servers die de brongegevens leveren, krijgen met de gevolgen te maken.
Voor de Linux-gemeenschap is dat een opmerkelijke paradox. De openheid waarmee Linux wordt ontwikkeld, is een van de grote sterke punten van het project. Tegelijkertijd kan die openheid worden misbruikt door partijen die op grote schaal gegevens verzamelen zonder rekening te houden met de kosten die dat voor de aanbieder veroorzaakt. De beheerders van git.kernel.org willen de gegevens daarom beschikbaar blijven stellen, maar verwachten dat anonieme bezoekers in de toekomst vaker tegen beperkingen aanlopen. Volgens Ryabitsev is dat helaas noodzakelijk om de infrastructuur bruikbaar te houden.
Wat betekent dit voor HCC-leden?
Voor de meeste Linux-gebruikers verandert er voorlopig weinig. Wie Linux gebruikt, de broncode downloadt of bijvoorbeeld informatie over de kernel opzoekt, zal waarschijnlijk weinig merken. Het probleem speelt zich vooral af achter de schermen bij de servers waarop de ontwikkeling van Linux plaatsvindt. Wel kan het ertoe leiden dat sommige Linux-bronnen vaker een beveiligingscontrole tonen of bepaalde informatie niet langer volledig anoniem beschikbaar stellen.
Standpunt van HCC
HCC vindt het belangrijk dat open source en de kennis die daaruit voortkomt voor iedereen toegankelijk blijven. Dat betekent echter niet dat openbare informatie onbeperkt en zonder gevolgen automatisch door geautomatiseerde systemen mag worden opgehaald. De situatie rond git.kernel.org laat zien dat de enorme honger van AI-systemen naar trainingsgegevens ook gevolgen heeft voor de infrastructuur die de open internetgemeenschap draaiende houdt. Het is daarom goed dat de Linux-gemeenschap hierover aan de bel trekt. Openheid is waardevol, maar mag niet betekenen dat vrijwilligers en beheerders vervolgens opdraaien voor de infrastructuurkosten van een commerciële AI-industrie.
