Cloudflare med betalingsmur for AI-boter: «Bare starten»
Hva om det var et alternativ til å gi alt eller ingenting til AI-trening? Cloudflare tester nå ut betalingsmur for crawlere.
Gjengen i Cloudflare har laga flere våpen til kampen mot AI og crawlere i jakt på treningsdata. De har tidligere laga verktøy for å blokkere alle roboter, eller fange dem i labyrinter fylt med søppel.
Tirsdag lanserte de et nytt verktøy. Målgruppa er de som verken vil la crawlere ture fritt fram eller stenge dem helt ute.
De satser på en mellomting - nemlig at crawlerne skal måtte betale for seg.
«Tørke støvet» av 402
Det skal ligge flere hundre samtaler med kunder bak planene. Flere skal ha ønska å finne en tredje løsning, framfor å enten stenge crawlere ute eller la dem herje fritt.
– De ønsker å la AI-crawlere få tilgang til innholdet deres, men de vil også ha betalt for det, hevder Cloudflare.
I dag er dette tilnærma umulig, mener de.
– Vi er derfor glade for å tørke støvet av en nesten glemt del av weben: HTTP 402: «Payment Required», skriver Cloudflare i tirsdagens bloggpost.
Der introduserer de også prøveprosjektet «Pay per crawl», som et første ledd på veien mot betalingsmur for crawlere.
Vil få tilpasse hvem som kan kjøpe
I praksis innebærer dette at Cloudflare skal stå for den tekniske infrastrukturen, og vil være bindeleddet som håndterer handelen, blant annet med å føre en oversikt over hvor mye de ulike crawlerne har «spist for» hos de ulike aktørene.
Nettsideeierne skal selv få mulighet til å diktere egne vilkår for sin side, slik at de kan tilpasse adgangen og prisen for den enkelte crawlere, fordelt på tre nivåer:
- Betal: Krev betaling i tråd med en forhåndssatt pris for nettsida.
- Tillat: Gi en crawlere gratis tilgang.
- Blokker: Blokker crawleren, uten tilgang til å få kjøpe seg inn.
– Vi har et sett en rask endring i trafikkmønstrene, og noe måtte endres. Dette er bare starten for en ny modell på internett, sier Stephanie Cohen, Chief Strategy Officer (CSO) i Cloudflare.
Cloudflare har også tatt høyde for at selskapene bak crawlere kan motsette seg løsningen. Disse vil da i praksis kunne bli blokkert, men informert om at de kan inngå en avtale for å kjøpe seg tilgang senere.
Får støtte fra store aktører
Reuters melder at flere store utgivere skal støtte planene, blant andre Condé Nast (som står bak magasiner som Wired og Vogue) og og nyhetsbyrået Associated Press.
I tillegg skal også sosiale medier som Pinterest og Reddit være positivt innstilt til prosjektet.
Sistnevnte har nylig saksøkt Anthropic for ulovlig skraping av innhold fra Reddit.
I fjor inngikk de også en avtale med Google, der Reddit fikk godt betalt i bytte mot å tillate Google å skrape plattformen for innhold til AI-trening.
