Newsletter

De Pay Per Crawl-revolutie: hoe uitgevers geld kunnen verdienen aan AI-verkeer

Il patto Google funzionava: crawler gratuiti in cambio di traffico referral. L'AI lo distrugge: rapporto crawl-to-refer devastante—Anthropic 38.000:1, OpenAI 1.700:1—con 80% crawling AI per training modelli e zero click verso editori. Cloudflare game-changer (luglio 2025): prima azienda infrastruttura internet a bloccare crawler AI per default su ogni nuovo dominio + marketplace Pay Per Crawl dove editori richiedono compensi diretti. TollBit pioniere monetizzazione già genera $71M/anno con traffico esploso 2.75M→13M accessi bot/giorno, CPM $15 = $195K/giorno. Pricing due livelli: summarization vs syndication rate. Soglie convenienza: <50K visite/mese meglio accesso libero strategico; 100K $75-750/mese; 1M+ $750-10K/mese implementazione immediata. DataDome rileva traffico AI triplicato 6 mesi (2.6%→8.2%), Skyfire costruisce rete pagamenti agenti AI ($8.5M). Commercio AI-to-AI proiezione $46B prossimi 3 anni. Non più "permetti/blocca" ma terza opzione: "fai pagare".

Het tijdperk van gratis content verzamelen op het web loopt ten einde. Dit is hoe nieuwe platforms AI-bots van niet-betalende bezoekers veranderen in echte klanten.

Het probleem: wanneer AI het pact met uitgevers verbreekt

Het Google-model: een balans die werkte

Meer dan twintig jaar lang functioneerde het web op basis van een ongeschreven pact: Google en andere zoekmachines indexeerden gratis de inhoud van uitgevers, toonden fragmenten en samenvattingen op hun pagina's, maar stuurden in ruil daarvoor massaal verkeer terug naar de oorspronkelijke sites. Uitgevers accepteerden dit 'gebruik' van hun inhoud omdat ze zichtbaarheid, lezerspubliek en dus advertentie-inkomsten kregen.

Google News heeft dit model geperfectioneerd: het verzamelt nieuws uit duizenden bronnen, toont koppen en korte fragmenten, maar elke klik brengt de gebruiker naar de oorspronkelijke site. Een win-win balans die het digitale informatie-ecosysteem in stand heeft gehouden.

AI doorbreekt het evenwicht

Stel je nu eens voor dat je een nieuwssite hebt en ontdekt dat elke dag duizenden AI-bots je artikelen scannen, de inhoud gebruiken om hun sjablonen te voeden en volledige antwoorden aan gebruikers geven, zonder ooit verkeer terug naar je site te sturen. AI die geen links genereert en geen kliks genereert: het reageert direct. Welkom in de realiteit van 2025.

Volgens de gegevens van Cloudflare zal medio 2025 80 procent van de AI-crawlingactiviteit dienen voor het trainen van modellen, terwijl de verwijzingen naar uitgevers (vooral van Google) drastisch afnemen. Het model dat twintig jaar heeft gewerkt, brokkelt af: Google zelf, met zijn AI-overzichten, stuurt steeds minder verkeer naar de oorspronkelijke sites. De crawl-to-refer ratio laat schokkende cijfers zien: Anthropic heeft een ratio van 38.000 crawls per bezoeker die naar de site wordt gestuurd, terwijl OpenAI 1.700:1 bereikt.

Maar wat als bots betalende klanten zouden kunnen worden in plaats van alleen maar gratis consumenten van inhoud? Het is tijd voor een nieuwe deal: als AI niet langer retourverkeer kan garanderen zoals Google deed, moet het op zijn minst betalen voor toegang tot inhoud.

De oplossing: betalen per crawl en AI microbetalingen

Cloudflare opent de dans

2025 juli, Cloudflare kondigde aan dat het het eerste internetinfrastructuurbedrijf was dat AI-crawlers standaard blokkeerde en tegelijkertijd het 'Pay Per Crawl'-systeem introduceerde. Het nieuws? Elk nieuw domein dat zich registreert bij Cloudflare wordt nu expliciet gevraagd of het AI-crawlers toegang wil geven tot content.

Maar de echte game-changer is de marktplaats waar uitgevers vergoedingen kunnen vragen van AI-bedrijven elke keer dat een van hun pagina's wordt gescand. Niet langer alleen 'toestaan' of 'blokkeren', maar een derde optie: 'in rekening brengen'.

TollBit: De AI-pionier op het gebied van microbetalingen

Nog voor Cloudflare, was TollBit al begonnen met het bouwen van deze infrastructuur. De startup, die onlangs $24 miljoen in Serie Aheeft een platform gecreëerd waarop AI-bots websites direct kunnen betalen om hun content te gebruiken.

TIME en Adweek behoren tot de eerste klanten die experimenteren met dit model en ontdekken dat AI een nieuwe categorie klanten met specifieke behoeften vertegenwoordigt.

De cijfers: Hoeveel kun je echt verdienen?

TollBit prognoses

Volgens een gedetailleerde analysezou TollBit al zo'n 71 miljoen dollar per jaar kunnen genereren voor zijn uitgeefpartners. Dit is hoe:

  • Exponentieel groeiend verkeer: AI bot-verkeer naar sites van TollBit-klanten verdubbelde elk kwartaal
  • Q4 2024: 2,75 miljoen dagelijkse bottoegangen
  • Q1 2025: 6,5 miljoen hits
  • Prognose Q2 2025: 13 miljoen toegangen

Met een typische CPM van $15 voor contentsites betekent dit $195.000 per dag aan potentiële inkomsten voor het TollBit ecosysteem, of meer dan $71 miljoen per jaar.

Het prijsmodel

TollBit stelt twee prijsniveaus voor:

  • Samenvattingspercentage: Voor bots die inhoud willen samenvatten
  • Syndicatiegraad: veel hoger, voor bots die het volledige artikel willen tonen

Het verschil kan aanzienlijk zijn, waardoor dit een bijzonder aantrekkelijk model is voor premium en gespecialiseerde content.

Feitelijke gegevens uit het veld

Een TollBit-analyse van 160 websites onthulde dat AI-bedrijven gemiddeld 2 miljoen keer werden gescand in Q4 2024. Elke pagina werd gemiddeld 7 keer gescand.

Toshit Panigrahi, medeoprichter van TollBit, legt uit: "Het botverkeer dat door deze AI-platforms wordt gegenereerd is bijna gelijk aan het botverkeer van zoekmachines die al 20 jaar bestaan, wat ongelooflijk is."

Het evoluerende ecosysteem

DataDome: Bescherming en verzilvering

DataDome is een samenwerking aangegaan met zowel TollBit als andere platforms om een geïntegreerde oplossing te bieden: realtime bescherming tegen kwaadaardige bots en monetisatie van bots die wel aan de regels voldoen.

Uit hun gegevens blijkt dat het AI-verkeer in slechts zes maanden is verdrievoudigd, van 2,6 procent naar 8,2 procent van al het geverifieerde botverkeer.

Skyfire: het AI-betalingsnetwerk

Skyfire vertegenwoordigt een andere benaderingdoor een volledig betaalnetwerk te bouwen voor autonome AI-agenten. Met $8,5 miljoen opgehaald en samenwerkingsverbanden met bedrijven als DataDome wil Skyfire de standaard betalingsinfrastructuur voor de AI-economie worden.

De impact voor uitgevers: kansen en uitdagingen

De concrete voordelen

  1. Nieuwe inkomstenbron: Diversificatie buiten traditionele reclame
  2. Granulaire controle: Mogelijkheid om te kiezen welke bots worden toegelaten en tegen welke prijs
  3. Zichtbaarheid uitgebreideGedetailleerde dashboards over wie toegang heeft tot de inhoud en hoe vaak
  4. Directe compensatie: Onmiddellijke betalingen zonder reclametussenpersonen

Realistische uitdagingen

  1. Beperkte acceptatie: niet alle AI-bedrijven willen betalen
  2. Complexe prijsstelling: Moeilijk om de juiste waarde per inhoudstype te bepalen
  3. Handhaving: Veel bots zullen de regels blijven negeren (van 3,3 procent in 2024 tot 13 procent in maart 2025)
  4. Schaal vereist: microbetalingen worden pas belangrijk bij grote volumes

Realistische voorspellingen voor uitgevers

De drempel van gemak: blokkeren loont niet altijd

Voordat we de cijfers analyseren, is het belangrijk om te benadrukken dat Pay Per Crawl niet voor iedereen handig is. Voor sites met beperkt verkeer kan het strategisch voordeliger zijn om gratis toegang te verlenen aan AI-bots: het verhoogt de vindbaarheid van inhoud in AI-systemen, bouwt relaties op met opkomende platforms en positioneert de site als 'AI-vriendelijk' voor toekomstige kansen.

Directe tegeldemaking wordt pas aantrekkelijk als de volumes de complexiteit van het beheer en de implementatiekosten rechtvaardigen.

Voor kleine sites (10K bezoeken/maand)

  • Geschat botverkeer: 500-1.000 AI-toegangen/maand
  • Potentiële inkomsten: $5-50/maand (afhankelijk van CPM en acceptatiegraad)
  • Impact: Marginaal, vaak beter om open te blijven voor zichtbaarheid
  • Aanbeveling: Strategische vrije toegang bewaken en evalueren

Voor middelgrote sites (100K bezoeken/maand)

  • Geschat botverkeer: 5.000-15.000 AI-toegangen/maand
  • Potentiële inkomsten: $75-750/maand
  • Impact: Drempel waarbij het zinvol wordt om monetarisering te overwegen
  • Aanbeveling: Experimenteer met betaalde premium content

Voor grote uitgevers (1M+ bezoeken/maand)

  • Geschat botverkeer: 50.000-200.000+ AI-toegangen/maand
  • Potentiële inkomsten: $750-10.000+/maand
  • Impact: Potentieel substantiële nieuwe bedrijfslijn
  • Aanbeveling: onmiddellijke implementatie aanbevolen

De toekomst van licenties voor inhoud

Prashanth Chandrasekar, CEO van Stack Overflowvat de situatie perfect samen: "Community platforms die LLM's aandrijven moeten gecompenseerd worden voor hun bijdragen, zodat ze opnieuw kunnen investeren in hun communities."

Met AI-to-AI-handel naar verwachting 46 miljard dollar zal bereiken in de komende drie jaarkunnen uitgevers die zich vroeg in dit ecosysteem positioneren een aanzienlijk concurrentievoordeel behalen.

Conclusie: Tijd voor actie?

Pay Per Crawl' is niet langer science fiction, maar een operationele realiteit. Voor uitgevers is de vraag niet of dit model zal aanslaan, maar of en wanneer ze zich kunnen aanpassen om de waarde vast te leggen.

La verità scomoda: non tutti dovrebbero monetizzare subito. Per siti con traffico limitato (<50K visite/mese), mantenere accesso libero ai bot AI può essere più vantaggioso strategicamente, costruendo visibilità e relazioni per future opportunità. La soglia di convenienza per la monetizzazione diretta si raggiunge generalmente con volumi di traffico significativi.

Prognoses laten aantrekkelijke potentiële inkomsten zien voor middelgrote en grote uitgevers, vooral voor content van hoge kwaliteit en veel verkeer. Het succes zal echter afhangen van het vermogen om:

  1. Evalueer uw drempel voor gebruiksgemak (volume versus complexiteit van beheer)
  2. Kies de strategie juist (vrije toegang, totale blokkering of monetarisering)
  3. Het juiste platform kiezen (Cloudflare, TollBit of geïntegreerde oplossingen)
  4. Concurrerende maar winstgevende prijzen
  5. Inhoud van zodanige kwaliteit houden dat microbetalingen gerechtvaardigd zijn
  6. De aanpak voortdurend controleren en optimaliseren

Voor uitgevers met veel verkeer die bereid zijn om te experimenteren, zou 2025 het jaar kunnen zijn waarin AI niet langer alleen een kostenpost is, maar eindelijk een zakelijke kans wordt. Voor alle anderen is het misschien tijd om de basis te leggen om deze kans in de toekomst te grijpen.

Belangrijkste bronnen:

Hulpmiddelen voor bedrijfsgroei