Newsletter

De Pay Per Crawl-revolutie: hoe uitgevers geld kunnen verdienen aan AI-verkeer

Il patto Google funzionava: crawler gratuiti in cambio di traffico referral. L'AI lo distrugge: rapporto crawl-to-refer devastante—Anthropic 38.000:1, OpenAI 1.700:1—con 80% crawling AI per training modelli e zero click verso editori. Cloudflare game-changer (luglio 2025): prima azienda infrastruttura internet a bloccare crawler AI per default su ogni nuovo dominio + marketplace Pay Per Crawl dove editori richiedono compensi diretti. TollBit pioniere monetizzazione già genera $71M/anno con traffico esploso 2.75M→13M accessi bot/giorno, CPM $15 = $195K/giorno. Pricing due livelli: summarization vs syndication rate. Soglie convenienza: <50K visite/mese meglio accesso libero strategico; 100K $75-750/mese; 1M+ $750-10K/mese implementazione immediata. DataDome rileva traffico AI triplicato 6 mesi (2.6%→8.2%), Skyfire costruisce rete pagamenti agenti AI ($8.5M). Commercio AI-to-AI proiezione $46B prossimi 3 anni. Non più "permetti/blocca" ma terza opzione: "fai pagare".

Het tijdperk van gratis content verzamelen op het web loopt ten einde. Dit is hoe nieuwe platforms AI-bots van niet-betalende bezoekers veranderen in echte klanten.

Het probleem: wanneer AI het pact met uitgevers verbreekt

Het Google-model: een balans die werkte

Meer dan twintig jaar lang functioneerde het web op basis van een ongeschreven pact: Google en andere zoekmachines indexeerden gratis de inhoud van uitgevers, toonden fragmenten en samenvattingen op hun pagina's, maar stuurden in ruil daarvoor massaal verkeer terug naar de oorspronkelijke sites. Uitgevers accepteerden dit 'gebruik' van hun inhoud omdat ze zichtbaarheid, lezerspubliek en dus advertentie-inkomsten kregen.

Google News heeft dit model geperfectioneerd: het verzamelt nieuws uit duizenden bronnen, toont koppen en korte fragmenten, maar elke klik brengt de gebruiker naar de oorspronkelijke site. Een win-win balans die het digitale informatie-ecosysteem in stand heeft gehouden.

AI doorbreekt het evenwicht

Stel je nu eens voor dat je een nieuwssite hebt en ontdekt dat elke dag duizenden AI-bots je artikelen scannen, de inhoud gebruiken om hun sjablonen te voeden en volledige antwoorden aan gebruikers geven, zonder ooit verkeer terug naar je site te sturen. AI die geen links genereert en geen kliks genereert: het reageert direct. Welkom in de realiteit van 2025.

Volgens de gegevens van Cloudflare zal medio 2025 80 procent van de AI-crawlingactiviteit dienen voor het trainen van modellen, terwijl de verwijzingen naar uitgevers (vooral van Google) drastisch afnemen. Het model dat twintig jaar heeft gewerkt, brokkelt af: Google zelf, met zijn AI-overzichten, stuurt steeds minder verkeer naar de oorspronkelijke sites. De crawl-to-refer ratio laat schokkende cijfers zien: Anthropic heeft een ratio van 38.000 crawls per bezoeker die naar de site wordt gestuurd, terwijl OpenAI 1.700:1 bereikt.

Maar wat als bots betalende klanten zouden kunnen worden in plaats van alleen maar gratis consumenten van inhoud? Het is tijd voor een nieuwe deal: als AI niet langer retourverkeer kan garanderen zoals Google deed, moet het op zijn minst betalen voor toegang tot inhoud.

De oplossing: betalen per crawl en AI microbetalingen

Cloudflare opent de dans

2025 juli, Cloudflare kondigde aan dat het het eerste internetinfrastructuurbedrijf was dat AI-crawlers standaard blokkeerde en tegelijkertijd het 'Pay Per Crawl'-systeem introduceerde. Het nieuws? Elk nieuw domein dat zich registreert bij Cloudflare wordt nu expliciet gevraagd of het AI-crawlers toegang wil geven tot content.

Maar de echte game-changer is de marktplaats waar uitgevers vergoedingen kunnen vragen van AI-bedrijven elke keer dat een van hun pagina's wordt gescand. Niet langer alleen 'toestaan' of 'blokkeren', maar een derde optie: 'in rekening brengen'.

TollBit: De AI-pionier op het gebied van microbetalingen

Nog voor Cloudflare, was TollBit al begonnen met het bouwen van deze infrastructuur. De startup, die onlangs $24 miljoen in Serie Aheeft een platform gecreëerd waarop AI-bots websites direct kunnen betalen om hun content te gebruiken.

TIME en Adweek behoren tot de eerste klanten die experimenteren met dit model en ontdekken dat AI een nieuwe categorie klanten met specifieke behoeften vertegenwoordigt.

De cijfers: Hoeveel kun je echt verdienen?

TollBit prognoses

Volgens een gedetailleerde analysezou TollBit al zo'n 71 miljoen dollar per jaar kunnen genereren voor zijn uitgeefpartners. Dit is hoe:

  • Exponentieel groeiend verkeer: AI bot-verkeer naar sites van TollBit-klanten verdubbelde elk kwartaal
  • Q4 2024: 2,75 miljoen dagelijkse bottoegangen
  • Q1 2025: 6,5 miljoen hits
  • Prognose Q2 2025: 13 miljoen toegangen

Met een typische CPM van $15 voor contentsites betekent dit $195.000 per dag aan potentiële inkomsten voor het TollBit ecosysteem, of meer dan $71 miljoen per jaar.

Het prijsmodel

TollBit stelt twee prijsniveaus voor:

  • Samenvattingspercentage: Voor bots die inhoud willen samenvatten
  • Syndicatiegraad: veel hoger, voor bots die het volledige artikel willen tonen

Het verschil kan aanzienlijk zijn, waardoor dit een bijzonder aantrekkelijk model is voor premium en gespecialiseerde content.

Feitelijke gegevens uit het veld

Een TollBit-analyse van 160 websites onthulde dat AI-bedrijven gemiddeld 2 miljoen keer werden gescand in Q4 2024. Elke pagina werd gemiddeld 7 keer gescand.

Toshit Panigrahi, medeoprichter van TollBit, legt uit: "Het botverkeer dat door deze AI-platforms wordt gegenereerd is bijna gelijk aan het botverkeer van zoekmachines die al 20 jaar bestaan, wat ongelooflijk is."

Het evoluerende ecosysteem

DataDome: Bescherming en verzilvering

DataDome is een samenwerking aangegaan met zowel TollBit als andere platforms om een geïntegreerde oplossing te bieden: realtime bescherming tegen kwaadaardige bots en monetisatie van bots die wel aan de regels voldoen.

Uit hun gegevens blijkt dat het AI-verkeer in slechts zes maanden is verdrievoudigd, van 2,6 procent naar 8,2 procent van al het geverifieerde botverkeer.

Skyfire: het AI-betalingsnetwerk

Skyfire vertegenwoordigt een andere benaderingdoor een volledig betaalnetwerk te bouwen voor autonome AI-agenten. Met $8,5 miljoen opgehaald en samenwerkingsverbanden met bedrijven als DataDome wil Skyfire de standaard betalingsinfrastructuur voor de AI-economie worden.

De impact voor uitgevers: kansen en uitdagingen

De concrete voordelen

  1. Nieuwe inkomstenbron: Diversificatie buiten traditionele reclame
  2. Granulaire controle: Mogelijkheid om te kiezen welke bots worden toegelaten en tegen welke prijs
  3. Zichtbaarheid uitgebreideGedetailleerde dashboards over wie toegang heeft tot de inhoud en hoe vaak
  4. Directe compensatie: Onmiddellijke betalingen zonder reclametussenpersonen

Realistische uitdagingen

  1. Beperkte acceptatie: niet alle AI-bedrijven willen betalen
  2. Complexe prijsstelling: Moeilijk om de juiste waarde per inhoudstype te bepalen
  3. Handhaving: Veel bots zullen de regels blijven negeren (van 3,3 procent in 2024 tot 13 procent in maart 2025)
  4. Schaal vereist: microbetalingen worden pas belangrijk bij grote volumes

Realistische voorspellingen voor uitgevers

De drempel van gemak: blokkeren loont niet altijd

Voordat we de cijfers analyseren, is het belangrijk om te benadrukken dat Pay Per Crawl niet voor iedereen handig is. Voor sites met beperkt verkeer kan het strategisch voordeliger zijn om gratis toegang te verlenen aan AI-bots: het verhoogt de vindbaarheid van inhoud in AI-systemen, bouwt relaties op met opkomende platforms en positioneert de site als 'AI-vriendelijk' voor toekomstige kansen.

Directe tegeldemaking wordt pas aantrekkelijk als de volumes de complexiteit van het beheer en de implementatiekosten rechtvaardigen.

Voor kleine sites (10K bezoeken/maand)

  • Geschat botverkeer: 500-1.000 AI-toegangen/maand
  • Potentiële inkomsten: $5-50/maand (afhankelijk van CPM en acceptatiegraad)
  • Impact: Marginaal, vaak beter om open te blijven voor zichtbaarheid
  • Aanbeveling: Strategische vrije toegang bewaken en evalueren

Voor middelgrote sites (100K bezoeken/maand)

  • Geschat botverkeer: 5.000-15.000 AI-toegangen/maand
  • Potentiële inkomsten: $75-750/maand
  • Impact: Drempel waarbij het zinvol wordt om monetarisering te overwegen
  • Aanbeveling: Experimenteer met betaalde premium content

Voor grote uitgevers (1M+ bezoeken/maand)

  • Geschat botverkeer: 50.000-200.000+ AI-toegangen/maand
  • Potentiële inkomsten: $750-10.000+/maand
  • Impact: Potentieel substantiële nieuwe bedrijfslijn
  • Aanbeveling: onmiddellijke implementatie aanbevolen

De toekomst van licenties voor inhoud

Prashanth Chandrasekar, CEO van Stack Overflowvat de situatie perfect samen: "Community platforms die LLM's aandrijven moeten gecompenseerd worden voor hun bijdragen, zodat ze opnieuw kunnen investeren in hun communities."

Met AI-to-AI-handel naar verwachting 46 miljard dollar zal bereiken in de komende drie jaarkunnen uitgevers die zich vroeg in dit ecosysteem positioneren een aanzienlijk concurrentievoordeel behalen.

Conclusie: Tijd voor actie?

Pay Per Crawl' is niet langer science fiction, maar een operationele realiteit. Voor uitgevers is de vraag niet of dit model zal aanslaan, maar of en wanneer ze zich kunnen aanpassen om de waarde vast te leggen.

La verità scomoda: non tutti dovrebbero monetizzare subito. Per siti con traffico limitato (<50K visite/mese), mantenere accesso libero ai bot AI può essere più vantaggioso strategicamente, costruendo visibilità e relazioni per future opportunità. La soglia di convenienza per la monetizzazione diretta si raggiunge generalmente con volumi di traffico significativi.

Prognoses laten aantrekkelijke potentiële inkomsten zien voor middelgrote en grote uitgevers, vooral voor content van hoge kwaliteit en veel verkeer. Het succes zal echter afhangen van het vermogen om:

  1. Evalueer uw drempel voor gebruiksgemak (volume versus complexiteit van beheer)
  2. Kies de strategie juist (vrije toegang, totale blokkering of monetarisering)
  3. Het juiste platform kiezen (Cloudflare, TollBit of geïntegreerde oplossingen)
  4. Concurrerende maar winstgevende prijzen
  5. Inhoud van zodanige kwaliteit houden dat microbetalingen gerechtvaardigd zijn
  6. De aanpak voortdurend controleren en optimaliseren

Voor uitgevers met veel verkeer die bereid zijn om te experimenteren, zou 2025 het jaar kunnen zijn waarin AI niet langer alleen een kostenpost is, maar eindelijk een zakelijke kans wordt. Voor alle anderen is het misschien tijd om de basis te leggen om deze kans in de toekomst te grijpen.

Belangrijkste bronnen:

Hulpmiddelen voor bedrijfsgroei

9 november 2025

AI-regelgeving voor consumententoepassingen: hoe u zich kunt voorbereiden op de nieuwe regelgeving voor 2025

2025 markeert het einde van het 'Wilde Westen'-tijdperk van AI: AI Act EU operationeel vanaf augustus 2024 met AI-geletterdheidsverplichtingen vanaf 2 februari 2025, governance en GPAI vanaf 2 augustus. Californië loopt voorop met SB 243 (ontstaan na zelfmoord van Sewell Setzer, 14-jarige ontwikkelde emotionele relatie met chatbot) met een verbod op dwangmatige beloningssystemen, detectie van zelfmoordgedachten, elke 3 uur een herinnering 'ik ben geen mens', onafhankelijke openbare audits, boetes van 1000 dollar per overtreding. SB 420 vereist effectbeoordelingen voor 'geautomatiseerde beslissingen met een hoog risico' met het recht om in beroep te gaan tegen menselijke beoordeling. Echte handhaving: Noom haalde 2022 aan voor bots die zich voordeden als menselijke coaches, schikking $ 56 miljoen. Nationale trend: Alabama, Hawaii, Illinois, Maine, Massachusetts classificeren het niet aanmelden van AI-chatbots als schending van de UDAP. Drietrapsbenadering van risicokritieke systemen (gezondheidszorg/transport/energie): certificering vóór ingebruikname, transparante informatieverstrekking aan de consument, registratie voor algemene doeleinden en veiligheidstests. Lappendeken van regelgeving zonder federale pre-emption: bedrijven in meerdere staten moeten navigeren door verschillende vereisten. EU vanaf augustus 2026: gebruikers informeren over AI-interactie tenzij duidelijk, AI-gegenereerde inhoud gelabeld als machineleesbaar.
9 november 2025

Reguleren wat niet gemaakt wordt: riskeert Europa technologische irrelevantie?

Europa trekt slechts een tiende van de wereldwijde investeringen in kunstmatige intelligentie aan, maar beweert wel de wereldwijde regels te dicteren. Dit is het 'Brussels Effect' - regels opleggen op wereldschaal door middel van marktmacht zonder innovatie aan te jagen. De AI-wet wordt van kracht op een gespreid tijdschema tot 2027, maar multinationale technologiebedrijven reageren met creatieve ontwijkingsstrategieën: bedrijfsgeheimen inroepen om trainingsgegevens niet te hoeven onthullen, technisch conforme maar onbegrijpelijke samenvattingen produceren, zelfbeoordeling gebruiken om systemen te degraderen van 'hoog risico' naar 'minimaal risico', forumshoppen door te kiezen voor lidstaten met minder strenge controles. De paradox van extraterritoriaal auteursrecht: de EU eist dat OpenAI de Europese wetten naleeft, zelfs voor trainingen buiten Europa - een principe dat nog nooit eerder is voorgekomen in het internationaal recht. Het 'duale model' ontstaat: beperkte Europese versies versus geavanceerde wereldwijde versies van dezelfde AI-producten. Reëel risico: Europa wordt een 'digitaal fort', geïsoleerd van wereldwijde innovatie, met Europese burgers die toegang hebben tot inferieure technologieën. Het Hof van Justitie heeft in de kredietscoringszaak de verdediging tegen 'bedrijfsgeheimen' al verworpen, maar de interpretatieve onzekerheid blijft enorm - wat betekent 'voldoende gedetailleerde samenvatting' precies? Niemand weet het. Laatste onbeantwoorde vraag: creëert de EU een ethische derde weg tussen het Amerikaanse kapitalisme en de Chinese staatscontrole, of exporteert ze gewoon bureaucratie naar een gebied waar ze niet concurreert? Voor nu: wereldleider in AI-regulering, marginaal in de ontwikkeling ervan. Uitgebreid programma.
9 november 2025

Outliers: waar gegevenswetenschap en succesverhalen elkaar ontmoeten

Datawetenschap heeft het paradigma op zijn kop gezet: uitbijters zijn niet langer 'fouten die geëlimineerd moeten worden', maar waardevolle informatie die begrepen moet worden. Een enkele uitschieter kan een lineair regressiemodel volledig verstoren - de helling veranderen van 2 naar 10 - maar als je die uitschieter elimineert, kan dat betekenen dat je het belangrijkste signaal in de dataset kwijtraakt. Machine learning introduceert geavanceerde hulpmiddelen: Isolation Forest isoleert uitschieters door willekeurige beslisbomen te bouwen, Local Outlier Factor analyseert de lokale dichtheid, Autoencoders reconstrueren normale gegevens en rapporteren wat ze niet kunnen reproduceren. Er zijn globale uitschieters (temperatuur -10°C in de tropen), contextuele uitschieters (€1.000 uitgeven in een arme buurt), collectieve uitschieters (gesynchroniseerde pieken in het netwerkverkeer die wijzen op een aanval). Parallel met Gladwell: de '10.000 uur-regel' wordt betwist-Paul McCartney dixit 'veel bands hebben 10.000 uur in Hamburg gedaan zonder succes, theorie niet onfeilbaar'. Aziatisch wiskundig succes is niet genetisch maar cultureel: Chinees numeriek systeem intuïtiever, rijstteelt vereist constante verbetering vs. Westerse landbouw territoriale expansie. Echte toepassingen: Britse banken kunnen 18% potentiële verliezen terugwinnen via real-time detectie van anomalieën, productieprocessen detecteren microscopische defecten die menselijke inspecties zouden missen, gezondheidszorg valideert klinische onderzoeksgegevens met meer dan 85% gevoeligheid voor detectie van anomalieën. Laatste les: naarmate datawetenschap verschuift van het elimineren van uitschieters naar het begrijpen ervan, moeten we onconventionele carrières niet zien als anomalieën die moeten worden gecorrigeerd, maar als waardevolle trajecten die moeten worden bestudeerd.