Brave verkoopt zijn zoekindex aan AI, en jouw site staat er waarschijnlijk op

Brave verkoopt zijn zoekindex aan AI, en jouw site staat er waarschijnlijk op
3 min lezen

De New York Times heeft op 2 november een klacht ingediend tegen Brave, het bedrijf achter de Brave-browser en de zoekmachine Brave Search. De krant beweert dat Brave meer dan 30 miljard webpagina’s heeft gekopieerd « zonder zich te identificeren of website-eigenaren een mechanisme te bieden om zijn crawler te blokkeren », en deze inhoud vervolgens heeft doorverkocht aan kunstmatige intelligentiebedrijven. Brave heeft nog niet gereageerd, en deze punten blijven vooralsnog beweringen.

  • De New York Times beschuldigt Brave ervan meer dan 30 miljard webpagina’s te hebben gekopieerd zonder toestemming.
  • Brave verkoopt toegang tot zijn zoekindex aan AI-bedrijven via de Brave Search API.
  • Brave laat zijn crawler geen eigen naam dragen, waardoor sites hem niet apart kunnen blokkeren.
  • De auteur van nohacks.co vond zestien van zijn pagina’s terug in de Brave-index.

Brave verkoopt inderdaad toegang tot zijn zoekindex, dat wil zeggen de verzameling pagina’s die het heeft verzameld, via een product genaamd Brave Search API. Wanneer een AI-assistent recente informatie nodig heeft, kan het betalen om deze index te bevragen in plaats van zelf het web af te struinen. Volgens de ‘Over’-pagina van Brave wordt deze interface « gebruikt door enkele van de grootste namen in The AI / news, waaronder Cohere, Mistral, Perplexity en You.com ». De pagina gewijd aan AI vermeldt dat de index « meer dan 30 miljard pagina’s bevat, met miljoenen nieuwe pagina’s die dagelijks worden geïndexeerd ».

De klacht van de Times noemt vijf AI-bedrijven die door Brave zouden worden geleverd: Anthropic, Perplexity, Mistral, xAI en Cohere. Geen van hen is het doelwit van de procedure. Het geval van Anthropic is het meest delicaat, omdat de aanwijzingen oud zijn: de krant verwijst naar een artikel van Brave uit 2023 over de training van Claude 2. In maart 2025 voegde Anthropic Brave Search toe aan de lijst van zijn onderaannemers, wat TechCrunch heeft gerapporteerd. In dezelfde maand vroeg ontwikkelaar Simon Willison aan Claude informatie over pelikanen: de tien genoemde resultaten kwamen exact overeen met die van een identieke zoekopdracht op Brave. Dat Claude vandaag de dag nog steeds Brave gebruikt, kon niet worden bevestigd.

Een robot zonder naam

Websites geven aan welke crawlers hen mogen lezen via een klein bestandje genaamd robots.txt. Dit mechanisme werkt omdat elke crawler een naam heeft. OpenAI en Anthropic publiceren die van hun crawlers, waardoor men de ene kan toestaan en de andere kan weigeren.

De help-pagina van Brave geeft aan dat zijn crawler « geen gedifferentieerde user-agent aankondigt ». Met andere woorden, hij is niet identificeerbaar onder een eigen naam. Brave rechtvaardigt deze keuze door te zeggen dat sommige sites alleen Google toelaten: een crawler met de naam Brave zou dus worden geweigerd. Brave beweert de regels van Googlebot te volgen, dat wil zeggen alleen te lezen wat Google mag lezen. Het resultaat, volgens de pagina, is dat een site Google niet kan toestaan terwijl het Brave blokkeert. Om uit de index te verdwijnen, moet men de noindex-tag gebruiken, die ook vraagt om de pagina bij Google te verwijderen. De Times kwalificeert deze situatie als « weigering om de naam van zijn crawler bekend te maken ».

Het geval van een geïndexeerde site

De auteur van het bronartikel, die de site nohacks.co beheert, heeft dit gecontroleerd. Een site:nohacks.co-zoekopdracht uitgevoerd op 3 november toonde zestien van zijn pagina’s op de eerste resultatenpagina, waaronder dertien artikelen. Het resultaat bevatte zelfs een paginabeschrijving die diezelfde dag was vervangen, wat wijst op een opgeslagen kopie en geen live raadpleging. Zijn robots.txt noemt dertien AI-crawlers, maar geen enkele komt overeen met Brave.

De klacht gaat ook over « LLM Context », een functie die door Brave wordt omschreven als het leveren van « uitgepakte paginafragmenten en bronmetadata, in een vorm en lengte die geschikt zijn voor de behoeften van een LLM, zonder dat extra scraping nodig is ». De klassieke zoekmachine verwijst internetgebruikers door naar de sites, terwijl de doorverkoop van de index deze terugverwijzing niet garandeert; die beslissing ligt bij het AI-bedrijf.

De Times vervolgt Brave wegens auteursrechtinbreuk en het omzeilen van zijn abonnementssysteem, onder andere grieven. De Daily News, de Chicago Tribune en de Orlando Sentinel hebben dezelfde dag een aparte klacht ingediend. In een eerdere geschilzaak met News Corp had Brave zelf de procedure gestart, waarbij het beweerde zich slechts te beperken tot het indexeren van het web. In juli 2026 sloeg News Corp terug door Brave te beschuldigen van het verbergen van zijn crawlers om uitgevers te beletten ze te detecteren of te blokkeren, volgens Semafor.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x