Voor een klassieke website levert het bestand llms.txt in 2026 geen meetbaar voordeel op, noch in Google noch in AI-zoekmachines, volgens Abondance. De site analyseerde zijn serverlogs tussen 1 juni en 4 november 2026: zijn twee bestanden ontvingen 1.657 verzoeken, waarvan 10 afkomstig van geïdentificeerde AI-robots.
Wat Google en studies zeggen
Het llms.txt is een Markdown-bestand (eenvoudig tekstformaat) dat in de hoofdmap van een website wordt geplaatst. Het stelt de site voor en somt zijn nuttige pagina’s op. Dit formaat werd bedacht door Jeremy Howard en gepresenteerd op 3 september 2024. Twee jaar later is het nog steeds geen webstandaard. Een variant, llms-full.txt, verzamelt de volledige inhoud van pagina’s in één bestand. Het maakt geen deel uit van het oorspronkelijke formaat en komt van documentatietools zoals Mintlify.
Google stelt in zijn gids over generatieve AI dat geen enkel tekstbestand nodig is om te verschijnen in de zoekresultaten, inclusief AI-functies. De zoekmachine preciseert dat ‘Google Search ignores them’. In een podcast van 15 juni 2026 vindt John Mueller dat hopen ontdekt te worden door AI dankzij dit bestand ‘doesn’t make any sense at all’, aangezien elke site zich erin als de beste presenteert.
Studies wijzen in dezelfde richting. Ahrefs analyseerde in mei 2026 137.210 domeinen: 28% publiceert een llms.txt, en 97% van deze bestanden ontving geen enkel verzoek in de maand. SE Ranking kruiste op zijn beurt bijna 300.000 domeinen met hun vermeldingen in LLM’s en vond geen correlatie met de aanwezigheid van het bestand.
Wat de logs van Abondance laten zien
Van de 1.657 geregistreerde verzoeken komen er 585 van SEO-tools, GEO-tools en scanners, ofwel 35% van het totaal. Een OVH-server die zich voordoet als Googlebot opende het bestand 289 keer sinds 23 oktober, terwijl de echte Googlebot slechts 34 keer kwam in de periode. ChatGPT-User, die alleen werkt op aanvraag van een gebruiker, opende het bestand tweemaal, op 8 juni en 25 augustus. ClaudeBot opende het één keer, op 21 oktober, en OAI-SearchBot, PerplexityBot en GPTBot hebben het nooit geraadpleegd.
Een update gepubliceerd op 5 november brengt een belangrijke precisering. De host van Abondance ontdekte dat GPTBot sinds 25 augustus werd geblokkeerd door zijn firewall, die adressen van de robot en sommige adressen van PerplexityBot bevatte. De lijst werd dezelfde dag verwijderd, en de twee robots verschenen opnieuw in de logs. Een robot toestaan in robots.txt garandeert dus niet dat hij de site bereikt, een firewall of CDN kan hem stroomopwaarts tegenhouden.
De gevallen waarin het bestand interessant blijft
John Mueller wijst vooral op technische sites. Google publiceert zelf dit soort bestand op zijn sites voor ontwikkelaars. In de studie van Ahrefs staat Claude Code, de code-agent van Anthropic, bij de AI-tools die llms.txt-bestanden het meest openen. Voor een dienst die een agent moet gebruiken, kan het bestand uitleggen hoe te werk te gaan, hoewel John Mueller benadrukt dat de vraag open blijft.
