De dagelijks door SEO-specialisten gebruikte gegevens vragen meer controle dan het lijkt. Drie onderwerpen van deze week illustreren dit: vervalste positierapportages, PageSpeed Insights-scores die veranderen zonder wijzigingen aan de pagina’s, en gedeelde controle over het robots.txt-bestand voor AI-training.
- Positierapportages raken verstoord door irrelevante resultaten en onopgeloste goto-links.
- PageSpeed-scores veranderen door Lighthouse 13.6.0, ook zonder wijzigingen aan de pagina.
- Google, Microsoft en OpenAI komen met een gedeelde robots.txt-controle voor AI-training, maar nog niemand ondersteunt die.
- Google behandelt een gedeelde opt-out als weigering voor Google-Extended, terwijl Microsoft na 1 maart 2027 stopt met NoArchive en NoCache als voorkeuren.
Verstoorde positierapportages
Twee fenomenen die de door positievolgtools verzamelde Google-resultaten beïnvloeden, kunnen rapporten verstoren. Enerzijds kunnen irrelevante resultaten een gevolgde pagina buiten de verzamelde lijst plaatsen. Anderzijds kunnen onopgeloste ‘goto’-doorverwijzingslinks de daadwerkelijk gerangschikte pagina verbergen.
Een onderzoek van SE Ranking naar 10.000 Amerikaanse Google-zoekwoorden op desktop, gepubliceerd op 3 november, geeft aan dat 84% van de gemelde gevallen betrekking had op resultaten die geen verband hielden met één enkel woord uit de zoekopdracht. Van deze blokken begon 96,5% op positie 9 of lager. Nozzle, dat een andere methodologie gebruikt, noteert zelf een wekelijks aandeel van getroffen SERP’s dat medio oktober daalde tot 1,5%, maar in de week van 26 oktober weer steeg tot 7,6%.
Volgens DataForSEO heeft Google een mechanisme ingevoerd dat het aantal ‘goto’-links van eenzelfde resultatenpagina dat binnen een bepaalde periode kan worden opgelost, beperkt. De High Priority- en Live-modi van het bedrijf zouden daardoor slechts ongeveer de helft van de goto-URL’s oplossen. De statuspagina van Serper vermeldt deze beperking op 30 oktober, terwijl het tweede incident van SerpApi, geopend op 3 november, bij de laatste controle op 4 november nog steeds de status ‘Identified’ toonde.
PageSpeed-scores die zonder duidelijke reden veranderen
PageSpeed Insights gebruikt nu Lighthouse 13.6.0, een versie die de laadsimulatie voor het berekenen van labscores wijzigt. Een score kan dus veranderen zonder dat de pagina is aangepast. Volgens een publicatie van Barry Pollard van Google op Bluesky zou de bijgewerkte versie van de gesimuleerde FCP- (First Contentful Paint) en LCP-indicatoren (Largest Contentful Paint) nauwkeuriger moeten zijn. Sites met veel JavaScript zouden meer door dit effect worden getroffen.
De simulatie-engine, Lantern genaamd, baseert zich nu op het renderblokkeringslabel van Chrome voor elke aanvraag, met de ophaalprioriteit als fallback. De veldgegevens in hetzelfde rapport, afkomstig van echte gebruikers, worden niet door deze wijziging beïnvloed. Omdat scores voor en na de update niet op dezelfde simulatie zijn gebaseerd, kan een deel van de waargenomen stijging op geoptimaliseerde pagina’s door de nieuwe versie komen. Het wordt aanbevolen te controleren of rapporten dezelfde Lighthouse-versie vermelden en veldgegevens te vergelijken voordat een verbetering wordt geconcludeerd.
Een gemeenschappelijke controle voor AI-training
Google, Microsoft en OpenAI kondigden op 30 oktober aan dat zij een gedeelde controle over robots.txt voor AI-trainingsvoorkeuren zullen respecteren, geïnspireerd op een Internet-Draft van Kevin Kelley van Anthropic. Het mechanisme heeft de vorm van een klassieke robots.txt-groep, gekoppeld aan het beleidstoken __usage_ai-training, met Allow- en Disallow-regels. Volgens de openbare tijdlijnen van de drie organisaties ondersteunt er nog geen enkele deze controle.
Google geeft aan dat het een gedeelde opt-out zou behandelen als een weigering voor Google-Extended, wanneer de site deze instelling niet heeft gedefinieerd. De documentatie van zijn crawlers preciseert dat Google-Extended ook grounding in Gemini Apps omvat. Microsoft zal de gedeelde controle gebruiken voor training, een aparte pagina-level voorkeur, AI Grounding, introduceren, en zal na 1 maart 2027 stoppen met het beschouwen van NoArchive en NoCache als voorkeuren voor training of grounding.
In de rubriek gewijd aan technische SEO verklaarde John Mueller van Google verder dat AI-systemen ‘build on SEO’, volgens zijn geciteerde woorden, en dat hij verwacht dat technische SEO relevant blijft. Hij sprak hierover tijdens Search Central Deep Dive Europe 2026, in een op 29 oktober gepubliceerd interview met David Iwanow.
