Googlebot kan geen toegang krijgen tot CSS- en JS-bestanden

De afgelopen dagen ontvingen we verschillende mails van klanten, waarbij ze een mail van Google doorstuurden met de vraag wat ze hiermee dienden aan te vangen.

Sinds 2 weken is Google namelijk gestart om alle websites in Google Search Console (voorheen Google Webmaster Tools) te gaan waarschuwen bij bepaalde technische SEO-problemen op hun website:

  • Google stuurde midden juli een mailing uit rond "Incorrect hreflang implementation", waarbij het eventuele problemen met de implementatie voor de HREFLang metatags voor meertaligheid aangaf.
  • Op 28 juli verstuurde Google dan een nieuwe mailing omtrent de robots.txt onder de noemer: "Googlebot kan geen toegang krijgen tot CSS- en JS-bestanden".

googlebot-robots

Indexatieproblemen door robots.txt

Via het technische robots.txt bestandje (heb je die van Intracto al eens goed gelezen? ;-) ) kan je aan de robots van bijvoorbeeld de zoekmachines aangeven welke delen van je website niet bezocht hoeven te worden door de spiders.

Dit kan bijvoorbeeld handig zijn bij een e-commercewebsite om de robots niet volledig te doen verdwalen in de vele filter- en sorteeropties van de webshop.

Het gevaar is dat oude implementaties van de robots.txt nog geen rekening houden met het feit dat Googlebot nu een website volledig ziet zoals een gewone bezoeker. Daarom moet de Googlebot natuurlijk ook alle Javascript en CSS styling objecten zien.

Het is net hier dat het veelvuldig foutloopt. Wanneer Google geen toegang krijgt tot de CSS stylingobjecten, kan het bijvoorbeeld niet nakijken of je website al dan niet responsive is.

 

Hoe kan ik testen of mijn robots.txt juist is opgezet?

Enerzijds kan je dit eenvoudig testen vanuit de functionaliteit "Fetchen als Google" in de Google Search Console.

Een andere methode is de mobile friendly test tool van Google. Deze tool geeft namelijk ook aan of er bepaalde JS/CSS objecten worden geblokkeerd.

Mobielvriendelijke_test

 

 

Wil je weten hoe je robots.txt best aangepast, neem dan contact op met ons via Twitter (@intracto) of de contactpagina .

 

Wil je meer leren over Technische SEO?

Op 24 september organiseren we weer een opleiding technische SEO, waarbij we geavanceerde SEO-technieken aanleren aan de hand van praktijkvoorbeelden.

 

technische seo opleiding intracto

Meer info over de SEO opleiding

Meer weten? Contacteer ons!