Het gevaar van HTTP statuscodes

Elke keer wanneer je browser een bepaalde pagina van een website gaat inladen, wisselt het achterliggende HTTP-protocol aanvragen en antwoorden uit.

De webserver gaat op de vraag voor het ophalen van een webpagina met een zogenaamde HTTP statuscode reageren, zodat je browser weet wat hij mag verwachten.

1 van deze statuscodes ga je zeker al wel kennen. De 404 statuscode geeft namelijk aan dat de webserver de opgevraagde pagina niet kent en je daarom (als de webdevelopers hun werk goed hebben gedaan) een not-found-pagina gaat voorschotelen. Heb je de nieuwe 404-not-found-pagina van Intracto al gezien?

 

Een overzichtje van enkele van de belangrijkste HTTP statuscodes:

  • Statuscode 200    Alles OK! Hier is de gevraagde pagina.
  • Statuscode 301    Definitieve redirect van deze opgevraagde pagina naar een andere pagina. Een van de belangrijkste statuscodes op SEO-vlak.
  • Statuscode 302    Tijdelijke redirect van deze opgevraagde pagina naar volgende pagina.
  • Statuscode 403    Je hebt geen toegang tot deze pagina.
  • Statuscode 404    De opgevraagde pagina kan niet gevonden worden.
  • Statuscode 418    I’m a teapot. Geeky aprilmopje van 1 april 1998!
  • Statuscode 500    Interne serverfout!

 

De gevaren van een foute HTTP statuscode

De afgelopen weken hebben we bij verschillende klanten tijdens SEO audits enkele cases gezien waarbij de gevaren van een foute statuscode duidelijk werden. Daarom dan ook deze blogpost om zulke gevallen wat verder uit te leggen.

 

Statuscode 401 voor de Googlebot

Een klantenwebsite kreeg vanaf een bepaald moment een sterke daling in organisch verkeer vanuit zoekmachine Google, waardoor de bezoekcijfers van deze website in vrije val gingen.

  • Was er sprake van een Google penalty? Neen, geen melding in de Google Webmastertools.
  • Was er sprake van een Pinguin/Panda algoritme afstraffing? Moeilijk te bedenken bij deze informatieve en autoritaire website.
  • Was er iets fout met de website? Neen, de website was perfect te bezoeken.

Tijd om de indexatie in Google eens te gaan bekijken. Zowel het Site:-statement in Google als het indexed-rapport in de Webmastertools waren duidelijk. Een voor een werden de pagina’s van deze website uit de Google zoekresultaten gegooid.

Het bekijken van de HTTP statuscodes gaf ook geen verklaring, aangezien alle pagina’s een statuscode 200 doorgaven in onze verschillende analysetools.  Na verdere analyse in de Google Webmastertools merkte ik vervolgens wel op dat de Googlebot de statuscode 401 kreeg voorgeschoteld. 

Tijd om contact op te nemen met het betreffende hostingbedrijf van deze website (die niet op onze hosting staat).

Een automatische blacklistmodule op de webserver had foutief instructies gekregen om de Googlebot (naast andere zoekrobots, die op zoek zijn naar mailadressen op websites voor het versturen van spam) tegen te houden. Enkel de Googlebot kreeg dus statuscode 401 te verwerken op elke aanvraag, maar gewone bezoekers kregen statuscode 200.

Google was dan ook gestart met het verwijderen van die pagina’s, die een foutieve statuscode doorgaven. Onder het principe: als ik niet binnen mag, dan zijn die pagina's voor iedereen waarschijnlijk onbereikbaar.

Na de technische oplossing heb ik ervoor kunnen zorgen dat de volledige website terug binnen de dag in de zoekresultaten van Google beschikbaar was. Dit deed de bezoekercijfers dan ook meteen de hoogte in schieten. In de indexatiegrafiek van de Google webmastertools kan je mooi terugvinden wanneer het probleem op de server was gestart en wanneer de klant onze hulp heeft ingeschakeld.

indexatie issue http statuscode

 

 

Geweigerde Adwords ads door statuscode 404

Het statuscodeverhaal komt ook terug in onze automatisatie van Adwordscampagnes, die Intracto als digital agency verzorgt voor zijn klanten. Wanneer bepaalde urls niet meer bestaan, zal ook de campagneurl een statuscode 404 (not found) krijgen voor de bestemmingsurls van de ads.

Via een opzet met Adwords scripts krijgen we als Online marketingteam deze disapproved ads mooi in onze mailbox, zodat er meteen actie kan worden ondernomen. Een groeiend aantal van disapproved ads in je Adwords campagne is namelijk nadelig voor je quality score en kan je campagne zelfs doen schorsen.

Een nieuwe site lanceren en alle oude pagina's een 302 redirect geven

Bij het uitvoeren van Search-Engine-Optimization-werk is het nakijken hoe de redirects binnen de site zijn gelegd, een van mijn belangrijkste prioriteiten. Als er al oude pagina's naar een nieuwe versie van de pagina's worden doorverwezen, gebeurt dit in teveel gevallen met een gewone redirect. Deze geeft dan statuscode 302 door aan de Googlebot, waardoor Google denkt dat dit slechts een tijdelijke doorverwijzing is.

Maak je er dus bewust van dat ALLE redirects binnen je website van pagina's steeds met een 301 redirect worden gedaan, die de vaste 301 statuscode meegeeft. Zo weet Google dat dit een vaste doorverwijzing is (en SEO waarde moet doorgezet worden).

Denk hier dus zeker aan bij het opstellen van een SEO redirectplan, wanneer je een nieuwe versie van je website wilt lanceren.

 

Concrete case bij 9lives.be met statuscode 403

De Belgische gamewebsite 9lives.be werd op vrijdag 10 oktober het slachtoffer van een hack waarbij de forumdatabase werd gestolen. Op Zaterdag 11 oktober is de website offline gehaald en toont de 9lives.be domeinnaam een 403 statuscode (geen toegang).

Ik ben sindsdien geregeld eens in de Google index gaan kijken naar het aantal geïndexeerde pagina’s en na een trage achteruitgang in geïndexeerde pagina’s is er op 21 oktober dan de grote drop gekomen, waarbij meer dan 2 miljoen pagina’s uit de Google index zijn gehaald.

In onderstaande animated gif kan je mooi zien hoe op slechts 8 dagen tijd het aantal geïndexeerde pagina's van 2,4 miljoen naar 350.000 is teruggevallen.

 

Het lijkt me sterk indien dit project ooit nog terug opgestart zal worden en zijn vroegere online authoriteitspositie terug zou kunnen verzekeren.

 

 

Hoe kijk je de statuscodes na?

Hoe kan je nu daadwerkelijk de statuscodes van een pagina of website gaan nakijken? Er zijn verschillende mogelijkheden hiervoor:

  • Gebruik maken van een browserextensie (zoals Live HTTP headers voor Chrome).
  • Gebruik maken van online tools die de HTTP headers tonen (zoals bvb. httpstatus.io).
  • Gebruik maken van gespecialiseerde SEO tools, die wij binnen ons online marketingteam ook gebruiken.
  • Via de "Fetch als google"-service van de Google Webmastertools krijg je de statuscode voor de Googlebot.

 

Heb je vragen/opmerkingen of ben je het niet eens met deze blogpost, geef dan zeker een reactie op onze Facebook post hierover.

Meer weten? Contacteer ons!

Door Intracto