Een website kan onzichtbaar zijn voor de zoekmachines. De mogelijke oorzaken hiervan zijn jammer genoeg niet op één hand te tellen. Zo kan het komen door de technische opbouw van de website, het ontbreken van content op de pagina’s of simpelweg door het toevoegen van een no index tag in het meta robots bestand. De techniek van de website is het vertrekpunt van zoekmachine optimalisatie.
Het geldt als het ware als het geraamte van een huis. Een technische analyse spoort fouten in dit geraamte op. Ondanks het grote aantal mogelijke oorzaken van een slechte indexatie zijn er ook een aantal technische fouten die wij vaak terug zien bij websites. In dit artikel geven wij een klein inzicht in een aantal factoren die worden gecontroleerd tijdens zo’n audit.
1. Robots.txt bestand blokkeert (pagina’s binnen de) website
Een robots.txt bestand is een klein bestand dat de crawlers van zoekmachines vertelt wat het wel en niet mag indexeren. Het artikel ‘hoe werkt een robots bestand in de praktijk’ gaat dieper in op het onderwerp.
Verrassend genoeg komt het geregeld voor dat robots.txt bestanden ontbreken en zodoende niet-relevante pagina’s worden gecrawld door de crawler van Google (gaat ten koste van het crawlbudget). Aan de andere kant gebeurt het ook geregeld dat er wel een robotst.txt bestand aanwezig is, maar dat bepaalde pagina’s worden geblokkeerd. Gevolg hiervan is dat Google deze pagina’s niet kan opnemen in zijn database en dat mensen deze pagina dus niet kunnen bezoeken via de zoekmachine. Laat staan als dit gebeurt voor een hele website.
Wanneer een website of een pagina is verdwenen uit de index van Google kan je controleren of dit komt door een fout in het robots.txt bestand.
Zie je het volgende staan:
Disallow: /
Dan betekent dit dat het robot.txt de crawler van Google geen toegang geeft tot jouw website. Het kan ook zijn dat er een noindex tag is in het meta robots bestand.
2. Correcte implementatie van de canonical tag
De canonical tag is geïntroduceerd in 2009 en is vooral erg handig voor website actief in e-commerce. Bij webshops komt het vaak voor dat één product in meerdere categorieën wordt getoond. Hierdoor ontstaat er in feite duplicate content omdat hetzelfde product op verschillende pagina’s aanwezig is. In andere woorden, als meerdere URL’s dezelfde content laten zien, maak dan gebruik van de <link rel=”canonical” href=”<pagina>” tag.
Doe je dit niet dan ontstaat er dus dubbele content en kan het zijn dat Google jouw pagina’s een lagere waardering geeft in vergelijking met concurrenten die wel optimaal gebruikmaken van de canonical tag.
3. Ontbrekende sitemap
Sitemaps worden zo nu en dan wel eens vergeten door de webbouwer. Zie een sitemap als een inhoudsopgave van een boek. In de sitemap staan alle pagina’s van de website en is het tevens mogelijk om een bepaalde prioriteit aan deze pagina’s te hangen. Een XML sitemap ziet er als volgt uit:
Een sitemap helpt een zoekmachine met het ontdekken van de content op je website. Stel de sitemap zo in dat het automatisch nieuwe pagina’s opneemt. Zo versnel je het indexatie proces van deze pagina’s. Google crawlt de sitemap en vindt hier de nieuwe pagina’s, zodat deze pagina’s worden opgenomen in de database en uiteindelijk worden getoond in de zoekmachine.
Sitemaps zijn er puur voor het ondersteunen van de zoekmachines om nieuwe content te vinden. Het is een gemiste kans als er geen sitemaps aanwezig zijn op je website. Naast de aanwezigheid van een XML sitemap is het ook belangrijk dat de sitemap in Google Search Console wordt geplaatst. Zo kan je precies zien welke URL’s wel of niet door Google worden opgenomen en kan je het bovendien snel zien als er fouten zitten in de sitemap.
4. Het verhuizen van pagina’s
Het verhuizen van pagina’s ontstaat merendeels door de volgende punten:
- Een pagina wordt (tijdelijk) verwijderd (bijvoorbeeld omdat het product niet meer op voorraad is)
- Een website verandert van domein
Met het verhuizen van een pagina wordt er vaak de fout gemaakt om de pagina te redirecten naar de homepage in plaats van naar de meest relevante pagina. Voorbeeld:
Stel je verkoopt als website geluidsapparatuur en speakers is een categorie binnen de website. Binnen deze categorie worden er ook speakers van merk A (subcategorie) verkocht alleen het blijkt nu dat deze niet meer op voorraad zijn en dat deze speakers ook niet meer terug komen in het assortiment. Bij veel webshops komt dit probleem op regelmatige basis voor.
Veel webshops kiezen ervoor om de subcategorie te redigeren (301 redirect) naar de homepage. Dit is zonde. De subcategorie kan naar verloop van tijd veel link kracht hebben opgebouwd en de websites die een link naar de speakers van merk A pagina hebben gelinkt, verwachten dat als je op deze link drukt er ook daadwerkelijk een pagina wordt getoond met de speakers van merk A en niet een homepage met een breed scala aan geluidsapparatuur. Vanuit menselijk perspectief is het dus niet ideaal. Daarnaast wil je de opgebouwde linkkracht het liefst mogelijk redigeren naar een relevante categorie, namelijk een 301 redirect naar de categorie speakers.
Wat vaak voorkomt is dat een 301 redirect niet goed is ingesteld. Door een oude URL te redirecten naar de homepage i.p.v. de correcte pagina’s, vergroot je de kans op een daling in de zoekposities en het bezoekverkeer. Wil je een pagina permanent doorverwijzen? Maak dan altijd gebruik van een 301 redirect en niet een 302 redirect, aangezien een 302 redirect geen link kracht door geeft aan de nieuwe pagina.
Het komt ook geregeld voor dat een pagina meer dan één keer is geredirect. Dit wordt ook wel een redirect chain genoemd (opeenhoping van meerdere redirects).Redirect chains ontstaan veelal bij het volgende scenario:
Vanaf de homepage wordt er gelinkt naar de oude categoriepagina (bijvoorbeeld in het navigatiemenu of de footer van de website). Deze pagina bestaat niet meer en vanaf deze pagina is er een 301 redirect geplaatst naar een nieuwe pagina
Dit is niet gewenst, er wordt door de crawler een langere weg gemaakt naar de pagina en gaat ook ten kosten van de laadtijd van een pagina. Zie je dat er redirect chains zijn ontstaan op de website? Zorg dan dat je vanaf de start in één keer een redirect plaatst naar de nieuwe pagina.
De bovenstaande afbeelding geeft weer hoe het wel moet. De start pagina linkt standaard naar de nieuwe pagina én de oude pagina wordt geredirect naar de nieuwe pagina. Dit zorgt voor een optimale link equity.
5. De 404-foutmelding
Wie kent deze ‘pagina niet gevonden’ melding nog?
Zo nu en dan worden er pagina’s van een website verwijderd. Als er op een website intern naar deze verwijderde pagina’s wordt gelinkt en een bezoeker drukt op deze kapotte link dan krijg je de bekende ‘pagina niet gevonden’ melding, oftewel in vakjargon de 404 pagina. Sommige websites gebruiken niet de juiste code als een pagina niet meer beschikbaar is. Er wordt dan niet een 404 code toegekend aan deze pagina’s. Bezoekers komen dan op een soortgelijke pagina zoals in bovenstaande afbeelding (dezelfde melding alleen dan wel in een nieuwer jasje).
Het is zonde als een bezoeker hierop terecht komt. Mocht het toch gebeuren, dan kan je het best zorgen dat de bezoeker een geoptimaliseerde 404 pagina te zien krijgt. Zorg altijd dat de bezoeker op een 404 pagina kan gebruiken en dat er een link is naar de homepage. Wees creatief! Op het internet zijn talloze leuke voorbeelden van 404 pagina’s te vinden. Ter inspiratie de 404 pagina van Bol.com.
Er is een beeld geschetst van een aantal veel voorkomende fouten die vooral te wijten zijn aan de techniek van de website. Zie je jouw technische probleem hier niet tussen? Laat jouw vraag dan achter in de reacties of neem contact met ons op.
