In de bijeenkomst over S.E.O. werd de impact van dode links benadrukt. Er werden enkele tips gegeven om de dode links op jouw site te vinden. In dit artikel bekijken we ze nader alsook enkele alternatieven.

Inhoud

Inleiding

Link checkers werken net als een zoekmachienes : Zij 'crawlen' (kruipen) door uw website op zoek naar interne en externe links die verwijzen naar pagina's die niet meer bestaan of geen (te trage) respons geven. De link checker doorloopt alle links totdat alle verwijzingen zijn onderzocht, totdat een bepaald eindpunt bereikt is.
Een goede link checker vermeldt ook waar de gebroken link is gevestigd zodat je weet waar in jouw site je die verwijzing moet aanpassen. Bij grotere sites, als er meerdere links gebroken zijn, is het handig om dergelijk rapport als bestand te kunnen bewaren zodat het rondgestuurd kan worden naar de redacteurs, publiceerders, .... Uitgebreide link checkers zeggen ook waarom de link als verbroken wordt aangeduid.

Met behulp van robots.txt kan je jouw server configureren om "robots" (zoekmachines) toegang tot bepaalde mappen te ontzeggen. Sommige link-checkers laten toe om die configuratie te respecteren of om deze juist te negeren (en zodoende alles te doorzoeken).
Sommige scanners zoals Xenu's Link Sleuth houden geen rekening met de instelling voor "no robots", zodat ze alles crawlen, ook al robots worden "geblokkeerd".

Te installeren

LinkChecker

wummel.github.io/linkchecker/

Vraagt weinig CPU , 60Kbytes. Programma bestanden < 50Mbytes. Zeer eenvoudig in gebruik.

LinckChecker volledig

Linkchecker geeft voor elk gecontroleerde URL de titel , de oproepende pagina URL, de http-respons en bijkomende info, een waarschuwing of advies. HTTP respons van de server wordt ook getoond. Het is gemakkelijk om de recursiediepte (hoeveel sub-mappen te checken) in te stellen.

LinkcChecker Options

LinkChecker kan ook gebruikt worden vanaf de opdrachtregel. Er is een krachtige set van command-line opties. Deze kunnen ook gebruikt worden bij het maken van een eigen configuratiebestand. Volgens Philip op Gizmo's tech-site zou je hiermee elke scan kunnen configureren die je maar wenst.

Bij een check op www.jugvlaanderen.be kwamen er meerdere meldingen “URL has empty hostname” die hun oorsprong hadden in de extensie ContentMap
http:///jugvlaanderen.be/media/contentmap/images/ajax-loader.gif
.contentmap_loading{
background: url("http:\/\/www.jugvlaanderen.be\/media\/contentmap\/images\/ajax-loader.gif") no-repeat scroll 50% 50%;
}
Dit zijn wel valse foutmeldingen (iets waar wel meerdere link-checkers aan leiden).

Een rapport wordt gepresenteerd in HTML-formaat.

LinkcChecker Rapport

Xenu's Link Sleuth

home.snafu.de/tilman/xenulink.html

Dit is een zeer oud programma (kleiner dan 1Mbyte) maar is zeker de moeite waard. Schrijver dezes heeft niet alle mogelijkheden onderzocht maar bij een eenvoudig gebruik is het resultaat al zeer bevredigend terwijl de snelheid fantastisch is.

Je kan de scan beperken tot links die verwijzen naar externe sites.

Xenu Entry pageValse meldingen zoals bij Linkchecker blijken niet (of weinig) voor te komen.
Je kan Xenu ook laten zoeken naar wees-bestanden, orphan-files. Hiervoor moet je dan wel de map opgeven waarin de bestanden zitten die je daarop wil checken en de ftp-log-in gegevens.

Xenu options 1
Xenu options 2

De uitslag wordt getoond in een browser of je kan het resultaat bewaren als een CSV of tab-separated bestand. Klein vervelend detail: indien je het html-bestand bewaart dan zal de daarin getoonde reclame-banner ook in een bestandsmap bewaard worden.

Xenu BrokenLinkReport in html-formaat

Een extra functionaliteit is Page Map dat een rapport produceert waarin een overzicht van de paginas, URL + pagina-titel, met elk hun linken en de status ervan (“not found”, “ok”, “time out”, ...) .

Xenu BrokenLinkReport scherm

On-line link checkers

Link Valet

http://www.htmlhelp.com/tools/valet/

Link Valer is een apart beestje. Het laat ook toe om de HTML-code per pagina te testen. Er zijn 2 types van rapporten, een uitgebreid en een verkort.
De snelhied van uitvoeren kan erg verschillen van de tijd van uitvoering!

In het uitgebreid rapport toont hij namelijk alle gevonden links, goede en slechte. Per individuele pagina van je site staan dan al de daarin voorkomende linken opgesomd met het resultaat van de check er naast, t.t.z. de http-respons en enige uitleg. Om de zichtbaarheid te verhogen zijn kleuren gebruikt: goede links in het groen, problemen of fouten zoals 404, 500, ... zijn in het rood aangeduid, de redirects in het oranje en wat verboden is door robot.txt is kleurloos. Er is evenwel geen manier om enkel de fouten te tonen.

Bij het afdrukken van dergelijk uitgebreid rapport (in html) blijken de kleuren te verdwijnen. Dus hoe meer links, hoe moeilijker het is om daarin de problemen in terug te vinden.

LinkValet Site Rapport
In het overzichtsrapport krijg je per pagina het aantal fouten, redirects, gewijzigde, ... vermeld met voor elk pagina de mogelijkheid om daarvan de onderliggende linken te valideren.LinkValet SiteReport Summary Report

De Validate optie doet een check op de juistheid van HTML-code maar echt relevant lijkt dit echter niet zoals je hieronder kunt merken.

LinkValet Validate Page

Brokenlinkcheck

http://www.brokenlinkcheck.com/

De gratis versie staat een maximum van 3.000 pagina's toe maar dat aantal lijkt sneller bereikt dan verwacht. Tijdens het crawlen toont hij het aantal reeds gecheckte paginas wat bij Link Valet niet gebeurd, maar in snelheid is deze laatste toch de winnaar.
Het resultaat wordt als een overzicht in de browser getoond met de meest essentiële informatie (naast de http-response vind je dus geen verklaring, betekenis). Voor meer informatie moet je op de linken doorklikken.

BrokenLinkCheck Rapport

Deze checker laat toe om de html-broncode te zien waarin zich de fout bevindt.

BrokenLinkCheck SourceViewer

Er is evenwel geen export mogelijk van het resultaat naar bijv. een csv-bestand!

In de betalende versie kan je een reguliere scan laten doen. Als resultaat krijg je een html-pagina zoals je ziet bij de gratis versie maar daarnaast krijg je ook een CSV-bestand waarin je met bijv. Excel kan filteren op specifieke gevallen (bijvoorbeeld om meer voorkomende valse meldingen er uit te filteren). Spijtig is dat bij deze betalende versie er geen interface is waar je frequentie, url kunt wijzigen, evenmin naar wie het rapport gestuurd moet worden. Alles gebeurt via e-mail naar brokenlink-support-desk.

W3 Validator

W3C LinkChecker startscherm

validator.w3.org

Hier zijn enkele crawl-opties voorhanden die bij de andere on-line checkers ontbreken.
Tijdens het crawlen zie je de gecheckte pagina's voorbij scrollen.
Merkwaardig genoeg vond hij niet de 2 fouten die alle andere checkers wel vonden!

Dus lijkt mooi maar faalt in zijn detectie.

Online Domain Tools : Website Link Checker

http://website-link-checker.online-domain-tools.com/

Deze tool werd in de herfst 2015 tijdens een presentatie over S.E.O. aangeprezen.

Er zijn meerdere mogelijkheden om, naast de diepte, het bereik van de link-check te bepalen: enkel het subdomein of het hele domein , al of niet de beperkingen van robots.txt respecteren, al of niet de URLs in CSS-bestanden.

Maar net zoals DeadLinkCheck is er een limiet ingesteld: maximum 500 links. Voor meer links wordt het betalen.

WebsiteLinkChecker entryPage

Een output van de uitslag kan in de vorm van TXT, XML of JSON. Spijtig genoeg is de text-versie niet gemakkeijk om te zetten naar een handiger formaat met kolommen (met ondermeer Link, Error, Href).

Link: http://joomladagen.nl/2014/programma/presentaties/joomla-1-joomla-2-en-joomla-3
Type: Error
Status code: 503
Content type: text/html
HTML href: http://joomladagen.nl/2014/programma/presentaties/joomla-1-joomla-2-en-joomla-3
Position: 11559

Link: http://joomladagen.nl/2014/programma/presentaties/joomla-3x-schrijver-met-component-creator
Type: Error
Status code: 503
Content type: text/html
HTML href: http://joomladagen.nl/2014/programma/presentaties/joomla-3x-schrijver-met-component-creator
Position: 11781

Handig is wel de mogelijkheid om het resultaat door te geven via een link (die je kan doormailen).

Het rapport dat on-line getoond wordt is wel gebruiksvriendlijk. Enkel de paginas met problemen worden getoond. Wens je de details, t.t.z. de links die porblemen geven, te zien dan doe je dat met 1 klik om van alle paginas of van 1 pagina de details te zien. Je kan de HTML-code van de pagina bekijken (via een popup window). WebsiteLinkChecker Report on-line

Dit blijkt wel de handigste on-line tool (zonder valse meldingen) maar de limiet van 500 links is een feit.

Varia

Bronnen

www.techsupportalert.com/best-free-web-site-link-checker.htm
online-domain-tools.com/

Tests

Xenu en Linkchecker werden getest op Windows XP , 8 en 10 gedurende herfst, winter 2015 - 2016.

Tester en auteur: Manu Ampe