alles over :: blog

Een server-side redirect is het enige type redirect die alle zoekmachines goed ondersteunen en is daarom de aanbevolen manier om bezoek door te sturen naar een andere url. Het is dus niet verstandig een dergelijke actie met javascript-code of middels een meta-refresh tag uit te voeren. Dit werkt alleen voor browser-bezoek zoals IE of Firefox.

In beperkte mate wordt de meta-refresh tag wel ondersteund, maar dit geldt niet voor iedere zoekmachine. Bovendien: de meta-refresh tag is een methodiek om een pagina periodiek te verversen en niet als redirect bedoeld.

De bekendste server-side redirects zijn 301 Moved Permanently en 302 Moved Temporary. Zoals de benaming al aangeeft worden deze gebruikt voor het aangeven van respectievelijk een definitieve en een tijdelijke URL-verhuizing.

In totaal zijn er 8 verschillende redirects (300 t/m 307) met ieder hun eigen betekenis. De betekenis hiervan is na te lezen op de officiële RFC2616 Status Code Definitions van w3.org.

Wanneer het source-url of target-url in de index van de zoekmachine terechtkomt hangt af van een aantal factoren. Een van deze factoren is of het een redirect betreft naar een extern domein of een interne pagina. Voor de webrobot van Yahoo, Slurp! genaamd, heeft Yahoo een duidelijke uitleg gemaakt over redirect afhandeling.

Updated: 2006-09-16

Soms wil je van een lijst met URL's controleren of deze URL's beschikbaar zijn (een '200 OK' response code teruggeven) of niet. Met het volgende URL check script is een dergelijke actie te automatiseren. Het script is gebaseerd op walker.pm; een objectgeoriënteerd schema van een webrobot in perl.

Hieronder volgt de uitleg van enkele belangrijke delen van de code:

1

Het script leest als input het bestand 'seed.txt' en stopt de regels hiervan in array @list;

2

Walker volgt automatisch 301 en 302 redirects. Echter indien MAX_REDIRECT wordt overschreden geeft deze alsnog een error.

Vandaag is het mij voor het eerst opgevallen dat een webrobot genaamd "Slurpy Verifier/1.0" mijn website bezoekt. Ik heb deze user-agent nog nooit eerder gezien en het lijkt van de IP-range van Yahoo te komen. De hits komen van 72.30.61.76 [nj10002.inktomisearch.com], maar ook van 66.228.164.201 [rdev25.yst.corp.yahoo.com]. Is dit een development machine bij Yahoo?. Wat het precies doet is dus nog vrij onduidelijk.

Een kleine zoektocht op het internet maakt in ieder geval wel duidelijk dat ik niet de enige ben die deze robot heeft zien langskomen. Bloggers schrijven in April al over deze bot.

Wat me wel opvalt:
- De robot ondersteunt HTTP/1.1;
- De robot haalt telkens dezelfde url op;
- De robot haalt fresh urls op.

Mp3's klinken vaak wat doffig en dynamiekloos, zeker als er een flink sterke compressie (en dus lage bitrate) gebruikt is. Met DFX zorg je voor sprankelende muziek. Het programma DFX is feitelijk een plugin voor de meest gangbare muziek- en multimediaplayers. Behalve voor Winamp, zijn deze plugins er ook voor Windows Media Player, J. River Media Center, Musicmatch Jukebox, RealPlayer en RealOne en Sonique Player. De functionaliteit is bij alle plugins hetzelfde.

Een tijdje geleden heb ik aan een reguliere expressie in perl gewerkt die een redelijk complete oplossing geeft om alle links te extraheren uit een HTML file. In veel gevallen kan het gebruik van deze simpele regexp ten opzichte van een oplossing met bijvoorbeeld HTML::LinkExtor performance winst opleveren.