Vandaag is het mij voor het eerst opgevallen dat een webrobot genaamd "Slurpy Verifier/1.0" mijn website bezoekt. Ik heb deze user-agent nog nooit eerder gezien en het lijkt van de IP-range van Yahoo te komen. De hits komen van 72.30.61.76 [nj10002.inktomisearch.com], maar ook van 66.228.164.201 [rdev25.yst.corp.yahoo.com]. Is dit een development machine bij Yahoo?. Wat het precies doet is dus nog vrij onduidelijk.
Een kleine zoektocht op het internet maakt in ieder geval wel duidelijk dat ik
niet de enige ben die deze robot heeft zien langskomen. Bloggers schrijven in April al over deze bot.
Wat me wel opvalt:
- De robot ondersteunt HTTP/1.1;
- De robot haalt telkens dezelfde url op;
- De robot haalt fresh urls op.
