URL check script (Perl)

alles over :: blog

Categorieën

Advertentie

Zaterdag, 16 september 2006

Geplaatst door alles over in scripts

Reacties (0)

Updated: 2006-09-16

Soms wil je van een lijst met URL's controleren of deze URL's beschikbaar zijn (een '200 OK' response code teruggeven) of niet. Met het volgende URL check script is een dergelijke actie te automatiseren. Het script is gebaseerd op walker.pm; een objectgeoriënteerd schema van een webrobot in perl.

Hieronder volgt de uitleg van enkele belangrijke delen van de code:

1

my @list = read_list('seed.txt');

Het script leest als input het bestand 'seed.txt' en stopt de regels hiervan in array @list;

2

my $robot = walker->new(MAX_REDIRECT => 2);

Walker volgt automatisch 301 en 302 redirects. Echter indien MAX_REDIRECT wordt overschreden geeft deze alsnog een error.

my $try = 3;
while ($try-- > 0) {
$robot->walk();
sleep 2;
unless ($robot->is_error) {
# Succes 200 OK
last;
}
}

In geval van een error (bijvoorbeeld indien de server een '404 Not Found' of '500 Read Timeout' teruggeeft) wordt nogmaals geprobeerd de URL te benaderen. Het maximaal aantal pogingen is ingesteld op 3.
Het script doet verder maximaal 1 request per 2 seconden.

4

if ($robot->is_error) {
print OUTFILE "$url\tNOT OK\n";
} else {
print OUTFILE "$url\tOK\n";
}

Het resultaat van de crawl wordt weggeschreven in een tab gescheiden file met 'OK' of 'NOT OK' achter de URL.

Trackbacks

Trackback is een specifieke link naar deze inzending

Geen Trackbacks

Reacties

Geeft reacties weer als (Lineair | Samengevoegd)

Geen reacties

Reactie toevoegen

Naam
E-mail
Webpagina
Reactie op
Reactie	Enclosing asterisks marks text as bold (word), underscore are made via _word_. Standard emoticons like :-) and ;-) are converted to images. E-Mail addresses will not be displayed and will only be used for E-Mail notifications To prevent automated Bots from commentspamming, please enter the string you see in the image below in the appropriate input box. Your comment will only be submitted if the strings match. Please ensure that your browser supports and accepts cookies, or your comment cannot be verified correctly. Enter the string from the spam-prevention image above: You can use [geshi lang=lang_name [,ln={y\|n}]][/lang] tags to embed source code snippets
	Onthoud Informatie?