scripts

alles over :: blog

Categorieën

Zondag, 3 september 2006

Geplaatst door alles over in scripts op 15:09

Reacties (0)

Updated: 2007/01/11

Onderstaand stukje code is een toepassing van mijn laatste versie van de walker module. Walker.pm is een objectgeoriënteerd schema voor een webrobot in perl. Hieronder een korte manual voor het gebruik van de module (engels).

- Walker is still under development -

SYNOPSIS

use strict;
use walker;

my $robot = walker->new(URL => 'http://www.example.com/page/', MAX_REDIRECT => 1);
$robot->agent('Mozilla/5.0');
$robot->walk();

die "Error\n" if ($robot->is_error);

#Get the content
my $html = $robot->get_contents;

#Fetch next site
$robot->site('http://www.example.com/nextpage/');
$robot->walk();

#Get the last-modified date
my $date = $robot->header('last-modified');

#Print all the header fields
my $href = $robot->header;
foreach my $field (keys %{$href}) {
print '[Field] ', $field, ': ', $href->{$field}, "\n";
}

Ga door met het lezen van "Walker: webrobot in perl"

Woensdag, 30 augustus 2006

Geplaatst door alles over in scripts op 21:07

Reacties (0)

Eenvoudige detectie van zoekrobots

Met php is het vrij eenvoudig een robot van een zoekmachine te detecteren aan de hand van zijn user-agent en/of IP. Bijvoorbeeld stuurt het onderstaande stukje script een email naar 'user@example.com' zodra Googlebot de website bezoekt:

$ip = $_SERVER["REMOTE_ADDR"];
$time = date("M d Y H:i:s");
$user = "user@example.com";

if (strpos($_SERVER['HTTP_USER_AGENT'], 'Googlebot/2.1') !== false) {
if (preg_match("/^66\.249\./i", $ip)) {
mail($user, "Googlebot/2.1 visit (" . $time . ")", "");
}
}

Een detectie zowel aan de hand van IP als user-agent werkt het meest betrouwbaar. Hieronder nog een klein lijstje van bekende IP en user-agent combinaties: