ROBOTS

Alles-over.com maakt bij het aanbieden van haar diensten gebruik van webrobots. Een webrobot is software dat uw website automatisch kan bezoeken. AanmeldBot is de naam (user-agent) van de webrobot van het alles-over.com aanmeldsysteem.



AanmeldBot houdt zich aan de robot exclusion standaard. U kan daarmee zelf bepalen welke delen van uw website niet door AanmeldBot mogen worden bezocht. Voeg bijvoorbeeld, om te voorkomen dat AanmeldBot de directory '/cgi-bin/' crawled, de volgende regels toe aan robots.txt.