Cuil, een directe uitdager van Google, heeft het aan de stok met websitebeheerders. Ze zijn boos over een experimentele zoekrobot die zo fanatiek te werk gaat dat het hun sites tijdelijk ontoegankelijk maakt.

De zoekrobot, die Twiceler heet, brengt volgens de beheerders alarmerend vaak een bezoek aan hun website om aanwezige pagina’s in zijn index op te nemen. Een lid van The Admin Zone, een specialistisch forum, zegt dat de robot in eerste instantie zes procent en nu al achttien procent van het totale aantal maandelijkse bezoeken voor zijn rekening neemt. “Hij bezoekt mijn site meer dan ik zelf doe”, zegt een verbijsterde Flamey.

Twiceler eist tijdens sommige bezoeken zo veel bandbreedte op dat websites tijdelijk ontoegankelijk worden voor hun eigenaren. Verschillende beheerders zijn al overgegaan tot het actief blokkeren van de opdringerige bot.

Het is niet de eerste keer dat websitebeheerders zich boos maken over de agressieve praktijken van de indexrobot. In mei van dit jaar, maanden vóór de ongelukkig verlopen lancering van Cuil, schreef Wired ook al over site-eigenaren die Twiceler een “op hol geslagen robot” noemden die “moet worden afgestopt”.

Wie Cuil liever niet langer op zijn site ziet verschijnen kan in het bestand robots.txt de volgende 2 regels zetten

User-agent: twiceler
Disallow: /

Heeft u nog geen robots.txt in uw webruimte staan, maak hem eenvoudig met de kladblok van windows en upload de file in de rootdirectory van uw webruimte. Op dezelfde plaats waar ook index.html of index.php staat.