Den Crawler des neuen „Projekt“ Neomo von Stefan Fischerländer packe ich mal in die Kategorie SpamBot „böser Bot“. Warum? Francis, so der Name des Crawlers von Neomo, fragt scheinbar keine robots.txt an zumindest hält er sich nicht dran, fragt diverse gleiche Dateien hundertemale an und verbrät unendlich viel Traffic und das quasi für nichts.
Derzeit bewegt sich unser Crawler Francis mit dieser User-Agent-Angabe durch’s Web: Francis/2.0 (francis@neomo.de http://www.neomo.de/)
(Bitte beachten Sie, dass sich diese Angabe aber jederzeit ändern kann.)
… auch nicht gerade konsequent. Auch andere Webmaster klagen das Francis den Server mit tausenden Requests teilweise lahmlegt.