Eine Liste der häufigsten Robots, Crawler und Spider, die in Ihren Log-Dateien auftauchen können.
Mit dieser Liste können Sie die Log-Dateien Ihrer Webseite besser interpretieren. Ohne zu wissen welcher robot Ihre Seite besucht hat, können Sie auch nicht beurteilen, ob Ihre Suchmaschinen Anmeldung erfolgreich war. Wenn Sie Ihr Ranking in den Suchmaschinen nachhhaltig verbessern wollen, sollten Sie unseren Suchmaschinen Optimierungskurs besuchen.
Neben den hier aufgeführten Robots, Spider und Crawler gibt es weitere, die Ihre Seite nach E-Mail Adressen oder defekten Links durchsuchen, aktuelle Veranstaltungen suchen und sogenannte Seitensauger, die Ihre Seite zum lokalen Abspeichern komplett laden.
|
Name des robots, Crawler,
Spider in der Log-Datei | Suchmaschine |
| ArchitextSpider | Excite |
Scooter/1.0 scooter@pa.dec.com
Scooter-3.0.g12-23
Mercator-1.2
Mercator-1.1 | Altavista |
| Lycos_Spider_(T-Rex) | Lycos |
| KIT-Fireball/2.0 | Fireball |
| Freecrawl | Euroseek |
| Tarantula | Nathan.de |
| Eule-Robot | Eule |
| libwww-perl/5.48 | www.bcentral.com/ |
| Aladin/3.324 | Aladin |
Slurp/si (slurp@inktomi.com
Slurp/2.0 | Hotbot/Inktomi |
taz.northernlight.com
Gulliver/1.3
Gulliver/1.1 | Northernlight |
Googlebot/2.1d (http://www.googlebot.com/bot.html)
BackRub/2.1 backrub@google.stanford.edu | Google |
| FAST-WebCrawler/2.2-pre41 (crawler@fast.no | alltheweb (fast) |
| AbachoBOT | Abacho |
| Acoon Robot v1.50.001 (www.acoon.de) | Acoon |
| scoutmaster | scoutmaster.de |
| Infoseek Sidewinder/0.9 | infoseek.com |
| scoutmaster | scoutmaster.de |
| ADB_Web/1.1 | ISSN.org |
| ia_archiver | www.alexa.com/ |
| Konqueror/1.1.1 | www.konqueror.org/
Browser für Unix |
| ia_archiver | www.alexa.com/ |
| |
| E-Mail Sauger | |
EmailCollector
EmailSiphon
EmailWolf | |
| Web Seiten Kopierer/Sauger | |
ExtractorPro
SiteSnagger
WebStripper
Offline Explorer
WebCopier
| |
So muss Ihre robots.txt aussehen, damit sich die Spider, Crawler und Robots auch richtig benehmen. |
Eine weitere Liste zu den Robots, ihren Namen und IP Adressen finden Sie bei www.searchengineworld.com |
