Wenn man sich die Crawl Statistiken so anschaut, hier mal ein Beispiel eines großem Forums inkl. Sitemap xml, zeigt sich schnell das Google mal wieder am Ende zu sein scheint:
Folgende Seitenaufrufe wurden innerhalb der letzten 48 Stunden durch Suchmaschinen generiert:
- Yahoo! Slurp Suchmaschinen (379)
- MSNBot Suchmaschinen (11)
- AskJeeves Suchmaschinen (2)
- Google Suchmaschinen (1)
Hört man ja mal wieder aus allen Ecken und Kanten, dass Google beim spidern mal gerade wieder die Puste ausgeht.
Wer sich jetzt wundert warum Yahoo so emsig ist, dazu gibt es einen kleinen Trick. Man erstellt sich einfach eine eigene Suchmaschine mit Yahoo, also eine Suche mit dem Yahoo! Search Builder und gibt in den Optionen an das nicht das Web sondern nur die eigene Seite durchsucht werden soll. Daraufhin wird Yahoo sehr fleißig und schaut auch in die letzten Ecken und auch im Yahoo Index finden sich sehr bald deutlich mehr Seiten.
… und nein es ist nicht egal ob man 100 oder 5.000 Seiten im Yahoo Index hat, denn der magere Traffic den man von Yahoo bekommt hat auch ne Menge mit der knappen Seitenanzahl im Index zu tun. try it …