Wildcards in Robots.txt

Neben Google unterstützt nun auch Yahoo eine Möglichkeit Wildcards in der Robots.txt anzugeben.

Gerade zum Vermeiden von Session IDs in den Suchergebenissen ist das sehr nützlich.

Dies kann man nun ganz einfach so lösen:
Disallow: /*?sessionid

Als Wildcard Characters werden nun *, ? und $ unterstützt.
Nachlesen kann man das auf Yahoo Blog

Aussperren dynamischer Seiten per robots.txt
Wenn man nicht möchte das dynamisch erzeugte Seiten im Google Index aufgenommen werden, kann man…
Google und die robots.txt – Experiment-
Viele Webmaster – zu denen auch ich gehöre – beklagen immer wieder das Google sich…
Yahoo kauft Jumpcut
Attacke und Los, bei Yahho ist der derzeitige Video-Boom angekommen. Das Unternehmen hat sich das…
Microsoft kauft Yahoo
Microsoft will Yahoo für schlappe 44,6 Milliarden Dollar kaufen. Das dürfte wohl schon jetzt die…
10 Jahre Yahoo
Heute genau vor zehn Jahren startete Yahoo, die beiden Studenten Jerry Yang und David Filo…
Yahoo Answers
Mit seinem neuen Dienst Yahoo Answers bietet Yahoo Anwendern die Möglichkeit eine Frage zu stellen…
Yahoo Toolbar für Firefox
Ab sofort steht die Yahoo Toolbar auch Firefox Usern zur Verfügung, der Grund für die…
Martina Bruder verlässt Yahoo
Martina Bruder, Commercial Director und stellvertretende Geschäftsführerin von Yahoo Deutschland nimmt Gerüchten zu Folge nach…

Kommentare

5. November 2006
w4yne
Endlich ist es soweit *froi ^^, und dafür habe ich letztens überall nofollow Attribute eingebaut *hümpf ^^
Na ja, besser spät als nie das sowas kommt 🙂
5. November 2006
w4yne » Blog Archive » Wildcards in Robots.txt
[…] So, gefunden habe ich das ganze hier, weiterführendes im Yahooblog. Sooo, näheres zur Robots.txt bei wikipedia oder auf robotstxt.org. […]