Neben Google unterstützt nun auch Yahoo eine Möglichkeit Wildcards in der Robots.txt anzugeben.
Gerade zum Vermeiden von Session IDs in den Suchergebenissen ist das sehr nützlich.
Dies kann man nun ganz einfach so lösen:
Disallow: /*?sessionid
Als Wildcard Characters werden nun *, ? und $ unterstützt.
Nachlesen kann man das auf Yahoo Blog
Kommentare
2 Kommentare zu „Wildcards in Robots.txt“
Endlich ist es soweit *froi ^^, und dafür habe ich letztens überall nofollow Attribute eingebaut *hümpf ^^
Na ja, besser spät als nie das sowas kommt 🙂
[…] So, gefunden habe ich das ganze hier, weiterführendes im Yahooblog. Sooo, näheres zur Robots.txt bei wikipedia oder auf robotstxt.org. […]