Neues Feature bei Adsense, Website-Diagnose zu finden im Adsense Account. Das soll dazu dienen Seiten anzuzeigen wo der Googlebot Probleme hat die Seite zu besuchen, es wird einfach nur die robots.txt gecheckt und ob die Seite erreichbar ist, also nix wirklich bahnbrechendes.
• URL nicht gefunden – das heißt, dass unser Crawler die Seite nicht erreicht hat. Ein möglicher Grund dafür kann ein vorübergehender Ausfall Eures Servers sein.
• Robots.txt Datei – dies bedeutet, dass Eure robots.txt Datei unseren Crawler blockiert. Wenn Ihr Hilfe bei der Lösung dieses Problems benötigt, besucht einfach diesen Eintrag unserer AdSense-Hilfe.
Via: Adsense Blog