Die robots.txt ist ein kleines Text-Dokument, das das Crawling der Suchmaschine steuert. Individuell können verschiedenen Suchmaschinen wie z.B. der Googlebot, Googlebot-Image, Bingbot, … angesprochen werden sowie einzelne Bilder, Seiten oder gar Verzeichnisse vom Crawling exkludiert werden.
Hinsichtlich der Groß- und Kleinschreibung innerhalb der robots.txt sollte man besondere Vorsicht walten lassen. Bei unkorrekter Schreibweise können betreffende Verzeichnisse oder URLs (ungewollt) in den Index aufgenommen werden. Auf die Wichtigkeit der Groß- und Kleinschreibung wies John Mueller von Google auf Twitter hin:
It looks like the robots.txt file changed end of February. Before that the disallow was for „/Test/“ (not „/TEST/“), so it would not have been valid for that particular URL. The robots.txt file is case-sensitive, so that’s an important difference.
— ? John ? (@JohnMu) 10. März 2019
Unabhängig von der robots.txt kann eine Webseite auch dann im Index landen, wenn sie extern angelinkt wird. Möchte man in einem solchen Fall die Indexierung verhindern, dann sollte man ein noindex-follow-Tag auf der betreffenden Seite implementieren. So wird sichergestellt, dass die Webseite nicht in den Index gerät bzw. aus dem Index entfernt wird und die Linkpower vom externen Backlink sich auf die intern verlinkten Dokumente verteilen kann. Bevor man den noindex-follow-Tag einbindet, sollte man diese Webseite allerdings aus der robots.txt löschen, damit Google den noindex-Tag crawlen/ erkennen kann. Erst nachdem die Webseite nicht mehr im Index ist, kann sie wieder per disallow in der robots.txt vom Crawling ausgeschlossen werden.