Robots Exclusion Standard: Das Suchmaschinen-Marketing-ABC

Nach der Übereinkunft des Robots Exclusion Standard-Protokolls liest ein Webcrawler oder Bot beim Auffinden einer Webseite zuerst die Datei robots.txt im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festlegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Serverbetreiber haben so die Möglichkeit ausgesuchte Bereiche ihres Servers für (bestimmte) Suchmaschinen zu sperren. Das Protokoll ist rein hinweisend und ist auf die Mitarbeit des Webcrawler angewiesen. Ein Ausgrenzen bestimmer Teile einer Webseite durch das Protokoll garantiert keine Geheimhaltung.

Quelle: Wikipedia

zurück zum Suchmaschinen-Marketing-ABC

© 2002-2006 by WebSite Clinic GmbH - all rights reserved