|
|||
|
|
|||
| Home > Lexikon > R > Robots Exclusion Standard | |||
Robots Exclusion Standard Nach der Übereinkunft des Robots-Exclusion-Standard-Protokolls liest ein Webcrawler beim Auffinden einer Webseite zuerst die Datei robots.txt im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Siehe auch: robots.txt |
Social Media
Alle Begriffe von A bis Z
|
||