Nach der Übereinkunft des Robots-Exclusion-Standard-Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Website-Betreiber haben so die M...
Gefunden auf
https://de.wikipedia.org/wiki/Robots_Exclusion_Standard
Der Robots-Exclusion-Standard bietet die Möglichkeit, WWW-Server vor Roboterzugriffen zu schützen. Dies funktioniert über eine spezielle Datei im Serververzeichnis, über die Roboter erfahren, welche Dokumente bzw. Teile des Servers gelesen werden dürfen. Der Robots-Exclusion-Standard ist jedoch kein echter Zugriffsschutz, sondern eine Art Abma...
Gefunden auf
https://sprint.informationswissenschaft.ch/glossar-literatur/glossar/
Keine exakte Übereinkunft gefunden.
