Eine Klartext - ASCII Datei im Hauptverzeichnis, Root des Webservers. Mit ihr können Spider/Robots/Crawler angewiesen werden bestimmte Verzeichnisse nicht zu indizieren. Spider/Robots/Crawler durchsuchen das Internet in bestimmten Abständen, um zu prüfen ob Webseiten noch existieren oder neue Inhalte hinterlegt sind.
Gefunden auf
https://www.enzyklo.de/Lokal/42556
Die robots.txt ist eine Datei, die im Stammverzeichnis einer Domain abgelegt sein sollte. Diese Datei wird von einem Webcrawler als erstes angesteuert um sie auszulesen. In ihr befinden sich Angaben, welche Inhalte der Internetpräsenz durch den Webcrawler indiziert werden dürfen und welche nicht. So ist es möglich gewisse Bereiche eines Internet...
Gefunden auf
https://www.websedit.de/no_cache/metanavigation/lexikon/letter/R/glossid/ro
Keine exakte Übereinkunft gefunden.
