Die robots.txt Datei dient dazu, Suchmaschinen den Zugriff auf bestimmte Bereiche einer Website zu verbieten. Ein Robot / Spider der eine Homepage besucht, beachtet i.d.R. die robots.txt Datei und die darin gemachten Angaben. Beispiel: Wenn man seine Produktseiten gerne indiziert sehen möchte, trifft dies für ...