ROBOT.TXT Das im Stammverzeichnis eines Web-Servers abgelegte robots.txt-File wird von allen bedeutenden Suchmaschinen wie ein Verbots-Schild beachtet, d. h. die darin enthaltenen Anweisungen werden nicht vom Web Server erzwungen. Die URL dieser Datei lautet stets: http: //www.ihre-domain.com/robots.txt. Anweisungen in diesem File geben vor, welch....