Robots.txt

Die robots.txt-Datei enthält Suchmaschinen-Anweisungen, welche Seiten sie crawlen dürfen und welche nicht. Sie ist ein wichtiges Werkzeug für die Steuerung der Indexierung und den Schutz sinnvoller Inhalte.