Hallo Michael,

bei mir wird die robots.txt automatisch vom WD erstellt und hochgeladen (allerdings premium). Wenn du nachträglich daran Änderungen vornehmen willst, dann wird bei jedem Upload diese Datei überschrieben werden.

Vielleicht bringst du deine Änderungswünsche besser in einer htaccess unter?  Ob es die Möglichkeit gibt, direkt in der Oberfläche des WD etwas an Code zu ergänzen, ist mir im Falle der robots.txt nicht bekannt. Gruß Martina

bei mir wird die robots.txt automatisch vom WD erstellt und hochgeladen (allerdings premium). t bekannt.

Ich habe auch die Premium-Version (WD9). Aber eine robots.txt habe ich keine im Root-Verzeichnis.

Und wenn die Premium-Version so eine robots.txt erstellt, müsste man sie dann aber auch im WD anpassen können, um festzulegen, welche Verzeichnisse und Seiten von den Suchmaschinen gescannt werden sollen und welche nicht. Da habe ich bis jetzt nichts gefunden.

Hallo Bildermacher,

das liegt daran, dass du in folgendem Fenster deine Website nicht eingetragen hast und keine Sitemap erstellt wird.

Will heißen, in meinen automatisch erstellten robots.txt ist nach dem Veröffentlichen nur der Hinweis auf eine Sitemap enthalten. Diese Sitemap wird automatisch erstellt, wenn man im gelb markierten Bereich seine Webadresse eingibt.

Wenn du Seiten vom Suchindex ausschließen willst, dann gibst du einfach in den Head der Seiten den entsprechenden Metatag ein. Das funktioniert zuverlässig.

@Michael

Wenn du eine robots.txt brauchst, um diverse Angaben zu machen, aber keine Sitemap erstellen willst, dann bleibt dir nur, sie mit einem einfachen Texteditor zu erstellen und als "robots.txt" in das Startverzeichnis deiner Domain (in der Regel das Rootverzeichnis) per FTP zu laden. Sie sollte also da untergebracht sein, wo auch deine Startseite index.htm liegt.  Gruß martina