Wie man Google Ihre Robots-Datei gecrawlt

February 6

"Robots.txt" bietet Richtung für Suchmaschinen-Bots, einschließlich Googles Googlebot. Sie die Datei in Notepad erstellen und laden Sie sie auf den Stamm der Domäne. Google sucht automatisch nach der Datei müssen, aber Sie die "robots.txt" Googlebot Crawlen die Website zu ermöglichen. Sie können auch Teile Ihrer Website angeben, die Sie nicht, Googlebot gecrawlt möchten.

Anweisungen

1 Klicken Sie auf die Windows "Start" Button und Typ "Editor" in das Textfeld im Menü. Drücken Sie "Enter", um den Texteditor zu öffnen.

2 Geben Sie den folgenden Text zu beauftragen, Googlebot Crawlen die Website:

Benutzer-Agent: *

Dieser Text weist alle Bots auf die gesamte Website zu crawlen.

3 Fügen Sie in die "robots.txt" Abschnitte "Disallow". Beispielsweise wenn Sie den Ordner "privaten" nicht zulassen möchten, den folgenden Text Ihrer Datei hinzufügen:

Disallow: /private/

4 Tasten Sie "Ctrl" und "S" drücken, um die Änderungen zu speichern. Benennen Sie die Datei "robots.txt" und laden Sie sie auf Ihrer Webseite-Domain. Jeder Domain-Host bietet verschiedene Methoden zum Hochladen von Dateien, damit das Upload-Verfahren die Berechtigungen hängt und Anwendungen zur Verfügung gestellt vom Host hochladen.