Wie einen Bot-User-Agent blockiert

Viele Suchmaschinen verwenden eine Technik namens "Spidern", was bedeutet, dass sie einen User-Agent Ihre Website zu besuchen und folgen Links zu verschiedenen Seiten zu senden. Dies ist, wie Ihre Web-Seiten von den großen Suchmaschinen indiziert werden, damit sie in den Suchergebnissen auftauchen können. Während Sie nicht können die Benutzer-Agents für die großen Suchmaschinen blockieren möchten, gibt es andere Bots, die Ihre Website, mit unnötig Bandbreite und Verlangsamung der Website crawlt. Verwenden Sie eine robots.txt-Datei, um alle Agents aufzuführen, die Sie blockieren möchten.

Anweisungen

1 Öffnen Sie einen Text-Editor, z. B. Microsoft Notepad. Schreiben Sie "User-Agent:" und geben Sie den Namen von einem Benutzeragenten, die Sie blockieren möchten. Wenn Sie einen bestimmten Benutzer-Agenten unsicher sind, besuchen Sie die Roboter-Datenbank (im Mittel aufgeführt) erfahren Sie weitere Informationen, wie Name, Typ, Beschreibung und Besitzer.

2 Drücken Sie eingeben und schreiben "Disallow:" geben Sie die Webseite, die Sie dieses Benutzer-Agent möchte zu vermeiden, starten einfach nach Ihrem Domain-Namen. Beispielsweise würden Sie eingeben "/ webpage.html", die Seite-example.com/webpage.html auszuschließen. Geben Sie "/" User-Agent zu Ihrer gesamten Website vermeiden anweisen. Wiederholen Sie den Vorgang für so viele Agenten wie Sie blockieren möchten.

3 Benennen Sie die Datei "Robots.txt" und speichern Sie es auf Ihrer Festplatte. Zugriff auf die Root-Domain Ihrer Website und laden Sie die Datei "robots.txt". Sind Sie unsicher, wie Sie auf den Stamm der Domäne zugreifen, Fragen Sie Ihren Web-Host Anweisungen.