Woran erkenne ich, dass Roboter meiner Website gecrawlt haben?

May 26

Möglicherweise überrascht zu erfahren, dass Suchmaschinen, wie Google oder Bing und professionelle Spammer etwas gemeinsam haben – sie automatisierte Software-Roboter, verwenden um im Internet nach Informationen zu durchforsten. Crawler und Roboter aus Unternehmen mit guten Absichten, wie die Suche Motor-Unternehmen, Vertrauen auf die "robots.txt"-Datei auf Ihrem Web-Server, um zu bestimmen, welche Seiten auflisten oder nicht, in ihren Indizes. Auf der anderen Seite Spammer oft Regeln in der Datei "robot.txt" ignorieren und einfach auf der Suche nach e-Mail-Adressen, an die sie unerwünschte Nachrichten senden können. Unabhängig von der Art der Roboter, der kriecht oder Ihre Website indiziert, können jedoch Sie deren kommen und gehen mit der Log-Dateien auf Ihrem Server verfolgen.

Anweisungen

1 Navigieren Sie zu der Webseite von Ihrem hosting-Account Control Panel Login-Seite. Beachten Sie, dass mit einigen Web-hosting-Accounts, Sie eine Port-Nummer zusammen mit der URL zum Zugriff auf der Control Panel-Seite eingeben müssen. Beispielsweise könnte die Access-URL für Ihr Control Panel "Http://mywebsitename.com:2092", (ohne die Anführungszeichen) ähneln.

2 Klicken Sie auf die "Web-Logs," "Analog-Statistik", "Webalizer", "Raw-Protokolle" oder andere ähnliche Link im Abschnitt "Logs" oder "Web-Statistik" der Systemsteuerung.

3 Klicken Sie auf den Namen des Domain-namens, für die Sie Protokolle, überprüfen möchten haben Sie über mehrere Domains auf dem Server.

4 Wählen Sie das aktuelle Datum oder Monat in der Liste angezeigt, wie in diesem Abschnitt die aktuelle Log-Einträge für Ihre Website enthält.

5 Überprüfen Sie die Log-Einträge unter die "Browser-Report" oder "Browser-Übersicht" Header. Überprüfen Sie die Liste der Einträge und suchen für diejenigen, die die Wörter "Robot," enthalten "Spinne", "Bot,", "Autobot" oder Wörter, die ähnlich sind. Dies sind in der Regel automatisierte Robots oder Crawler.

6 Überprüfen Sie den Domain-Namen in der URL mit einer der oben genannten Schlüssel-Wörter für Crawler oder Roboter. Dies ist die verweisende Domäne der Website, die der Robot oder Crawler auf Ihre Website zu senden. Wenn Sie den Domain-Namen der Website in einer großen Suchmaschine anschließen, sollten Sie möglicherweise finden Informationen über die Firma oder Website, die den Crawler auf Ihre Website verwiesen.

Tipps & Warnungen

  • Die Protokolle für Ihre Website sollte auch enthalten Informationen, wie oft den Crawler oder Roboter auf Ihrer Website zugegriffen.
  • Wenn Sie Informationen über die verweisende Domäne mit einer großen Suchmaschine nicht finden können, verwenden Sie DNS Lookup Sites wie DNSStuff.com, DNSWatch.com und Whois.com.

SIE KÖNNEN AUCH GERNE