Wie oft hat Google Spider?

Wie andere Suchmaschinen baut Google seine Datenbank von Internet-Inhalten, die mit einem Stück Software namens "Spinne". Spinnen Crawlen"regelmäßig" im Web, folgende Links zwischen den Seiten und Berichte, was sie für die Computer mit ihnen finden. Auf diese Weise immer Google aktuell über die Standorte und die Inhalte der unzähligen und ständig wechselnden Seiten, aus denen sich im Web. Googlebot ist ständig im Web crawlen, aber es kann verschiedene Webseiten besuchen, in Abständen von sehr unterschiedlichen Frequenz.

Googlebot

Google Spider-Software heißt "Googlebot" und wird von einer großen Gruppe von Computern, die ständig das Programm zum Crawlen im Web, Protokollieren von Informationen über die Websites, die sie findet und Zurückgeben von Informationen zu Googles Servern verwenden. Um Websites crawlen zu finden, Googlebot verwendet die Liste der Sites bereits in der Datenbank und überprüft diese Websites Links zu anderen Websites, die es schnell folgt.

Frequenz

Googlebot ist immer im Web crawlen und wurde entwickelt, um Änderungen in bereits gecrawlten Websites so schnell wie möglich--in der Regel innerhalb weniger Sekunden registrieren. Spezielle Algorithmen bestimmen, wie oft Googlebot crawlt eine bestimmte Website, ähnlich wie die PageRank-Algorithmen, die Bedeutung einer Website in den Google-Suchergebnissen zu bestimmen. Eine Seite mit vielen anderen Seiten mit Links zu es oder eine, die häufig geändert werden häufigere Besuche von Googlebot sehen.

Googlebot Besuche protokollieren

Website-Server-Protokoll Besuche von Googlebot so wie Treffer von einem anderen Client anmelden, und gibt es besondere Programme speziell für Googlebot-Verkehr zu überwachen. Wenn Sie einen Blog oder eine Website, die auf dem WordPress-Framework ausgeführt haben, können zum Beispiel Sie installieren eine Plugin zu halten Registerkarten auf, wie häufig der Googlebot Ihre Website crawlt.

Blockierung der Googlebot

Wie andere Spinnen ist Googlebot programmiert, überprüft eine Website-Server für eine Textdatei namens "robots.txt". Durch den Inhalt dieser Datei ändern, können Sie sagen, Googlebot, bestimmte Seiten ignorieren verhinderten, dass es Informationen über sie an Google; auf diese Weise können Sie Seiten oder der gesamten Website von Googles Liste der Suchergebnisse halten. Beachten Sie, dass während der Googlebot-- und alle respektable Spinne-Programme--solche Beschränkungen gehorchen, nachdem eine robots.txt-Datei nicht hindert Spinnen, entworfen von skrupelloseren Programmierer von kriechen alle Websites, die sie im Netzwerk erreichen können.