Wie ihr ja alle sicher schon gehört haben, gibt es nicht nur die Google Suchmaschine sondern auch Bing, Fireball, Ask und noch viele viele andere. Damit diese Suchmaschinen ja auch die Webseiten erfassen können, schicken sie kleine Bots / Crawler auf die Reise die dann die gefunden Webseiten erfassen und bewerten.

Nun kann jeder Webmaster diese Erfassung durch die Bots auch steuern und zwar mit dem Robots.txt Eintrag.

Man hat viele Monate darüber gerätselt ob Apple auch einen Bot hat und vor ein paar Monate hat dass dann Apple offiziell bestätigt. Es gibt ein AppleBot.

John Mueller hat auf Google+ vor ein paar Tagen einen kurzen Post über die Handhabung der Suchmaschinen-Crawler von Google und Apple in der robots.txt veröffentlicht.

In diesem kurzen Statement sagt er klar und deutlich, dass wenn man den Applebot nicht speziell in den robots.txt File anspricht, er den Regeln von Googlebot folgen wird.

Der Applebot ist ja geschaffen worden um die Livesuche bei den iPhones und durch Siri zu verbessern. Wenn ihr also nicht wollt, dass eure Seiten da angezeigt werden, müsst ihr dem Applebot direkt sagen, dass er euch nicht indexieren soll.

Wer das Ganze noch speziell erfassen möchte, muss daran denken, dass wie bei einem Apple-Produkt nicht anders zu erwarten war, verwendet der Bot eine IP-Adresse im Block 17.0.0.0 – eine Zuordnung, die ausschließlich von dem Konzern aus Cupertino genutzt wird.

Über

Eric-Oliver Mächler

Seit 2005 bin ich ein aktiver Blogger. Ich kenne die Kniffe und die Tricks um einen Blog erfolgreich zu machen. Hier gebe ich diese kleinen Tricks gerne weiter und freue mich, wenn ich euch helfen kann. Hier erfährt man mehr über mich.

Hinterlass einen Kommentar