Wie ihr ja alle sicher schon gehört haben, gibt es nicht nur die Google Suchmaschine sondern auch Bing, Fireball, Ask und noch viele viele andere. Damit diese Suchmaschinen ja auch die Webseiten erfassen können, schicken sie kleine Bots / Crawler auf die Reise die dann die gefunden Webseiten erfassen und bewerten.

Nun kann jeder Webmaster diese Erfassung durch die Bots auch steuern und zwar mit dem Robots.txt Eintrag.

Man hat viele Monate darüber gerätselt ob Apple auch einen Bot hat und vor ein paar Monate hat dass dann Apple offiziell bestätigt. Es gibt ein AppleBot.

John Mueller hat auf Google+ vor ein paar Tagen einen kurzen Post über die Handhabung der Suchmaschinen-Crawler von Google und Apple in der robots.txt veröffentlicht.

In diesem kurzen Statement sagt er klar und deutlich, dass wenn man den Applebot nicht speziell in den robots.txt File anspricht, er den Regeln von Googlebot folgen wird.

Der Applebot ist ja geschaffen worden um die Livesuche bei den iPhones und durch Siri zu verbessern. Wenn ihr also nicht wollt, dass eure Seiten da angezeigt werden, müsst ihr dem Applebot direkt sagen, dass er euch nicht indexieren soll.

Wer das Ganze noch speziell erfassen möchte, muss daran denken, dass wie bei einem Apple-Produkt nicht anders zu erwarten war, verwendet der Bot eine IP-Adresse im Block 17.0.0.0 – eine Zuordnung, die ausschließlich von dem Konzern aus Cupertino genutzt wird.





0 Kommentare

Dein Kommentar

An Diskussion beteiligen?
Hinterlasse uns Deinen Kommentar!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.