WordPress

Allgemein

Technik

Design

Konzept

WordPress Plugins

Interessantes

Vermarktung

Themen

Font / Schriften

Social Media

Youtube

eCommerce

Gemischtes

Kolumne

Webinar

Blog Archiv

Kurse / Webinare

Meine nächste Webinare / Kurse

Robots.txt: Applebot folgt den Googlebot Instruktionen

von | Dez 7, 2015 | Allgemein | 0 Kommentare

Schlagwörter: Apple - Google+

Wie ihr ja alle sicher schon gehört haben, gibt es nicht nur die Google Suchmaschine sondern auch Bing, Fireball, Ask und noch viele viele andere. Damit diese Suchmaschinen ja auch die Webseiten erfassen können, schicken sie kleine Bots / Crawler auf die Reise die dann die gefunden Webseiten erfassen und bewerten.

Nun kann jeder Webmaster diese Erfassung durch die Bots auch steuern und zwar mit dem Robots.txt Eintrag.

Man hat viele Monate darüber gerätselt ob Apple auch einen Bot hat und vor ein paar Monate hat dass dann Apple offiziell bestätigt. Es gibt ein AppleBot.

John Mueller hat auf Google+ vor ein paar Tagen einen kurzen Post über die Handhabung der Suchmaschinen-Crawler von Google und Apple in der robots.txt veröffentlicht.

In diesem kurzen Statement sagt er klar und deutlich, dass wenn man den Applebot nicht speziell in den robots.txt File anspricht, er den Regeln von Googlebot folgen wird.

Der Applebot ist ja geschaffen worden um die Livesuche bei den iPhones und durch Siri zu verbessern. Wenn ihr also nicht wollt, dass eure Seiten da angezeigt werden, müsst ihr dem Applebot direkt sagen, dass er euch nicht indexieren soll.

Wer das Ganze noch speziell erfassen möchte, muss daran denken, dass wie bei einem Apple-Produkt nicht anders zu erwarten war, verwendet der Bot eine IP-Adresse im Block 17.0.0.0 – eine Zuordnung, die ausschließlich von dem Konzern aus Cupertino genutzt wird.





0 Kommentare

Einen Kommentar abschicken

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert