Robots.txt: Wie stellt man es richtig ein?

Robots.txt: Wie stellt man es richtig ein?

Mit der robots.txt Datei stellt man den Suchmaschinen ein File zu Verfügung bei der genau gesagt wird, was sie darf und was nicht. So kann man Teile der Webseiten von einer Indexierung ausschliessen – dies ist Sinnvoll wegen Double Content oder weil es...