Robots.txt: Applebot folgt auch Googlebot-Instruktionen

John Mueller hat auf Google+ einen kurzen Post über die Handhabung der Suchmaschinen-Crawler von Google und Apple in der robots.txt veröffentlicht. Darin griff er auf, dass der Applebot, sofern er nicht explizit in der robots.txt erwähnt ist, den Instruktionen des...

Sollte man doppelte Inhalte mittels robots.txt blocken?

Doppelte Inhalte (Duplicate Content) werden im Google-Index nicht gerne gesehen. Wo läge auch der Nutzen, wenn Inhalte einer Webseite doppelt und dreifach in den Suchergebnisse von Google auftauchen? Oft wissen Webseitenbetreiber gar nicht, dass sie Duplicate Content...