Robots.txt: Applebot folgt auch Googlebot-Instruktionen

John Mueller hat auf Google+ einen kurzen Post ĂŒber die Handhabung der Suchmaschinen-Crawler von Google und Apple in der robots.txt veröffentlicht. Darin griff er auf, dass der Applebot, sofern er nicht explizit in der robots.txt erwĂ€hnt ist, den Instruktionen des...

Sollte man doppelte Inhalte mittels robots.txt blocken?

Doppelte Inhalte (Duplicate Content) werden im Google-Index nicht gerne gesehen. Wo lÀge auch der Nutzen, wenn Inhalte einer Webseite doppelt und dreifach in den Suchergebnisse von Google auftauchen? Oft wissen Webseitenbetreiber gar nicht, dass sie Duplicate Content...