Robots.txt: Applebot folgt auch Googlebot-Instruktionen

John Mueller hat auf Google+ einen kurzen Post ├╝ber die Handhabung der Suchmaschinen-Crawler von Google und Apple in der robots.txt ver├Âffentlicht. Darin griff er auf, dass der Applebot, sofern er nicht explizit in der robots.txt erw├Ąhnt ist, den Instruktionen des...

Sollte man doppelte Inhalte mittels robots.txt blocken?

Doppelte Inhalte (Duplicate Content) werden im Google-Index nicht gerne gesehen. Wo l├Ąge auch der Nutzen, wenn Inhalte einer Webseite doppelt und dreifach in den Suchergebnisse von Google auftauchen? Oft wissen Webseitenbetreiber gar nicht, dass sie Duplicate Content...