Robots.txt: Applebot folgt auch Googlebot-Instruktionen

John Mueller hat auf Google+ einen kurzen Post √ľber die Handhabung der Suchmaschinen-Crawler von Google und Apple in der robots.txt ver√∂ffentlicht. Darin griff er auf, dass der Applebot, sofern er nicht explizit in der robots.txt erw√§hnt ist, den Instruktionen des...