Robots.txt: Applebot folgt auch Googlebot-Instruktionen

John Mueller hat auf Google+ einen kurzen Post ├╝ber die Handhabung der Suchmaschinen-Crawler von Google und Apple in der robots.txt ver├Âffentlicht. Darin griff er auf, dass der Applebot, sofern er nicht explizit in der robots.txt erw├Ąhnt ist, den Instruktionen des...