Robots.txt: Applebot folgt auch Googlebot-Instruktionen

John Mueller hat auf Google+ einen kurzen Post über die Handhabung der Suchmaschinen-Crawler von Google und Apple in der robots.txt veröffentlicht. Darin griff er auf, dass der Applebot, sofern er nicht explizit in der robots.txt erwähnt ist, den Instruktionen des...