Robots.txt: Applebot folgt auch Googlebot-Instruktionen

von | Dez 3, 2015 | Google Welt

John Mueller hat auf Google+ einen kurzen Post über die Handhabung der Suchmaschinen-Crawler von Google und Apple in der robots.txt veröffentlicht. Darin griff er auf, dass der Applebot, sofern er nicht explizit in der robots.txt erwähnt ist, den Instruktionen des...