Sollte man doppelte Inhalte mittels robots.txt blocken?

Doppelte Inhalte (Duplicate Content) werden im Google-Index nicht gerne gesehen. Wo läge auch der Nutzen, wenn Inhalte einer Webseite doppelt und dreifach in den Suchergebnisse von Google auftauchen?

Oft wissen Webseitenbetreiber gar nicht, dass sie Duplicate Content auf ihrer Webseite haben. Content-Management-Systeme wie WordPress — das auch bei adwords-optimieren.de im Einsatz ist — produzieren leider immer wieder automatisch doppelte Inhalte: Der gleiche Text ist dann auf der Startseite, in Kategorien und in Tag-Ansichten lesbar und von Google indexierbar.

Eine von mehreren Lösungen, um doppelte Inhalte zu vermeiden, ist…