Google Now on Tap erkennt Texte in Bildern

Gemeinsam mit Android Marshmallow wurde auch Now on Tap vorgestellt, eine erweiterte Funktion von Google Now, mit der dem Nutzer Informationen zum aktuellen Bildschirminhalt angezeigt werden können. Bisher bezog sich die Erkennung lediglich auf den gerade angezeigten Text und den daraus gewonnen Informationen, in Zukunft wird aber auch eine intelligente Texterkennung auf Fotos zum Einsatz kommen. Bei einigen Nutzern funktioniert dies jetzt schon, und es werden Texte auf Bildern erkannt.

Mit Now on Tap wollte Google die Stärken von Now in den Alltag des Nutzers integrieren und ihn mit einem einfachen Tastendruck mit relevanten Informationen zur aktuellen Ansicht geben. Now analysiert dabei den gerade sichtbaren Text und zeigt dazu passende Informationen aus der Websuche, Routen, Öffnungszeiten oder viele weitere verfügbare Informationen an. Bisher wurde der Text nur aus den Apps ausgelesen, nicht aber aus Bildern.

Bei einigen Nutzern funktioniert die Texterkennung (OCR) bereits und es werden auch Texte oder sogar Logos erkannt und weitereInformationen zu diesen angezeigt. Untenstehendes Beispielfoto zeigt, dass der Text von einem Pullover problemlos erkannt wurde, Informationen zur Marke angezeigt und auch aktuelle News eingeblendet werden. Aktuell dürfte diese Erkennung aber nur bei einer handvoll von Nutzern getestet werden, denn die Funktion ist noch nicht überall vollumfänglich verfügbar. Bei einigen funktioniert Now on Tap auf einem Smartphone und mit dem gleichen Foto auf einem anderen Smartphone nicht.

google-now-on-tap

Google verfügt seit vielen Jahren über eine starke Texterkennung, die unter anderem auch beim Google Drive bzw. Google Docs zum Einsatz kommt. Allerdings müssen diese Bilder zur Erkennung an Googles Server gesendet werden, weswegen man wohl bisher auf eine solche Funktion innerhalb von Now on Tap verzichtet hat. Möglicherweise wird die Funktion auch in Zukunft nur optional sein, da das Versenden von Screenshots natürlich auch ordentlich am Datenkontingent des Nutzers knabbern kann.

Schon vor vielen Jahren hat Google die leider vergessen Goggles-App vorgestellt und eine Zeit lang regelmäßig aktualisiert. Dabei handelt es sich um eine intelligente Erkennung von Inhalten auf Fotos, womit Texte, Logos, berühmte Bauwerke oder viele andere Dinge erkannt und danach im Web gesucht werden kann. Leider wurde die App seit Jahren nicht weiter entwickelt und dürfte schon längst auf der Abschussliste stehen.

Da die Technologie also insgesamt schon lange vorhanden ist, wird es nun Zeit, dass mit Now on Tap endlich ein offizieller Nachfolger vorgestellt wird, der über den gleichen Funktionsumfang verfügt und dem Nutzer zusätzliche Informationen einblenden kann. Laut AndroidPolice soll die Funktion derzeit auch innerhalb der Kamera-App funktionieren, so dass man praktisch Informationen zu allen erdenklichen Bildern erhält. Auch dies war bzw. ist mit Goggles möglich.