Seeing AI

Logo för Seeing AI. En grön bakgrund med ett vitt streck i som ritar ett öga med ett S i.

Av Karin Jönsson

Under det senaste året har jag haft mycket glädje av 2 helt nya hjälpmedel som inte liknar något vi tidigare haft tillgång till. Det första är appen Seeing AI som jag kommer att beskriva här, det andra är den nu svenskspråkiga Google Assistenten som vi redan skrivit lite om och som snart kommer i ett eget inlägg här.

Det otänkbara

Egentligen är det helt otänkbart – eller i alla fall var det helt otänkbart för några år sen:

Microsoft har använt den senaste tillgängliga tekniken inom flera områden och skapat en app som har som mål att på olika sätt kompensera för ett synbortfall. Den är dessutom skapad för att endast fungera på en produkt från en av Microsofts största konkurrenter – iPhone (och numera även iPad) från Apple. Och som att det inte vore nog är den dessutom helt gratis!

Nackdelar

Det största problemet är att appen ännu inte finns på svenska. Det kommer troligen att ändras, de har svarat att de arbetar på att få den till fler språk och det har också tillkommit nya språk efterhand även om ännu inte svenskan är med. Vi vet dock inte när. Men många av funktionerna fungerar alldeles klockrent på svenska om man bara slår på VoiceOver.

Ett annat problem är att just eftersom det finns så många funktioner och möjligheter kan appen vara lite svår att komma igång med. Men i senaste versionen kan man anpassa vilka funktioner som ska vara med och i vilken ordning, så det går att starta enkelt och sen lägga på mer efterhand.

Funktioner

Appen uppdateras löpande, och fler funktioner kommer säkert att läggas till, men just nu är de tillgängliga funktionerna:

Textläsning i 3 varianter, en ”short text” som helt enkelt läser text som den hittar i kameran. Du riktar alltså telefonens kamera mot vad som helst, en flaska, en bok, kuvertet som kom i posten osv och när appen hittar någon text läses den upp. Flyttar du kameran till en annan text avbryts uppläsningen och den nya texten läses upp. Vill du läsa färdigt texten riktar du bara kameran så att ingen ny text kommer in (t ex lägg ner den mot bordet) så läser den färdigt.”Document” är en funktion som vi haft sen tidigare i andra (dock dyrare) appar – man riktar kameran mot t ex ett dokument och fotograferar detta. Texten som tolkas visas i appen så att det går bra att flytta runt i den mm. Det tredje alternativet är ännu en beta-version, men imponerande bra: ”Handwriting”. Du riktar kameran mot handskriven text och tar ett foto. Appen skickar upp bilden för tolkning i molnet och visar resultatet i en textvy. Det är klart att det till stor del beror på handstilen hur bra resultatet blir, men jag är imponerad av resultatet på de stilar jag testat.

Streckkodstolkning finns i en funktion som kallas ”Product”. Om man riktar kameran mot en förpackning hör man en pipsignal när det finns en streckkod i bilden. Man kan alltså snurra runt förpackningen framför kameran tills man hör pipandet, sedan hålla stilla tills man hör tonerna och ordet ”processing” som innebär att koden skickas upp i molnet för att sökas i diverse databaser. Vi har kunnat konstatera att de allra flesta svenska matvaror hittas enkelt, systembolagets streckkodsregister verkar dock inte vara med än.  Även en del andra produkter som småelektronik, förbrukningsmaterial mm fungerar.

Bildtolkning och ansiktsigenkänning är också tämligen imponerande. Man tar helt enkelt 3 selfies av sig själv och av de andra personer man vill kunna känna igen. Väljer man funktionen ”Person” räcker det med att man riktar kameran runt sig så får man veta om någon av de personer man lagt in syns, och i så fall hur långt bort de är i kamerans riktning.  Väljer man funktionen ”Scene” kan man ta ett foto med kameran och få det tolkat. Ännu intressantare är det för en del att de också kan använda den nya funktionen för att bläddra bland bilderna i telefonen och få veta om någon av de personer man lagt in finns på bilderna.  Då behöver man gå i huvudmenyn och välja ”Browse photos”. Man kommer till en vy som liknar den vanliga bildvyn, men när man bläddrar igenom den får man veta vilken dag bilden togs. Öppnar man bilden tolkas den och man får sen info i olika kategorier under varandra. Först ett försök att beskriva själva bilden, t ex ”en person inomhus”. Därefter får man namnet på den plats där bilden togs och sen info om det finns några personer på bilden och hur de ser ut. Om det är någon man lagt till selfies på, säger den även namnet på personen. T ex ”Karin, en kvinna i 50-årsåldern med brunt hår som ser glad ut”. Beskrivningarna är dock tyvärr på engelska. Finns det någon text på bilden, t ex en namnskylt, en gatuskylt eller butiksskylt kommer även texten från denna. När en bild är tolkad kan man välja en knapp ”Explore” för att också få de olika objekten på bilden tolkade så att det går att flytta fingret över skärmen och få info om var på bilden de olika personerna och sakerna syns. Dessutom är det så att när man en gång tolkat en bild och är i listan med alla bilder säger den inte längre bara datum, utan även själva bildbeskrivningen så att man kan leta upp en viss bild man vill visa.

Det finns också de små finesserna färgavkänning, ”Color” som säger färgen (på engelska) på det kameran riktas mot samt ljusindikatorn ”Light” som piper med olika tonhöjd beroende på hur ljus platsen som kameran riktas mot är.

Sammanfattning

Detta är en gratis app som redan i det skick den är just nu kan tillföra mycket för personer med dövblindhet som antingen kan höra vad VoiceOver säger eller kan läsa punkt och klarar av att knappar, funktioner mm är på engelska.

Troligen kommer den inom relativt kort tid även att ha gränssnittet och de flesta av funktionerna på svenska. Det är också troligt att det efterhand kommer att tillkomma fler funktioner.

Idag finns den endast till iOS, dvs iPhone och iPad, men de antyder att de arbetar på att även få den att fungera i Android-mobiler.

Mer info

Läs mer på appens webbsida: www.microsoft.com/en-us/seeing-ai

Ladda ner appen från App Store på https://itunes.apple.com/us/app/seeing-ai-talking-camera-for-the-blind/id999062298