Seeing AI

Logo för Seeing AI. En grön bakgrund med ett vitt streck i som ritar ett öga med ett S i.

Av Karin Jönsson

Under det senaste åren har jag haft mycket glädje av 2 helt nya hjälpmedel som inte liknar något vi tidigare haft tillgång till. Det första är appen Seeing AI som  nu äntligen finns på svenska! Det andra är Google Assistenten som plötsligt öppnat Internets möjligheter med ett helt ”icke-visuellt” gränssnitt – men den beskriver vi mer i andra inlägg, detta ska handla om Seeing AI.

Det otänkbara

Egentligen är det helt otänkbart – eller i alla fall var det helt otänkbart för några år sen:

Microsoft har använt den senaste tillgängliga tekniken inom flera områden och skapat en app som har som mål att på olika sätt kompensera för ett synbortfall. Den är dessutom skapad för att endast fungera på en produkt från en av Microsofts största konkurrenter – iPhone (och numera även iPad) från Apple. Och som att det inte vore nog är den dessutom helt gratis!

Nackdelar

När den nu är släppt på svenska finns det inte många nackdelar att prata om… Det skulle i så fall vara att det finns så många funktioner och möjligheter att appen vara lite svår att komma igång med. Men får man lite hjälp att komma igång och anpassa vilka funktioner som ska vara med och i vilken ordning, så det går att starta enkelt och sen lägga på mer efterhand.

Funktioner

Appen uppdateras löpande, och fler funktioner kommer säkert att läggas till, men just nu är de tillgängliga funktionerna:

Textläsning i två olika varianter, en ”kort text” som helt enkelt läser text som den hittar i kameran. Du riktar alltså telefonens kamera mot vad som helst, en flaska, en bok, kuvertet som kom i posten osv och när appen hittar någon text läses den upp. Flyttar du kameran till en annan text avbryts uppläsningen och den nya texten läses upp. Vill du läsa färdigt texten riktar du bara kameran så att ingen ny text kommer in (t ex lägg ner den mot bordet) så läser den färdigt.”Dokument” är en funktion som vi haft sen tidigare i andra (dock dyrare) appar – man riktar kameran mot t ex ett dokument och fotograferar detta. Texten som tolkas visas i appen så att det går bra att flytta runt i den mm.

Streckkodstolkning finns i en funktion som kallas ”Produkt”. Om man riktar kameran mot en förpackning hör man en pipsignal när det finns en streckkod i bilden. Man kan alltså snurra runt förpackningen framför kameran tills man hör pipandet, sedan hålla stilla tills man hör tonerna och ordet ”behandlar” som innebär att koden skickas upp i molnet för att sökas i diverse databaser. Vi har kunnat konstatera att de allra flesta svenska matvaror hittas enkelt, systembolagets streckkodsregister verkar dock inte vara med än.  Även en del andra produkter som småelektronik, förbrukningsmaterial mm fungerar.

Bildtolkning och ansiktsigenkänning är också tämligen imponerande. Man tar helt enkelt 3 selfies av sig själv och av de andra personer man vill kunna känna igen. Väljer man funktionen ”Person” räcker det med att man riktar kameran runt sig så får man veta om någon av de personer man lagt in syns, och i så fall hur långt bort de är i kamerans riktning.  Väljer man funktionen ”Scen” kan man ta ett foto med kameran och få det tolkat. Ännu intressantare är det för en del att de också kan använda den nya funktionen för att bläddra bland bilderna i telefonen och få veta om någon av de personer man lagt in finns på bilderna.  Då behöver man gå i huvudmenyn och välja ”Bläddra efter foton”. Man kommer till en vy som liknar den vanliga bildvyn, men när man bläddrar igenom den får man veta vilken dag bilden togs. Öppnar man bilden tolkas den och man får sen info i olika kategorier under varandra. Först ett försök att beskriva själva bilden, t ex ”en person inomhus”. Därefter får man info om det finns några personer på bilden och hur de ser ut. Om det är någon man lagt till selfies på, säger den även namnet på personen. T ex ”Karin, en kvinna i 50-årsåldern med brunt hår som ser glad ut”. Finns det någon text på bilden, t ex en namnskylt, en gatuskylt eller butiksskylt kommer även texten från denna. När en bild är tolkad kan man välja en knapp ”Utforska” för att också få de olika objekten på bilden tolkade så att det går att flytta fingret över skärmen och få info om var på bilden de olika personerna och sakerna syns. Dessutom är det så att när man en gång tolkat en bild och är i listan med alla bilder säger den inte längre bara datum, utan även själva bildbeskrivningen så att man kan leta upp en viss bild man vill visa.

Det finns också de små finesserna färgavkänning, ”Färg” som säger färgen på det kameran riktas mot samt ljusindikatorn ”Ljus” som piper med olika tonhöjd beroende på hur ljus platsen som kameran riktas mot är.

Sammanfattning

Detta är en gratis app som kan tillföra mycket för personer med dövblindhet som antingen kan höra vad VoiceOver säger eller kan läsa punkt.

Det är troligt att det efterhand kommer att tillkomma fler funktioner.

Idag finns den endast till iOS, dvs iPhone och iPad, men de antyder att de arbetar på att även få den att fungera i Android-mobiler.

Mer info

Läs mer på appens webbsida: www.microsoft.com/en-us/ai/seeing-ai

Ladda ner appen från App Store på https://apps.apple.com/us/app/seeing-ai-talking-camera-for-the-blind/id999062298