Nyheter, tips och tankar

Logo för Seeing AI. En grön bakgrund med ett vitt streck i som ritar ett öga med ett S i.

Seeing AI

Logo för Seeing AI. En grön bakgrund med ett vitt streck i som ritar ett öga med ett S i.

Av Karin Jönsson

Under det senaste året har jag haft mycket glädje av 2 helt nya hjälpmedel som inte liknar något vi tidigare haft tillgång till. Det första är appen Seeing AI som jag kommer att beskriva här, det andra är den nu svenskspråkiga Google Assistenten som vi redan skrivit lite om och som snart kommer i ett eget inlägg här.

Det otänkbara

Egentligen är det helt otänkbart – eller i alla fall var det helt otänkbart för några år sen:

Microsoft har använt den senaste tillgängliga tekniken inom flera områden och skapat en app som har som mål att på olika sätt kompensera för ett synbortfall. Den är dessutom skapad för att endast fungera på en produkt från en av Microsofts största konkurrenter – iPhone (och numera även iPad) från Apple. Och som att det inte vore nog är den dessutom helt gratis!

Nackdelar

Det största problemet är att appen ännu inte finns på svenska. Det kommer troligen att ändras, de har svarat att de arbetar på att få den till fler språk och det har också tillkommit nya språk efterhand även om ännu inte svenskan är med. Vi vet dock inte när. Men många av funktionerna fungerar alldeles klockrent på svenska om man bara slår på VoiceOver.

Ett annat problem är att just eftersom det finns så många funktioner och möjligheter kan appen vara lite svår att komma igång med. Men i senaste versionen kan man anpassa vilka funktioner som ska vara med och i vilken ordning, så det går att starta enkelt och sen lägga på mer efterhand.

Funktioner

Appen uppdateras löpande, och fler funktioner kommer säkert att läggas till, men just nu är de tillgängliga funktionerna:

Textläsning i 3 varianter, en ”short text” som helt enkelt läser text som den hittar i kameran. Du riktar alltså telefonens kamera mot vad som helst, en flaska, en bok, kuvertet som kom i posten osv och när appen hittar någon text läses den upp. Flyttar du kameran till en annan text avbryts uppläsningen och den nya texten läses upp. Vill du läsa färdigt texten riktar du bara kameran så att ingen ny text kommer in (t ex lägg ner den mot bordet) så läser den färdigt.”Document” är en funktion som vi haft sen tidigare i andra (dock dyrare) appar – man riktar kameran mot t ex ett dokument och fotograferar detta. Texten som tolkas visas i appen så att det går bra att flytta runt i den mm. Det tredje alternativet är ännu en beta-version, men imponerande bra: ”Handwriting”. Du riktar kameran mot handskriven text och tar ett foto. Appen skickar upp bilden för tolkning i molnet och visar resultatet i en textvy. Det är klart att det till stor del beror på handstilen hur bra resultatet blir, men jag är imponerad av resultatet på de stilar jag testat.

Streckkodstolkning finns i en funktion som kallas ”Product”. Om man riktar kameran mot en förpackning hör man en pipsignal när det finns en streckkod i bilden. Man kan alltså snurra runt förpackningen framför kameran tills man hör pipandet, sedan hålla stilla tills man hör tonerna och ordet ”processing” som innebär att koden skickas upp i molnet för att sökas i diverse databaser. Vi har kunnat konstatera att de allra flesta svenska matvaror hittas enkelt, systembolagets streckkodsregister verkar dock inte vara med än.  Även en del andra produkter som småelektronik, förbrukningsmaterial mm fungerar.

Bildtolkning och ansiktsigenkänning är också tämligen imponerande. Man tar helt enkelt 3 selfies av sig själv och av de andra personer man vill kunna känna igen. Väljer man funktionen ”Person” räcker det med att man riktar kameran runt sig så får man veta om någon av de personer man lagt in syns, och i så fall hur långt bort de är i kamerans riktning.  Väljer man funktionen ”Scene” kan man ta ett foto med kameran och få det tolkat. Ännu intressantare är det för en del att de också kan använda den nya funktionen för att bläddra bland bilderna i telefonen och få veta om någon av de personer man lagt in finns på bilderna.  Då behöver man gå i huvudmenyn och välja ”Browse photos”. Man kommer till en vy som liknar den vanliga bildvyn, men när man bläddrar igenom den får man veta vilken dag bilden togs. Öppnar man bilden tolkas den och man får sen info i olika kategorier under varandra. Först ett försök att beskriva själva bilden, t ex ”en person inomhus”. Därefter får man namnet på den plats där bilden togs och sen info om det finns några personer på bilden och hur de ser ut. Om det är någon man lagt till selfies på, säger den även namnet på personen. T ex ”Karin, en kvinna i 50-årsåldern med brunt hår som ser glad ut”. Beskrivningarna är dock tyvärr på engelska. Finns det någon text på bilden, t ex en namnskylt, en gatuskylt eller butiksskylt kommer även texten från denna. När en bild är tolkad kan man välja en knapp ”Explore” för att också få de olika objekten på bilden tolkade så att det går att flytta fingret över skärmen och få info om var på bilden de olika personerna och sakerna syns. Dessutom är det så att när man en gång tolkat en bild och är i listan med alla bilder säger den inte längre bara datum, utan även själva bildbeskrivningen så att man kan leta upp en viss bild man vill visa.

Det finns också de små finesserna färgavkänning, ”Color” som säger färgen (på engelska) på det kameran riktas mot samt ljusindikatorn ”Light” som piper med olika tonhöjd beroende på hur ljus platsen som kameran riktas mot är.

Sammanfattning

Detta är en gratis app som redan i det skick den är just nu kan tillföra mycket för personer med dövblindhet som antingen kan höra vad VoiceOver säger eller kan läsa punkt och klarar av att knappar, funktioner mm är på engelska.

Troligen kommer den inom relativt kort tid även att ha gränssnittet och de flesta av funktionerna på svenska. Det är också troligt att det efterhand kommer att tillkomma fler funktioner.

Idag finns den endast till iOS, dvs iPhone och iPad, men de antyder att de arbetar på att även få den att fungera i Android-mobiler.

Mer info

Läs mer på appens webbsida: www.microsoft.com/en-us/seeing-ai

Ladda ner appen från App Store på https://itunes.apple.com/us/app/seeing-ai-talking-camera-for-the-blind/id999062298

Tidigare inlägg

Två streckgubbar som sitter framför varsin dator. Den ena frågar Ok? och den andra svarar Ok!

Enklare att ringa till en bildtelefon

Lyssna Information om projektet Infrastruktur för inkluderande telefoni Av Karin Jönsson Bakgrund Förr när det vanligaste sättet att fjärr-kommunicera var en texttelefon som var kopplad till de vanliga telefonledningarna hade man ett vanligt telefonabonnemang och ett vanligt telefonnummer. Numera används mest olika lösningar för ”Totalkonversation” vilket innebär att det är möjligt att kombinera video (teckenspråk), […]

En svart klänning med tunna gröna linjer i sömmarna, sedd framifrån

SUITCEYES – Ett spännande internationellt forskningsprojekt med fokus på det taktila/kroppsliga

Lyssna Av Henrik Hildemar och Thomas Ragnarsson För snart 2 år sedan berättade vi här på hemsidan om projektet SUITCEYES, läs gärna den beskrivningen av projektet i artikeln Smarta kläder talar om vad som händer. Nu när halva projekttiden snart passerat tänkte vi berätta lite mer om vad som hänt och kommer att hända i […]

En bild på ett moln med många olika saker runt om som har dubbelpilar mellan sig och molnet. Bland annat dator, hörlurar, hem, mikronon och så en hörapparat som är större och också har en dubbelriktad pil till molnet.

Intelligenta hörapparater

Lyssna Av Jenny Widmark När en ny, mycket mera energisnål, blåtands-standard (Bluetooth 5) släpptes 2016 öppnade sig möjligheter att skapa hörapparater som via t. ex en mobiltelefon kan styras över Internet. Här kommer några olika funktioner som blivit möjliga med den här tekniken och även en liten framtidsspaning. Eftersom dessa funktioner ännu är i sin […]

En grön enhet med 5 knappar samt en lite större svart vibrator.

Taktila väckarklockor

Lyssna Väckarklockan- uppfinningen man älskar att hata? Av Jenny Widmark Sömnen är viktig för vår hälsa, att somna är att släppa taget. Visst är det viktigt att känna sig trygg med att väckarklockan då kommer ta ansvar för väckningen nästa morgon? För personer med dövblindhet kan det vara problematiskt att hitta en väckarklocka som funkar […]

En gul glödlampa med texten idea i, blå pilar från pengapåsar mot glödlampan

Crowdfunding

Lyssna Av Janne Koski Vad är crowdfunding? Crowdfunding eller på svenska gräsrotsfinansiering är ett samlingsbegrepp på olika typer av plattformar som finns på internet där människor kan presentera sina idéer för omvärlden. Det kan handla om allt möjligt så som spel, böcker, film, och såklart teknik i alla dess former. Du och jag kan då […]

En vit flic hubb med en grön flic-knapp på.

Flic Hub

Lyssna Av Janne Koski Visst minns ni alla den fiffiga lilla blåtandsknappen Flic, som vi dels skrivit ett inlägg om och dels använt oss av i några guider tidigare här på sidan. Till exempel Den smarta knappen Flic, Hitta telefonen med smarta Flic och Använda en Flic-knapp och en Android-enhet som en vibrerande dörrklocka. Nu har skaparna av […]

Logo för Supertext

Apptips: Supertext

Lyssna Namn: Supertext Messenger Operativsystem för Smartphone eller platta: iOS, Android Övriga system: Webbläsare via dator eller mobiltelefon utan Supertext Messenger app Pris: Gratis app/webbsida men tjänsten använder vanlig kostnad för SMS meddelanden hos din operatör. Språk: I appen blandat engelska och svenska. Knappar är på engelska och textfält på svenska. I webbläsare på svenska. […]

Signias svarta laddningsställ med 2 hörapparater i.

Att ladda batterierna…

Lyssna Av Jenny Widmark Att ladda batterierna är nödvändigt för oss alla som lever i dagens moderna samhälle. För min del handlar det om att komma ut i naturen, andas ren luft och inte störas av bullret i stan. Vi människor laddar ju även våra batterier då vi sover. Vi teknikanvändare får heller inte glömma […]

Google Assistant, nu på svenska!

Lyssna Av Janne Koski Det har funnits möjlighet att styra både datorer och mobiltelefoner med rösten i många år, så röststyrning i sig är inte nytt. Nyheten är hur dessa så kallade ”assistenter” nu utvecklas och anpassar sig efter hur just du använder dem. Google Assistant lanserade Google 2016, och är en efterföljare till Google Voice […]

Ritad bild med dator, saker och moln med linjer emellan samt texten IOT Internet of things

Sakernas Internet, i nöd och lust

Lyssna Av Janne Koski Att vi idag lever i en uppkopplad värld råder det inga tvivel om. I och med sakernas Internet omger vi oss med mängder av produkter som har kontakt med nätet var vi än befinner oss. Oavsett om det handlar om våra vitvaror, lampor eller tv-skärmar där hemma eller telefoner, klockor och […]

Digitala plånböcker

Lyssna Av Janne Koski I Nordamerika och delar av Asien är dessa tjänster redan en del av vardagen och nu har de digitala plånböckerna till sist tagit sig till oss här i Sverige på riktigt. Det kan vi bland annat se ute i butikerna där kassaterminalerna är förberedda för tjänsterna och hos bankerna som knutit […]

Nya hjälpmedelsfunktioner i Android

Lyssna Av Janne Koski Så var det dags att lite kort gå igenom de nya hjälpmedelsfunktionerna som kommit med de två senaste stora Androiduppdateringarna, nämligen 7.0 Nougat och 8.0 Oreo. 7.0 Nougat Att köpa en ny telefon och konfigurera den i dess standardutförande kan vara knivigt om man använder sig av hjälpmedelsfunktioner i telefonen. Vision […]

Smarta högtalare som kallas ”hemassistenter”

Lyssna Av Janne Koski Så var det dags att ta en liten titt på ny teknik som snabbt håller på att erövra världen, nämligen smarta högtalare, AI-högtalare, hemassistenter eller digitala röstassistenter för smarta hem som de också kallas. Konceptet är egentligen något som de flesta av oss redan kommit i kontakt med men nu i […]

Smarta mobiler som hjälpmedel för personer med dövblindhet – digital ADL!

Lyssna Så är vår första webbinarie-serie om ny teknik genomförd och ni kan nu se alla 4 avsnitten i efterhand på sidan med Nkcdb:s webbinarier. För vår del som föreläsare har det varit en lång och lärorik resa, eftersom ingen av oss hade någon större erfarenhet av konceptet sedan tidigare. Att vi dessutom ville visa upp […]

Smarta klockor – en liten genomgång

Lyssna Av Karin Jönsson Vi har testat de mest förekommande smarta klockorna utifrån funktioner och användbarhet för personer med dövblindhet. Vi har framför allt tittat på: Hur tydligt och lättstyrd är den taktila återkopplingen? Gränssnittet och skärmen på klockan visuellt. Eventuella möjligheter till skärmläsning. Grundläggande hantering och inställningsmöjligheter. Det finns många andra skillnader mellan klockorna […]

Wu Jung sitter på en hög pall och hr foten på den aktila plattan.

Blind flöjtist ”ser” dirigenten taktilt

Flöjtisten Wu Jing hade en dröm. Trots att hon är blind ville hon spela i en symfoniorkester. Alla sa att det är omöjligt eftersom hon inte kan se och följa dirigenten.
Men en grupp svenska uppfinnare gjorde det omöjligt möjligt. De tog fram ett hjälpmedel som gör att Wu Jing uppfattar dirigenten taktilt.

Foto som visar två män om föreläsar vid en storskärm. I bakgunden ses en teckenspråkstolk.

Reflektioner från en inspirerande Inspirationsdag

19 oktober träffades omkring 100 personer på Clarion Sign i Stockholm för att inspireras av ny teknik för vår vardag.

Bild som viser en knappsats till Sarepta med fem brytare i olika färger.

Verktyget Sarepta2

Sarepta2 är ett verktygsprogram som är gjort för att fungera för elever med synnedsättning och andra som har svårt att använda ett vanligt tangentbord och som på olika sätt behöver få hjälp med t ex sitt skrivande.

Närbild av två händer som håller i och använder en iPhone4

Rätten till mobiltelefon som hjälpmedel

Den smarta mobilen eller surfplattan kan användas som ett oumbärligt hjälpmedel. Men utvecklingen med att kunna förskriva mobiltelefon som alternativ till dyrare traditionella hjälpmedel har en del kvar.

Bilden är en teckning som visar sju händer som sträcks upp med var sin smartphone, kamera eller dator som alla är förbundna med pilar.

Tillgänglighet, juridik, hjälpmedel och konsumentprodukter

Allt fler produkter säljs med inbyggd tillgänglighet. Men i takt med denna positiva utveckling måste vi tänka i nya banor och inse att det bästa hjälpmedlet allt oftare kan vara det som för andra är en konsumentprodukt.

Bilden visar en datorskärm med förstoring sett över axeln på en elev.

Motivation av elever att använda sina hjälpmedel

En del elever med låg synskärpa väljer bort att använda sina hjälpmedel i allmänhet och anpassade datorer med förstoringsprogram i synnerhet. Men jag ser både ett mönster och möjliga åtgärder för att förebygga det.

Bilden visar en hand i vilken liggersju tangenter från ett datortangetntbord. Tangenter visar ordet SUPPORT.

Teknisk support som förebyggande arbete mot stress och psykisk ohälsa

Tillgänglig och anpassad teknisk support bör ses som en del i ett förebyggande arbete mot stress och psykisk ohälsa för personer med dövblindhet.

Bilden viser Thomas Ragnarsson som tar på ett par store svarta glasögon -- antagligen eSight.

Rapport från tredje dagen på CSUN

Sista dagen på CSUN-konferensen bjöd bl.a. på mera inomhusnavigering, mera EPUB3 och förstorande skärmar i glasögonen – samt den enda dövblindspecifika föreläsningen.

Skärmbild av mobilutgåvan av Aftonbladet där man ser Aftonbladets logo.

Utbildning i att läsa nyheter på iPhone med punktdisplay

Ett projekt som hade till syfte att utbilda personer med dövblindhet i att läsa nyheter med hjälp av iPhone och punktdisplay identifierade en rad framgångsfaktorer.

Smarta klockor – kan de vara till någon hjälp?

En klockar som utöver att visa vad klockan är också kan visa information från din mobiltelefon och hålla koll på var du är har blivit en allt vanligare pryl.

Närbild på svart smart telefon i handen på en användare

Automatiseringar gör din smarta telefon eller surfplatta ännu smartare

Nästan alla av oss använder oss av automatiseringar i någon form när vi tar våra smarta enheter i bruk, utan att vi egentligen tänker på det.

Bild som viser skärmen på en iPad varifrån sväver ikoner på olika appar

Projekt Appsök

Projektet Appsök syftar till att ge ökad tillgänglighet och självständighet för bland annat personer med dövblindhet genom att skapa en söktjänst på webben där man kan hitta appar med hög tillgänglighet.

Närbild på händerne på en person som läser på en punktdisplay.

Hur ska elever med synnedsättning komma åt sina läromedel, idag och i framtiden?

Visningsprogrammet Textview har funnits i mer än 20 år. Alltfler läromedel blir otillgängliga för elever svår synnedsättning och vi behöver en modern bokläsare som är fullt tillgänglig för olika hjälpmedel.

Foto på en smart telefon, en iPad och en bärbar dator bredvid varandra på ett bord

Pushbullet

Pushbullet är en bra (men inte perfekt) gratislösning till bl.a. att vidarebefordra notifikationer och sms från smart telefon eller surfplatta till datoren och att kunna svara på ett sms från sin dator.

På bilden ses en datorskärm. En användare klickar på ett av ikonerne med sin finger.

Muspekaren som försvann

Många personer med synnedsättning kan ha svårt att hitta muspekaren på skärmen. Med en touchskärm behövs ingen mus eller muspekare och problemet är plötsligt försvunnet! Men touchskärmar är tyvärr inte det bästa för alla.