Ett nytt verktyg ska få oss människor att bättre förstå och utveckla modeller för artificiell intelligens genom att söka och lyfta fram representativa scenarier.
– Vi vill göra mänsklighet och AI-interaktion säkrare genom att ge människor mer insikt i deras AI-medarbetare, säger forskarna bakom.
Att förklara, tolka och förstå det mänskliga sinnet är en utmaning, likaså gäller det beteendet hos maskiner. Men för att uppnå bättre mänsklig-AI-interaktion har ett team av forskare från Massachusetts Institute of Technology i USA skapat ett nytt verktyg vid namn Bayes-TrEx. Verktyget gör det möjligt för utvecklare och användare att få transparens i sin AI-modell genom att hitta konkreta exempel som leder till ett visst beteende. Metoden använder sig av "Bayesian posterior inference", ett matematiskt ramverk för att lösa osäkerheter.
– Vi vill göra mänsklighet och AI-interaktion säkrare genom att ge människor mer insikt i deras AI-medarbetare. Människor borde kunna förstå hur AI fattar beslut och förutsäga hur de kommer att agera och förutse de mest kritiska situationer för att kringgå misslyckanden, säger doktorand Serena Booth, co-lead author with Zhou.
Idag används AI-modeller i allt mer komplexa situationer, dock saknar vi människor fortfarande en helhetsförståelse för AI:s förmåga och beteende. Dagens forskning fokuserar främst på förutbestämda grunder i en modell. Men om det uppstår misstag i modellen, vad händer då? Hur skulle modellen uppträda om den stöter på något som den tidigare inte har sett, till exempel en maskin som upptäcker något helt oväntat i en process eller en självkörande bil som plötsligt ser en ny typ av trafikskylt?
I experiment tillämpade forskarna Bayes-TrEx på flera bildbaserade datamängder och fick nya insikter kring detaljer som tidigare förbisetts av standardutvärderingar med enbart fokus på förutsägelsens noggrannhet.
– Sådana analyser är viktiga för att verifiera att en modell alltid verkligen fungerar korrekt. En särskilt alarmerande situation är när modeller gör misstag med mycket hög bestämdhet och användaren litar för mycket på modellen. Då kan misstag gå under radarn under lång tid och kanske upptäckas först när omfattande skador redan har orsakats, säger doktorand Yilun Zhou, co-lead researcher on Bayes-TrEx.
Bayes-TrEx hjälper också till att förstå modellbeteenden i nya situationer. Exempelvis autonoma system, som ofta förlitar sig på kamerabilder. Dessa vanliga händelser kan lätt kännas igen med hög noggrannhet av kameran, men mer komplicerade situationer kan ge olycksbådande effekter. Verktyget kan hjälpa till att hantera dessa nya situationer i förväg och göra det möjligt för utvecklare att korrigera eventuella oönskade resultat innan potentiella tragedier inträffar.
Forskarna arbetar också med ett verktyg för robotar som kallat ”RoCUS”, inspirerat av Bayes-TrEx. Detta används för att analysera robotspecifikt beteende. Under tester har RoCUS gjort nya upptäckter som lätt kan missas om utvärderingen enbart varit inriktad på att slutföra uppgiften. Till exempel föredrog en 2D-navigationsrobot som använde en djupinlärningsmetod att navigera runt hinder utifrån hur träningsdata samlades in. En sådan preferens kan vara riskabelt om robotens hindersensorer inte är helt korrekta. För en robotarm som når ett mål på ett bord visade asymmetrin i robotens kinematiska struktur större konsekvenser för dess förmåga att nå mål till vänster kontra höger.
BREAKING