Cameron Merritt
0 
2951
188
Neurovidenskabsfolk lærer computere at læse ord lige ud af folks hjerner.
Kelly Servick, der skriver for videnskab, rapporterede denne uge om tre papirer, der blev sendt til fortryksserveren bioRxiv, hvor tre forskellige forskerteam demonstrerede, at de kunne afkode tale fra optagelser af neuroner, der fyrede. I hver undersøgelse registrerede elektroder placeret direkte på hjernen neurale aktiviteter, mens patienter med hjernekirurgi lyttede til tale eller læste ord højt. Derefter forsøgte forskere at finde ud af, hvad patienterne hørte eller sagde. I begge tilfælde var forskerne i stand til at konvertere hjernens elektriske aktivitet til mindst noget forståelige lydfiler.
Den første artikel, der blev sendt til bioRxiv den 10. oktober 2018, beskriver et eksperiment, hvor forskere spillede optagelser af tale til patienter med epilepsi, der var midt i hjerneoperationen. (De neurale optagelser, der blev taget i eksperimentet, måtte være meget detaljerede for at blive fortolket. Og det detaljeringsniveau er kun tilgængeligt under de sjældne omstændigheder, når en hjerne udsættes for luften og elektroder placeres direkte på den, f.eks. Ved hjernekirurgi .) [3D-billeder: Undersøgelse af den menneskelige hjerne]
Da patienterne lyttede til lydfilerne, registrerede forskerne neuroner, der skyder i de dele af patienternes hjerner, der behandler lyd. Forskerne prøvede en række forskellige metoder til at omdanne disse neuronale affyringsdata til tale og fandt, at "dyb læring" - hvor en computer forsøger at løse et problem mere eller mindre uovervåget - fungerede bedst. Da de spillede resultaterne gennem en vocoder, som syntetiserer menneskelige stemmer, for en gruppe på 11 lyttere, kunne disse personer fortolke ordene 75 procent af tiden.
Du kan lytte til lyd fra dette eksperiment her.
Det andet papir, der blev offentliggjort 27. november 2018, var afhængigt af neurale optagelser fra personer, der gennemgik en operation for at fjerne hjernesvulst. Idet patienterne læste enkelt stavelsesord højt, registrerede forskerne både lydene, der kommer ud af deltagerens mund, og neuronerne, der skyder i de taleproducerende regioner i deres hjerner. I stedet for at træne computere dybt på hver patient, lærte disse forskere et kunstigt neuralt netværk til at konvertere de neurale optagelser til lyd, hvilket viste, at resultaterne i det mindste var rimeligt forståelige og ligner optagelserne foretaget af mikrofonerne. (Lyden fra dette eksperiment er her, men skal downloades som en zip-fil.)
Det tredje papir, der blev sendt den 9. august 2018, var afhængig af at registrere den del af hjernen, der konverterer specifikke ord, som en person beslutter at tale til muskelbevægelser. Selvom der ikke findes nogen optagelse fra dette eksperiment online, rapporterede forskerne, at de var i stand til at rekonstruere hele sætninger (også registreret under hjernekirurgi hos patienter med epilepsi), og at folk, der lyttede til sætningerne, var i stand til korrekt at fortolke dem på flere valg test (ud af 10 valg) 83 procent af tiden. Eksperimentets metode var afhængig af at identificere mønstre involveret i produktion af individuelle stavelser snarere end hele ord.
Målet med alle disse eksperimenter er en dag at gøre det muligt for mennesker, der har mistet evnen til at tale (på grund af amyotrofisk lateral sklerose eller lignende forhold) at tale gennem en computer-til-hjerne-grænseflade. Imidlertid er videnskaben til den applikation ikke der endnu.
At fortolke de neurale mønstre hos en person, der bare forestiller sig tale, er mere kompliceret end at fortolke mønstrene for en person, der lytter til eller producerer tale, rapporterede Science. (Forfatterne af det andet papir sagde imidlertid, at det kan være muligt at fortolke hjerneaktiviteten hos en person, der forestiller sig tale.)
Det er også vigtigt at huske, at dette er små undersøgelser. Den første artikel var afhængig af data hentet fra kun fem patienter, mens den anden så på seks patienter og den tredje kun tre. Og ingen af de neurale optagelser varede mere end en time.
Stadig går videnskaben fremad, og kunstige taleenheder, der er tilsluttet direkte til hjernen, virker som en reel mulighed på et eller andet tidspunkt ned ad vejen.
- 10 ting, vi lærte om hjernen i 2018
- 10 ting, du ikke vidste om dig
- Billedgalleri: Skæring gennem hjernen
Oprindeligt offentliggjort den .