»Naš pretočni pristop prinaša enako hitro dekodiranje govora, kot ga omogočajo naprave, kot sta Alexa in Siri, v nevroproteze,« je pojasnil Gopala Anumanchipalli, izredni profesor elektrotehnike in računalniških znanosti na UC Berkeley in soprincipalni raziskovalec študije, objavljenev reviji Nature Neuroscience. »Z uporabo podobnega algoritma smo ugotovili, da lahko dekodiramo nevronske podatke in prvič omogočimo skoraj sočasen pretočni govor. Rezultat je bolj naravna in tekoča sinteza govora.«
Nevroproteza, nameščena pacientu, najprej zajame nevronske podatke iz motoričnega korteksa, ki nadzira tvorjenje govora. Nato umetna inteligenca te podatke prevede v govor. Soavtor raziskave Cheol Jun Cho je pojasnil: »... to, kar dekodiramo, se zgodi po tem, ko je misel že nastala, ko smo se že odločili, kaj bomo povedali in kako bomo premikali mišice govornega trakta.«
Zanimivost te tehnologije je v tem, da učinkovito deluje z različnimi vrstami senzorjev za zaznavanje možganske aktivnosti. To vključuje visokozmogljive elektrodne mreže, ki beležijo aktivnost neposredno s površine možganov (kot v tej študiji), mikrosenzorje, ki prodrejo v možgansko površino, pa tudi neinvazivne senzorje površinske elektromiografije (sEMG) na obrazu, ki zaznavajo mišično aktivnost.
Umetna inteligenca je bila trenirana z možganskimi podatki, zbranimi med tem, ko je pacient tiho poskušal izgovarjati besede, ki so se mu prikazovale na zaslonu. Tako je ekipa lahko povezala nevronsko aktivnost s tem, kar je pacient želel povedati.
Poleg tega je bil razvit tudi model pretvorbe besedila v govor – in to z uporabo pacientovega lastnega glasu, ki je bil posnet še pred poškodbo in paralizo. Na ta način lahko poslušamo govor, kot da bi ga res izgovarjal sam pacient. Sistem začne dekodirati možganske signale in ustvarjati govor že v eni sekundi po pacientovem poskusu govora – kar je velik napredek v primerjavi s prejšnjo študijo iz leta 2023, kjer je bilo zamika kar 8 sekund.
To bi lahko bistveno izboljšalo kakovost življenja oseb s paralizo in podobnimi izčrpavajočimi stanji, kot je ALS, saj bi jim omogočilo bolj naravno sporazumevanje – od osnovnih dnevnih potreb do izražanja kompleksnih misli in povezovanja z bližnjimi.
Raziskovalci kot naslednji korak načrtujejo še hitrejšo obdelavo podatkov z umetno inteligenco ter raziskovanje načinov, kako narediti generirani govor bolj izrazit in čustveno bogat.
Vir: UC Berkeley Engineering, slika Noah Berger / UC Regents
