Onderzoekers van de Universiteit van Californië, Davis, hebben een experimentele hersen-computerinterface ontwikkeld die veelbelovend is voor het herstellen van de stemmen van mensen die het vermogen om te spreken hebben verloren als gevolg van neurologische aandoeningen. 

In een nieuwe studie, gepubliceerd in het wetenschappelijke tijdschrift Nature, laten de onderzoekers zien hoe deze nieuwe technologie hersenactiviteit onmiddellijk kan vertalen in spraak terwijl een persoon probeert te spreken – waardoor effectief een digitaal spraakkanaal wordt gecreëerd. 

Het systeem stelde de deelnemer aan de studie, die amyotrofische laterale sclerose (ALS) heeft, in staat om via een computer in realtime met zijn familie te “spreken”, zijn intonatie te veranderen en eenvoudige melodieën te “zingen”. 

Het vertalen van neurale activiteit in tekst, zoals onze vorige spraak-hersen-computerinterface werkt, is verwant aan sms-berichten. Het is een grote verbetering ten opzichte van standaard ondersteunende technologieën, maar het leidt nog steeds tot vertraagde gesprekken. Ter vergelijking: deze nieuwe real-time spraaksynthese lijkt meer op een spraakoproep.” 

Sergey Stavisky, senior auteur van het artikel en assistent-professor aan de afdeling Neurologische Chirurgie van UC Davis 

“Met onmiddellijke spraaksynthese kunnen gebruikers van neuroprothesen meer betrokken zijn bij een gesprek. Ze kunnen bijvoorbeeld onderbreken en mensen zullen ze minder snel per ongeluk onderbreken,” zei Stavisky. 

Het decoderen van hersensignalen in het hart van nieuwe technologie

De man is ingeschreven in de klinische studie BrainGate2 bij UC Davis Health. Zijn vermogen om via een computer te communiceren is mogelijk gemaakt met een experimentele hersen-computerinterface (BCI). Het bestaat uit vier micro-elektrode-arrays die chirurgisch zijn geïmplanteerd in het gebied van de hersenen dat verantwoordelijk is voor het produceren van spraak. 

Deze apparaten registreren de activiteit van neuronen in de hersenen en sturen deze naar computers die de signalen interpreteren om de stem te reconstrueren. 

“De belangrijkste barrière voor het synthetiseren van stem in realtime was niet precies weten wanneer en hoe de persoon met spraakverlies probeert te spreken”, zegt Maitreyee Wairagkar, eerste auteur van de studie en projectwetenschapper in het Neuroprosthetics Lab van UC Davis. “Onze algoritmen koppelen neurale activiteit aan de beoogde geluiden op elk moment. Dit maakt het mogelijk om nuances in spraak te synthetiseren en de deelnemer controle te geven over de cadans van zijn BCI-stem.” 

Onmiddellijke, expressieve spraak met BCI is veelbelovend 

De hersen-computerinterface was in staat om de neurale signalen van de deelnemer aan de studie te vertalen in hoorbare spraak die zeer snel via een luidspreker werd afgespeeld – een veertigste van een seconde. Deze korte vertraging is vergelijkbaar met de vertraging die een persoon ervaart wanneer hij spreekt en het geluid van zijn eigen stem hoort. 

De technologie stelde de deelnemer ook in staat om nieuwe woorden te zeggen (woorden die nog niet bekend waren bij het systeem) en om tussenwerpsels te maken. Hij was in staat om de intonatie van zijn gegenereerde computerstem te moduleren om een vraag te stellen of specifieke woorden in een zin te benadrukken. 

De deelnemer zette ook stappen in de richting van variërende toonhoogte door eenvoudige, korte melodieën te zingen. 

Zijn BCI-gesynthetiseerde stem was vaak verstaanbaar: luisteraars konden bijna 60% van de gesynthetiseerde woorden correct begrijpen (in tegenstelling tot 4% wanneer hij de BCI niet gebruikte). 

Real-time spraak geholpen door algoritmen 

Het proces van het onmiddellijk vertalen van hersenactiviteit in gesynthetiseerde spraak wordt geholpen door geavanceerde algoritmen voor kunstmatige intelligentie. 

De algoritmen voor het nieuwe systeem werden getraind met verzamelde gegevens, terwijl de deelnemer werd gevraagd om te proberen zinnen uit te spreken die hem op een computerscherm werden getoond. Dit gaf de onderzoekers informatie over wat hij probeerde te zeggen. 

De neurale activiteit vertoonde de vuurpatronen van honderden neuronen. De onderzoekers stemden die patronen af op de spraakklanken die de deelnemer op dat moment probeerde te produceren. Dit hielp het algoritme om de stem van de deelnemer nauwkeurig te reconstrueren op basis van alleen zijn neurale signalen. 

Klinische proef biedt hoop 

“Onze stem maakt deel uit van wat ons maakt tot wie we zijn. Het verliezen van het vermogen om te spreken is verwoestend voor mensen met neurologische aandoeningen”, zegt David Brandman, mededirecteur van het UC Davis Neuroprosthetics Lab en de neurochirurg die het implantaat van de deelnemer uitvoerde. 

“De resultaten van dit onderzoek geven hoop aan mensen die willen praten maar dit niet kunnen. We tooenden aan hoe een verlamde man bij machte is om opnieuw te praten met een synthetische versie van zijn stem. Dit type technologie zou toegepast kunnen worden voor personen die verlamd zijn.” 

Brandman is een assistent professor in het Departement voor Neurologische Operatie en is de hoofdonderzoeker verantwoordelijk voor zijn site in de BrainGate2 klinische studie. 

Limitaties 

De onderzoekers geven aan dat ondanks hun beloftevolle bevindingen, hersen-naar-stem neuroprosthesen zich in een vroeg stadium bevinden. Een belangrijke  limitatie is dat het onderzoek werd uitgevoerd op één enkele deelnemer met ALS. Het is van cruciaal belang deze resultaten te herhalen met meer deelnemers, o.a. met mensen die hun spraak verloren als gevolg van andere oorzaken, zoals een beroerte. 

Vertaling: Guy Vollemaere 

Bron: Universiteit van Californië