Výskum
Výskum v projekte EWA mal tri hlavné časti: získavanie dát, spracovanie dát s cieľom výberu parametrov rečového prejavu a vyhodnocovanie parametrov s cieľom rozlíšiť prejavy zdravých ľudí od ľudí s kognitívnymi poruchami.
Získavanie dát
V spolupráci s odborníkmi z oblasti neurológie a psychológie bolo potrebné vytvoriť metodiku, ktorá sa zaoberala navrhnutím obrázkov vhodných pre tento účel, určením základných charakteristík nahrávania, kategorizácie zdravých a chorých a priebežnou optimalizáciou stanovenej metodiky. Následne sa vyvíjala intuitívna aplikácia, ktorá zbierala dáta nahrávaním rečových prejavov osôb popisujúcich obrázky.
Spracovanie dát
V spontánnej reči sa objavujú okrem slov aj iné zvukové prejavy ako smiech, hmkanie, kašlanie, pauzy a pod. Anotácia znamená ručný prepis hlasového prejavu do textu s vyznačením týchto sprievodných zvukových prejavov. Anotácie sú jednou z fáz pri príprave nástroja umelej inteligencie pre prevod reči do textu – ASR (Automatic Speech Recognition). Následne boli rečové prejavy podrobené akustickej analýze, ktorá vyťažila zo zvukových záznamov stovky parametrov ako dĺžka, hlasitosť, rôzne druhy frekvencií, farba hlasu a iné. Z lingvistickej analýzy sa určili tzv. NLP (Natural Language Processing) parametre ako počty plnovýznamových slov, rôznych slovných druhov, rôzne lexikálne a sémantické parametre.
Vyhodnocovanie parametrov
Z jednej nahrávky, ktorá obsahovala popis 65 obrázkov, teda 65 rozličných rečových prejavov vzniklo vyše 100 000 parametrov, ktoré boli použité v rôznych metódach počítačových algoritmov a umelej inteligencie ako lineárna regresia, Random Forest a neurónové siete. Pomocou týchto metód s vedomím toho, či išlo o nahrávku človeka zdravého alebo s diagnózou sa dosiahla schopnosť počítača rozlíšiť s vysokou pravdepodobnosťou o akú nahrávku ide. Ďalším výsledkom výskumu boli zaujímavé štatistické charakteristiky.