患有嚴(yán)重運(yùn)動障礙的人——比如那些患有ALS、閉鎖綜合征或神經(jīng)退行性疾病的人——由于自主運(yùn)動和語言的限制，經(jīng)常難以溝通。雖然像眼球追蹤、肌肉觸發(fā)開關(guān)和語音設(shè)備這樣的輔助技術(shù)已經(jīng)存在，但它們往往速度緩慢、不靈活，而且缺乏上下文意識。

腦機(jī)接口(bci)，如P300拼寫器，提供了一種非侵入性的替代方案，但它們?nèi)匀幻媾R著低吞吐量和有限的適應(yīng)性等挑戰(zhàn)。除了基本的信號檢測之外，大多數(shù)都沒有考慮到用戶的環(huán)境或意圖。

顯然，我們需要一個更智能、更集成的系統(tǒng)——一個能夠解釋多種輸入信號(如腦電圖、眼球運(yùn)動或肌肉活動)并實時生成上下文感知、有意義的文本的系統(tǒng)。隨著大型語言模型(llm)的最新進(jìn)展，我們現(xiàn)在有了彌補(bǔ)這一差距的工具。

該項目探索非侵入性腦電圖信號如何與上下文數(shù)據(jù)和llm相結(jié)合，為更具適應(yīng)性和智能的通信接口提供動力。

用腦電圖儀讀取腦電波

我有一個《星球大戰(zhàn)Force Trainer II》的腦電圖耳機(jī)，但任何與Neurosky ThinkGear兼容的腦電圖耳機(jī)都可以工作。

這款耳機(jī)有三個電極，一個在你的額頭上，兩個在你的耳朵后面。

該設(shè)備輸出5種主要的腦電波頻率，標(biāo)準(zhǔn)化的“注意力”和“冥想”值，以及原始的腦電圖電位讀數(shù)。

眨眼/眼瞼運(yùn)動引發(fā)了一個巨大的電位峰值，被電極捕捉到，正如你在這個動圖中看到的那樣。

通常這是一個被過濾掉的偽信號，但在我們的例子中，這實際上是我們用來作為控制信號的。

Brain-to-Text輸入

使用眨眼檢測到文本輸入實際上是相當(dāng)簡單的，使用拼寫板/拼寫矩陣。

拼字板是腦機(jī)和輔助通信系統(tǒng)中常用的接口，可以幫助用戶在沒有物理輸入的情況下進(jìn)行打字。它通常顯示一個字符網(wǎng)格(如字母或單詞)，系統(tǒng)突出顯示模式中的行和列。

當(dāng)正確的行或列閃爍時，用戶通過響應(yīng)來選擇他們想要的字符——通常帶有可檢測的信號，如眨眼、眼球運(yùn)動或腦電波模式。然后，系統(tǒng)將選定的行和列結(jié)合起來，以確定預(yù)期的字符。

在這個項目中，眨眼被用作確認(rèn)選擇的觸發(fā)器，作為用戶意圖的信號。

上下文捕獲

盡管我們可以簡單地使用用戶輸入的文本來生成自動補(bǔ)全建議，但我們很有可能會得到不相關(guān)或不正確的補(bǔ)全，這違背了最小化認(rèn)知和體力勞動的目的。

然而，通過捕獲用戶看到和聽到的內(nèi)容，我們可以在生成建議之前使用對話和視覺設(shè)置來更好地通知LLM。

LLM可以使用周圍的上下文來生成高度相關(guān)的自然語言建議，這大大減少了用戶傳達(dá)其意圖的努力。

這很簡單，使用安裝在身體上的相機(jī)定期拍照，并使用麥克風(fēng)捕捉對話音頻。

圖像和音頻被發(fā)送到LLM生成描述性文本和對話轉(zhuǎn)錄。

作為一個例子，如果我們在下圖中輸入：

法學(xué)碩士可能會生成以下場景描述：

這是一個光線充足的理療室，有各種運(yùn)動和康復(fù)設(shè)備。一個雙杠設(shè)置占據(jù)中心，暗示步態(tài)訓(xùn)練。這里有健身球和阻力機(jī)，表明了對力量和平衡鍛煉的關(guān)注。該設(shè)置意味著一個面向身體恢復(fù)和治療的醫(yī)療保健環(huán)境。

把它們放在一起

現(xiàn)在我們已經(jīng)實現(xiàn)了所有的關(guān)鍵部分，我們可以把它們放在一起。

用戶輸入的文本和環(huán)境上下文一起被提供給LLM， LLM生成高度相關(guān)的建議，以自動完成用戶輸入。

LLM遵循嚴(yán)格的結(jié)構(gòu)化JSON輸出，包含：

建議：基于用戶輸入和上下文的建議短語/句子

推理：法學(xué)碩士提出建議的推理路線。法學(xué)碩士被提示遵循不同的推理路線，以確保不同的輸出。

Contextual_relevance_score: 1-5之間的自我評估分?jǐn)?shù)，表明建議與上下文的相關(guān)性

confence_score: 1-5之間的自我評估分?jǐn)?shù)，表示LLM對建議代表用戶意圖的自信程度

另一個來自腦電圖耳機(jī)的控制信號將顯示用戶選擇的選項，這使得用戶能夠以最小的輸入有效地傳達(dá)他們的意圖。

總的來說，這個系統(tǒng)使有嚴(yán)重運(yùn)動或語言障礙的人能夠更清楚、更快速、更自然地表達(dá)自己。

本文編譯自hackster.io