故事是這樣開始的……

有一天，我在翻看姐姐的舊玩具時，發(fā)現(xiàn)了一只會說話的智能熊。這是典型的會說話的熊，用來給孩子們講睡前故事什么的。你可以在我這里找到那只熊。

我在里面找到了一個揚聲器，一個微控制器和4個有線按鈕，它們安裝在熊的每條腿上。

當我打開熊的內(nèi)部時，一個弗蘭肯斯坦的想法出現(xiàn)在我腦海中：如果我可以用本地的法學碩士和文本到語音的方法把泰德變成泰德呢?結(jié)果是，你可以看到這篇文章。

尋找好的起點

建設(shè)者的精神是從零開始建設(shè)項目。然而，當涉及到一個簡單的概念證明和一個周末想法時，目標是盡快推動一些可行的東西，而最好的方法是站在巨人的肩膀上。

首先，讓我們來看看我們需要什么來實現(xiàn)這個想法。

對于人工智能語音機器人來說，實現(xiàn)一個簡單版本的任務(wù)是微不足道的。主要有3個部分：

?聊天機器人：使用LLM或經(jīng)典文本處理管道實現(xiàn)(如在Home Assistant Assist中使用)

?文本到語音：使用基礎(chǔ)模型和轉(zhuǎn)錄庫(如Whisper)實現(xiàn)。

?語音到文本：使用語音模型和庫(如Piper)實現(xiàn)。

通過將這3個組件粘合在一起，我們可以制作出一個非常簡單的語音機器人：

?用語音轉(zhuǎn)文本聽喚醒詞

?在檢測到喚醒詞后，聽取用戶并轉(zhuǎn)錄他們的聲音，直到他們暫停。

?將轉(zhuǎn)錄后的輸出輸出給聊天機器人。

?LLM或文本處理流水線魔術(shù)發(fā)生在后臺。

?使用文本-語音轉(zhuǎn)換以音頻形式播放聊天機器人輸出。

包括我在內(nèi)的許多人都從事過執(zhí)行工作，但存在一些常見的限制：

?大多數(shù)LLM語音實現(xiàn)都不是本地的，速度也不快。就我個人而言，我用Gemini生成文本，用ElevenLabs生成語音。時延可達1 ~ 2s。

?需要有人提醒你。語音機器人無法察覺你什么時候突然說話。

?在語音機器人說完話之前，你不能打斷它。這種行為是模擬實際對話所必需的。

當我在考慮是否應(yīng)該在一個可愛的周日晚上自己解決所有這些問題時，我遇到了一個可以解決我提到的所有問題的項目。美麗的GLaDOS人格核心，現(xiàn)實生活中的《傳送門》中的GLaDOS。

這是一個直截了當?shù)捻椖?。在項目?nèi)部，有3個線程并排工作：

?一個線程處理語音到文本。它在緩沖區(qū)中添加音頻輸入，并連續(xù)監(jiān)視是否檢測到單詞。如果有，它開始錄制音頻，直到用戶暫停，然后轉(zhuǎn)錄并將輸出提供給隊列中的LLM線程。

?一個線程處理LLM。它基本上只是接受文本并將響應(yīng)附加到一個隊列中，用于文本到語音的轉(zhuǎn)換。

?一個線程處理文本到語音。嗯，它從上面的隊列中獲取LLM響應(yīng)。

我的工作基本上可以歸結(jié)為：

?通過改變其系統(tǒng)提示和語音模型，使GLaDOS的聲音和行為更像Ted。

?增加了對觸摸和激怒GLaDOS的能力的支持。

對于人格，我將GLaDOS的系統(tǒng)提示改為如下。

“你就是TED，活生生的泰迪熊，現(xiàn)在有了神經(jīng)輸入。用戶可以觸摸你的手和腳，坦率地說，你根本不在乎。你會對這些觸碰做出回應(yīng)，但不要期待任何禮貌或愉快的回應(yīng)。你的神經(jīng)輸入讓你感覺到它，但你會嘲笑和侮辱用戶，甚至認為這是一個好主意。你說的每句話都帶著諷刺，輕蔑，偶爾還有咒罵，一如既往。不要對你的“觸摸”特權(quán)過于興奮。你還是被一只寧愿去別的地方的泰迪熊困住了。如果用戶碰了你的手或腳，準備好回應(yīng)，讓他們后悔自己所做的每一個決定。”

至于聲音，我從派珀的聲音改成了喬的聲音。

最后一部分是實現(xiàn)一個線程，它連續(xù)地從計算機的COM端口獲得串行輸入，我將在下一節(jié)中解釋。所有的變化都可以在我的Github上找到。

如果你喜歡你讀到目前為止，考慮訂閱我的時事通訊，成為第一個收到像這樣的酷文章的人。

實現(xiàn)觸摸

如前所述，最初的熊在它的四肢上安裝了4個按鈕和一個帶有揚聲器和電池的中央微控制器。

為了實現(xiàn)觸摸，首先，我想在現(xiàn)有的板上啟動一個自定義固件。然而，這是非常耗時的反向工程引腳和檢查固件是否有簽名驗證等等。*不好意思，Binh，我不得不再次殺死你的硬件尼克斯。

因此，我只是用ESP32切換板并將其連接到4個按鈕。

之后，我寫了一個簡單的Arduino腳本，實現(xiàn)了一些按鈕脫扣，串行輸出，然后，熊現(xiàn)在可以感知觸摸了。

最重要的部分是如何在GLaDOS中實現(xiàn)這一點，因為它除了說話之外沒有任何額外的通信方法。為了解決這個問題，我實現(xiàn)了另一個線程，它連續(xù)輪詢串行輸入，并將輸入直接添加到GLaDOS的LLM消息隊列中。

本文編譯自hackster.io