JarvisVoice自動語音輸入與操作
macOS 選單列小程式。開著就自動收音,你講的話直接寫進正在用的 app;講指令,它就幫你操作 app。Claude、ChatGPT、瀏覽器、LINE、備忘錄都可以。只寫不送出,要送自己按 Enter。
三層,預設全開
每一層都是在前一層上面多做一點;第二、三層可以從選單關掉。
第一層
語音輸入
講完一句(停約 0.85 秒),轉寫出來的字就貼進游標所在的輸入框。不用按任何鍵。
第二層
AI 整理
一段話講完,帶上游標前後的字、畫面上看得到的字、app、網址交給 AI,整理成你本來想打的字:去贅字、改口只留結果、條列、依 app 調語氣、照你的專有名詞。OpenAI、DeepSeek、Claude 三選一。
第三層
自動找輸入框、語音指令
游標不在輸入框也能寫,它會挑出該寫的輸入框。講「進到台積電的個股頁」,它看著畫面一步一步幫你點。每一步由 Jev 決定,約 0.2 秒。
實際的樣子
你講的
嗯那個我們明天三點開會,不對,四點開會,然後記得帶那個筆電
寫進輸入框的(AI 整理後)
我們明天四點開會,記得帶筆電。
你講的(游標不在輸入框)
進到台積電的個股頁
它做的
- 在搜尋框填「台積電」
- 按 Enter
- 點搜尋結果裡的「台積電 2330」
- 看到個股頁,停下來
指令的例子是在測試用的看盤視窗實測:四步共 3.3 秒,每一步的決策 0.17–0.28 秒。
兩個步驟裝好
第一步:裝好、打開小程式
需要 macOS、Node.js 22 以上、ffmpeg(brew install node ffmpeg)。
git clone https://github.com/urusaqqrun/jarvis-voice.git ~/jarvis-voice cd ~/jarvis-voice ./install.sh openai
不想付轉寫的錢,最後一行改成 ./install.sh local(本機辨識,聲音不離開你的電腦)。第一次用要允許麥克風和「輔助使用」兩個權限。
第二步:請你的 AI 幫你設定
打開你常用的 AI(Claude Code、Codex、ChatGPT 都可以),把這句話貼給它:
請照 ~/jarvis-voice/AI_SETUP.md 幫我設定 JarvisVoice:填專有名詞並跑測試,也問我要不要開 AI 整理、自動找輸入框、語音指令,要的話幫我設定好並檢查。
它會從你打過的字找出常講的專有名詞,問你要用哪家 AI,請你自己把 key 貼進只有你讀得到的檔案,最後跑檢查給你看。
要花多少錢
| 項目 | 怎麼算 | 一天講 1 小時,一個月約 |
|---|---|---|
轉寫(OpenAI gpt-transcribe) | 送出的音訊每分鐘 US$0.0045 | US$7.4 |
| 轉寫(本機辨識) | 在你的電腦上跑 | 免費 |
| AI 整理(DeepSeek、Claude 或 OpenAI) | 每段約 US$0.00003–0.00008 | 不到 US$1 |
| 第三層決策(Jev,選用) | 每次約 US$0.00001 | 約 US$0.1 |
費用用你自己的 key,直接付給各家。收音一直開著,旁邊有人講話也會送去轉寫;開會、看影片時從選單按「暫停收音」。
資料去哪裡
- 聲音:只送有人聲的片段給你選的轉寫服務;用本機辨識就不離開電腦。
- AI 整理開著時:游標前後各 400 字、選取的字、視窗裡看得到的字(最後約 1,500 字)、app 名稱、視窗標題、網址,送給你選的 AI。
- 第三層:畫面上按鈕、連結、輸入框的名稱,送給決策器(Jev 或你選的 AI)。
- 歷史、詞彙、設定、key 都只存在你的電腦。