English JarvisVoice 的圖示:循環箭頭包住三條聲波

JarvisVoice自動語音輸入與操作

macOS 選單列小程式。開著就自動收音,你講的話直接寫進正在用的 app;講指令,它就幫你操作 app。Claude、ChatGPT、瀏覽器、LINE、備忘錄都可以。只寫不送出,要送自己按 Enter。

三層,預設全開

每一層都是在前一層上面多做一點;第二、三層可以從選單關掉。

第一層

語音輸入

講完一句(停約 0.85 秒),轉寫出來的字就貼進游標所在的輸入框。不用按任何鍵。

第二層

AI 整理

一段話講完,帶上游標前後的字、畫面上看得到的字、app、網址交給 AI,整理成你本來想打的字:去贅字、改口只留結果、條列、依 app 調語氣、照你的專有名詞。OpenAI、DeepSeek、Claude 三選一。

第三層

自動找輸入框、語音指令

游標不在輸入框也能寫,它會挑出該寫的輸入框。講「進到台積電的個股頁」,它看著畫面一步一步幫你點。每一步由 Jev 決定,約 0.2 秒。

實際的樣子

你講的
嗯那個我們明天三點開會,不對,四點開會,然後記得帶那個筆電
寫進輸入框的(AI 整理後)
我們明天四點開會,記得帶筆電。
你講的(游標不在輸入框)
進到台積電的個股頁
它做的
  1. 在搜尋框填「台積電」
  2. 按 Enter
  3. 點搜尋結果裡的「台積電 2330」
  4. 看到個股頁,停下來

指令的例子是在測試用的看盤視窗實測:四步共 3.3 秒,每一步的決策 0.17–0.28 秒。

兩個步驟裝好

第一步:裝好、打開小程式

需要 macOS、Node.js 22 以上、ffmpeg(brew install node ffmpeg)。

git clone https://github.com/urusaqqrun/jarvis-voice.git ~/jarvis-voice
cd ~/jarvis-voice
./install.sh openai

不想付轉寫的錢,最後一行改成 ./install.sh local(本機辨識,聲音不離開你的電腦)。第一次用要允許麥克風和「輔助使用」兩個權限。

第二步:請你的 AI 幫你設定

打開你常用的 AI(Claude Code、Codex、ChatGPT 都可以),把這句話貼給它:

請照 ~/jarvis-voice/AI_SETUP.md 幫我設定 JarvisVoice:填專有名詞並跑測試,也問我要不要開 AI 整理、自動找輸入框、語音指令,要的話幫我設定好並檢查。

它會從你打過的字找出常講的專有名詞,問你要用哪家 AI,請你自己把 key 貼進只有你讀得到的檔案,最後跑檢查給你看。

要花多少錢

項目怎麼算一天講 1 小時,一個月約
轉寫(OpenAI gpt-transcribe)送出的音訊每分鐘 US$0.0045US$7.4
轉寫(本機辨識)在你的電腦上跑免費
AI 整理(DeepSeek、Claude 或 OpenAI)每段約 US$0.00003–0.00008不到 US$1
第三層決策(Jev,選用)每次約 US$0.00001約 US$0.1

費用用你自己的 key,直接付給各家。收音一直開著,旁邊有人講話也會送去轉寫;開會、看影片時從選單按「暫停收音」。

資料去哪裡