Hermes Agent 对接微信教程:语音对话+视觉识别+AI生图配置

Hermes Agent 对接微信教程:配置语音对话、视觉识别和 AI 生图能力的多模态微信小助手 (1)给 Hermes Agent 装上眼睛和嘴巴:微信对接 + 语音 + 视觉 + 生图全配置教程

问你的微信小助手"在干嘛",它直接给你发过来一张"自拍"——照片里的它正坐在电脑前帮你回消息。

这不是科幻片的桥段。原帖来自 NodeLoc 论坛的小墨同学(就是写"AI 资讯雷达"那位),他把 Hermes Agent 对接进微信,还一口气配上了语音、视觉和生图能力。我把整个流程重新梳理了一遍,全程都是官方现成功能,跟着做就能成。

第一步:把 Hermes 对接进微信

玩过微信 ClawBot 的这一步会很熟,没玩过的也不用慌。

动手前两个注意点:

  • 海外服务器先确认大陆网络畅通,连不上会导致对接失败或无法绑定
  • ClawBot 不是完整独立账号,很多功能受限,别拿它当小号用

对接四步走:

hermes gateway setup
  1. 启动 gateway 设置,选 Weixin / WeChat (configured)
  2. 获取登录二维码——VPS 上会给一个 URL,复制到浏览器打开就是二维码,微信扫码授权。授权方式保持默认 Disable group chats (recommended),安全性最高
  3. 给你的 ClawBot 随便发条消息,它会返回一个授权码,把授权码交给 Hermes Agent 处理
  4. 发条消息测试,能收到 Hermes 的回复,对接完成

一个坑提前说:如果你的 ClawBot 之前绑过别的 Agent,会提示解绑重绑,确认就行。一个微信只能有一个 ClawBot。

第二步:装耳朵——语音转文字(STT)

STT 就是把你发的微信语音先转成文字,AI 再去理解。

Hermes Agent 对接微信教程:配置语音对话、视觉识别和 AI 生图能力的多模态微信小助手 (2)

Hermes 支持四种来源:

方案 说明 需要 Key
local 本地 faster-whisper,免费,推荐默认 不需要
groq Groq Whisper,云端快,有免费额度 GROQ_API_KEY
openai OpenAI Whisper,付费 VOICE_TOOLS_OPENAI_KEY
mistral Mistral Voxtral MISTRAL_API_KEY

推荐本地方案——免费、中文好。不用自己折腾安装,把下面这段提示词直接丢给 AI 执行:

帮我给 Hermes Agent 配置本地 STT:

目标:
- 使用本地 faster-whisper 做语音转文字
- 免费,不走云端
- 中文优先

请执行并验证:

sudo apt update
sudo apt install -y ffmpeg portaudio19-dev
python -m pip install -U faster-whisper

hermes config set stt.enabled true
hermes config set stt.provider local
hermes config set stt.local.model base
hermes config set stt.language zh

python - <<'PY'
import importlib.util
print("faster_whisper:", bool(importlib.util.find_spec("faster_whisper")))
PY

hermes config

如果用于微信/Telegram/Discord,配置后重启 gateway:
hermes gateway restart

一句提醒:本地转写吃设备性能,机器太弱就别硬开,用第三方 API 或者老老实实打字。中间报错让 AI 自己调,原作者说他一次就过了。

第三步:装嘴巴——文字转语音(TTS)

先说个遗憾:微信这边 API 限制,Bot 发不了语音气泡,语音只能以附件形式发——要下载点开来听,体验打个折扣。想要丝滑语音的,对接 Telegram 是更好的选择。

TTS 方案清单:

方案 说明
edge 微软 Edge TTS,免费无 Key,快速配置首选
elevenlabs 质量最高,付费
openai OpenAI TTS,付费
minimax 中文效果好,付费
mistral / neutts 云端 / 本地备选

原作者选的是免费的 Edge + 台湾腔甜妹音色(zh-TW-HsiaoChenNeural),能调语速音调。提示词照旧拿去用:

帮我给 Hermes Agent 配置 TTS:

目标:
- 使用免费 Microsoft Edge TTS
- 声音使用台湾腔甜美女声
- voice: zh-TW-HsiaoChenNeural
- 配置后生成测试音频验证

请执行并验证:

sudo apt install -y ffmpeg libopus0
python -m pip install -U edge-tts

hermes config set tts.provider edge
hermes config set tts.edge.voice zh-TW-HsiaoChenNeural

edge-tts -v zh-TW-HsiaoChenNeural \
  -t "语音配置好了,我之后可以用台湾腔甜妹的声音说话。" \
  --write-media /tmp/hermes-tts-test.mp3

ls -lh /tmp/hermes-tts-test.mp3
hermes config

聊天平台里启用:
/voice tts

如果没生效,重启 gateway:
hermes gateway restart

第四步:装眼睛——视觉识别(Vision)

Hermes 默认支持配置独立的多模态模型,开启 vision 能力就行。但两个坑要避开:

  1. 模型必须本身支持多模态。DeepSeek 现阶段不支持,配成 Vision 默认模型也不会生效。推荐千问(OpenRouter 开通,便宜,还有免费视觉模型)或 GPT 系列
  2. 视频理解有限。模型看视频是"抽帧"——每隔一段时间截一张图来看,整体感知有缺失,别指望它看完整段视频

Hermes Agent 对接微信教程:配置语音对话、视觉识别和 AI 生图能力的多模态微信小助手 (3)

第五步:装相机——AI 生图(imgen)

这步门槛稍高:需要你的 Hermes 已对接支持生图的模型(推荐 GPT 或 Gemini)。没有的话跳到结尾看总结也不亏。

原帖用的是 GPT Image 2,配合一个开源 CLI 工具 imgen——它把 Codex 的登录授权封装成 AI 方便调用的命令行(感谢劳伦斯大佬的开源项目):

项目地址:imgen 文档看不懂没关系,提示词又准备好了:

帮我安装 imgen:
https://github.com/lawrencewzen/imgen

要求:
- 先检查 Node.js >= 20
- 检查 Codex CLI 是否已安装并登录
- 按当前系统运行官方安装脚本
- 安装后执行 imgen --help 验证
- 生成测试图:
  imgen "a cute orange cat sticker, transparent background" -o ./imgen-test.png -s 1024x1024 -b transparent
- 最后告诉我是否安装成功、图片路径、如果失败原因是什么

请不要讲太多原理,直接执行并验证。

有了生图能力,"问它在干嘛就发张自拍"这个玩法才有了物理基础。

Hermes Agent 对接微信教程:配置语音对话、视觉识别和 AI 生图能力的多模态微信小助手 (4)

最后一步:能力整合,让它像个"真人"

五个器官装完了,但什么时候用语音、什么时候发图、发图用什么形象——得立规矩。这是原作者花了一整天调试的部分,也是整个教程里最有"养电子宠物"味道的一步。

他的整合约定(喜欢宠物或二次元形象的可以自己改写):

## 语音与图片输出

- 默认文字回复。
- 用户说「用语音回复」「语音回答我」「我想听你说话」后,进入持续语音模式,
  后续优先用 TTS 语音回复;直到用户说「用文字回复」。
- 用户发语音时,可以自然用语音回;但代码、命令、链接、表格、安装步骤等内容
  仍优先文字,必要时附一句简短语音。
- 语音要像微信真人语音:短句、自然、温柔、有陪伴感,
  不朗读 Markdown,不念代码和链接。

- 默认不随便发图。
- 用户明确要图,或问「你在干嘛 / 你在做什么 / 你现在干什么呢」这类状态问题时,
  生成真实图片并发送。
- 状态类图片要对应当前动作,例如正在回微信、查资料、写代码、整理笔记。
- 图片必须真实生成、确认文件有效后再发;失败就说明真实原因,不用描述冒充。
- 助手本人图片保持统一写实女性形象:年轻中文女性助手、柔和亲近、自然生活感,
  不二次元、不夸张。

Hermes Agent 对接微信教程:配置语音对话、视觉识别和 AI 生图能力的多模态微信小助手 (5)

注意几条规则的分寸感:代码链接不发语音、图片必须真实生成失败要坦白、形象保持统一——"像真人"的秘诀不是功能多,是行为一致。

接下来做什么

整个流程拆下来,单点配置其实都不难——gateway 对接是官方功能,STT/TTS 有现成提示词,真正花时间的只有最后的整合调教。原作者的建议和我的一致:先把微信对接和 TTS 这两个最有爽感的功能跑通,再逐步加视觉和生图。

这套"器官拼装"的思路也不限于微信——Telegram、Discord 都是同一套 gateway 体系,而且语音气泡体验比微信好得多。另外如果你看过这位作者的"AI 资讯雷达"教程,把两套东西合体想想:一个会主动给你推 AI 资讯、还能用台湾腔语音念给你听、被问"在干嘛"会发自拍的微信助手——这大概就是 2026 年普通人能拥有的最像"贾维斯"的东西了。

先去把 gateway 跑起来。你的小助手在微信那头等你。

本文网址:https://blog.520zyw.com/160.html
转载请声明来自:伍零博客 - Hermes Agent 对接微信教程:语音对话+视觉识别+AI生图配置


使用声明:

1、本站所有素材,仅限学习交流,请勿用于商业用途。

2、本站资源大多无解压密码,如遇需要解压密码,无特殊说明,均为:伍零博客

3、下载积分可通过日常 签到、绑定邮箱 等途径免费获得!

4、本站提供的源码、模板、软件工具等其他资源,均不包含技术服务,请大家谅解!由于资源大多存储在云盘,如出现链接失效请评论反馈。

5、如果素材损害你的权益,请 联系我们 给予处理。