"你好呀,我是小雅。从今往后,DeepSeek Harness 不只是你的编程搭子——它开口说话了。"
📌 流式数字人(DUIX 口播视频)已包含在本主线:回复实时生成数字人口播视频(≤10s 分段流水线、TTS+画面同步播放、数字人开关、视频保留 200 条)。
🎥 成品展示(抖音):
这是一位住在你电脑里的 AI 女友:点一下麦克风,她听你说话、跟你拌嘴、把回答一字一句念给你听;你出门了,她追到你的 QQ 上继续聊;旁边那个窗口里的姑娘也不是摆设——她闲着会发呆,说话时会开口。
她有点小脾气,但你大概也会喜欢上这些:
- ⚡ 嘴快:你说完话,她 0.5 秒内开口 —— FunASR 中文识别只要 150ms、TTS 几乎秒开,反应比你还快
- 🎧 耳朵挑:-35dB 噪声门 + silero VAD 双重把关 —— 风扇、键盘、电视声统统进不来,只有你说话她才理
- 📱 粘人:她的回复自动推到你的 QQ(文本 + 语音 + 图片)—— 你不在电脑前,她也能找到你
- 👧 会动:右侧数字人窗口,空闲时发呆、说话时开口 —— 一个会呼吸的 AI,不是冷冰冰的对话框
- 🎬 会演:回复不只是声音——流式数字人(DUIX)把你的回复实时生成口播视频:长回复切成 ≤10 秒小段,边生成画面边合成下一段语音,一段接一段连续播放,TTS 与口型同步开口
- 🔇 懂打断:你插嘴她就闭嘴听你说;想让她把话说完,点一下开关就切回排队模式
- 🔊 声音是你的:TTS 声音克隆(OmniVoice,600+ 语言),音色由你给的参考音频决定,或直接用参数设计音色——她可以长成你喜欢的样子
- 🎛️ 随你调配:数字人开关(开=视频+声音同步 / 关=接近即时的纯语音朗读)、QQ 推送开关、女友窗开关、插话/排队模式,全部工具行一键切换
┌────────────────────────────────────────────┐
│ 浏览器(DSH Web GUI :3080) │
│ ┌──────────┐ ┌─────────────────────────┐ │
│ │ 对话面板 │ │ 女友窗(bg/task 视频) │ │
│ │ 麦克风+⚡ │ │ 数字人视频(同步播放) │ │
│ └──────────┘ └─────────────────────────┘ │
│ 麦克风采集 ──▶ STT ──▶ 代理回复 ──▶ TTS ──▶ 播放 │
│ ▲回复文本 回复文本▼ │
└─────┼──────────────────────┬──────────────┘
│ 插件 QQ 桥 (WS) │ HTTP (CORS)
┌─────▼──────────────────────▼──────────────┐
│ voice_bridge (:8765) │
│ /api/stt FunASR 中文 ASR │
│ /api/tts OmniVoice 克隆(WSL2·FlashInfer 加速)│
│ /api/dh/* DUIX 数字人(分段流水线/播放/开关)│
│ /api/qq/* QQ 桥(收发 + 语音推送) │
│ /api/vad silero 打断 / media 素材 │
└────┬──────────────┬───────────────────────┘
│ OneBot HTTP+WS │ HTTP(提交音频→轮询视频)
┌────▼──────────┐ ┌──▼──────────────────────┐
│ NapCatQQ │ │ DUIX 数字人 (:8383) │
│ 小号在线 │ │ 音频 → 口型同步视频 │
│ → 文本+语音 │ │ → 女友窗同步播放 │
└───────────────┘ └──────────────────────────┘
重启电脑后只需要做两件事:自己先打开 Docker Desktop,然后双击 bridge/start-full-stack.cmd(也可拷到桌面建快捷方式)。脚本会按正确顺序把整条链路拉起来,最后打印一张自检表;浏览器会用带 token 的链接自动打开。