中文 | English
模块化的交互数字人对话实现。
🤗 Demo |
Demo | 💬 WeChat (微信) | 📖 文档
- 多模态交互支持:支持文本、语音、视频等多种交互方式,提供自然流畅的人机对话体验
- 模块化架构设计:采用高度模块化设计,可灵活替换 ASR、LLM、TTS、Avatar 等核心组件
- 多样数字人形象:支持 LiteAvatar、LAM、MuseTalk、FlashHead 等多种数字人技术
- 低延迟优化:通过 VAD 检测、语音缓冲、帧率控制等机制优化,平均响应时间仅 2.2 秒
- [2026.04] ⭐️⭐️⭐️ 版本 0.6.0发布:
- 架构重构,前后端分离,前端仓库 OpenAvatarChat-WebUI
- 所有数字人均支持手动打断和双工打断模式
- 优化安装部署和模型下载流程,统一依赖管理和模型下载脚本
- 接入 SoulX-FlashHead 数字人,基于扩散模型的实时流式说话头生成
- [2025.08.19] ⭐️⭐️⭐️ 版本 0.5.1发布:
- LiteAvatar支持单机多session
- 增加对 Qwen-Omni多模态模型的支持
📋 完整更新日志
我们部署在 ModelScope 和 HuggingFace 上均部署了体验服务,欢迎体验。
OpenAvatarChat_Demo.mp4 |
OpenAvatarChat_LAM_Demo.mp4 |
| 类型 | 开源项目 | Github地址 | 模型地址 |
|---|---|---|---|
| RTC | HumanAIGC-Engineering/gradio-webrtc | ||
| WebUI | HumanAIGC-Engineering/OpenAvatarChat-WebUI | ||
| VAD | snakers4/silero-vad | ||
| Avatar | HumanAIGC/lite-avatar | ||
| TTS | FunAudioLLM/CosyVoice | ||
| Avatar | aigc3d/LAM_Audio2Expression | 🤗 | |
| facebook/wav2vec2-base-960h | 🤗 |
||
| Avatar | TMElyralab/MuseTalk | ||
| Avatar | Soul-AILab/SoulX-FlashHead | 🤗 | |
# 克隆项目
git clone https://github.com/HumanAIGC-Engineering/OpenAvatarChat.git
cd OpenAvatarChat
git submodule update --init --recursive --depth 1
# 安装依赖(以 LiteAvatar + 百炼 API 为例)
uv run install.py --config config/chat_with_openai_compatible_bailian_cosyvoice.yaml
# 下载模型
uv run scripts/download_models.py --handler liteavatar
# 启动
uv run src/demo.py --config config/chat_with_openai_compatible_bailian_cosyvoice.yaml📖 详细步骤请参阅快速开始文档
| CONFIG名称 | ASR | LLM | TTS | AVATAR |
|---|---|---|---|---|
| chat_with_lam.yaml | SenseVoice | API | API | LAM |
| chat_with_qwen_omni.yaml | Qwen-Omni | Qwen-Omni | Qwen-Omni | lite-avatar |
| chat_with_openai_compatible_bailian_cosyvoice.yaml | SenseVoice | API | API | lite-avatar |
| chat_with_openai_compatible_bailian_cosyvoice_flashhead.yaml | SenseVoice | API | API | FlashHead |
| chat_with_openai_compatible_bailian_cosyvoice_flashhead_duplex.yaml | SenseVoice | API | API | FlashHead (双工) |
| chat_with_openai_compatible_bailian_cosyvoice_flashhead_duplex_agent.yaml | SenseVoice | Agent | API | FlashHead (双工+Agent) Beta |
📖 查看全部预置模式
Warning
此功能目前处于 Beta 阶段,API 和配置格式可能随时变化。
Chat Agent 模式使用多轮工具调用 Agent 替代传统 LLM Handler,为数字人提供:
- 工具调用:多轮调用工具(获取时间、系统信息等)
- 人格与长期记忆:通过 OpenClaw 的 Agent Profile 赋予数字人持久人格
- 对话上下文压缩:自动压缩过长的对话历史
- 后台任务协作:通过 OpenClaw 在后台执行复杂任务
- 视觉感知:结合 PerceptionAgent 处理摄像头输入
- 微信群
- 感谢社区热心同学"十字鱼"在B站上发布的一键安装包视频 一键包
- 感谢社区热心同学"W&H"提供的夸克一键包windows版本:提取码a79V 和 linux 版本:提取码:E8Kq
- 感谢社区热心同学"W&H"提供的源码zip夸克网盘:提取码 9iNy 和 百度云盘:提取码:xrxr
如果您在您的研究/项目中感到 OpenAvatarChat 为您提供了帮助,期待您能给一个 Star⭐和引用✏️
@software{avatarchat2025,
author = {Gang Cheng, Tao Chen, Feng Wang, Binchao Huang, Hui Xu, Guanqiao He, Yi Lu, Shengyin Tan},
title = {OpenAvatarChat},
year = {2025},
publisher = {GitHub},
url = {https://github.com/HumanAIGC-Engineering/OpenAvatarChat}
}