大小:1,948.3M 语言: 中文
类型:沙盒建造游戏 系统:macOS





特征
由本地法学硕士(LLM)提供支持的对话式人工智能
嵌入ASR模型的语音转文本
使用设备上的TTS进行语音合成
通过A2BS(Audio-to-BlendShape)实现头像行为动画
富有表现力的虚拟形象的实时神经渲染
100%离线且注重隐私
MNNTaoAvatar是阿里巴巴基于MNN框架打造的一款本地运行、完全离线的手机端3D数字人应用。它将大语言模型(LLM)、语音识别(ASR)、语音合成(TTS)、声音驱动表情动作(A2BS)、神经渲染(NNR)等模块融合到Android手机上,无需联网即可实现多模态互动。核心功能亮点包括离线聊天体验、精准语音识别、流畅语音输出、自动表情联动和精细渲染表现,所有功能均在本机完成,确保数据安全与隐私。冲击波砖块经典版1.0 单机版
MNNTaoAvatar:手机上的3D数字人“魔法棒”
MNNTaoAvatar是阿里巴巴基于其开源的轻量级深度学习推理框架MNN开发的3D数字人技术。与传统的平面化Live2D技术不同,MNNTaoAvatar支持真3D虚拟角色的实时生成与驱动,能够在手机等移动设备上以高达90FPS的帧率运行,带来流畅的交互体验。
该技术结合了3D高斯溅射(3DGaussianSplatting)技术,通过多视角图像序列生成照片级逼真的3D全身虚拟形象。无论是面部表情、手势还是身体姿态,MNNTaoAvatar都能实现毫米级的精细控制,确保虚拟角色的口型、表情和动作自然同步,为用户带来栩栩如生的视觉体验。
技术亮点:轻量高效,多模态驱动
MNNTaoAvatar的成功离不开MNN框架的强大性能支持。作为阿里巴巴自2019年开源的推理引擎,MNN以其轻量级、高性能和跨平台兼容性在业内广受好评。MNNTaoAvatar在此基础上进一步优化,具备以下核心优势:
实时面部捕捉:通过深度学习算法,MNNTaoAvatar能够精准捕捉用户的喜怒哀乐,并以低延迟同步到3D虚拟角色,适用于直播、虚拟会议等实时交互场景。
轻量级部署:得益于MNN的模型量化和内存优化技术,MNNTaoAvatar能够在普通手机上流畅运行,无需高端硬件支持,大幅降低使用门槛。
多模态支持:除了面部表情捕捉,MNNTaoAvatar还支持语音、文本和图像生成等多种输入方式,为开发者提供丰富的创作空间。
开源生态:作为阿里开源战略的一部分,MNNTaoAvatar提供完善的API和工具,方便开发者将其集成到Android和iOS应用中,助力快速开发与部署。
此外,MNNTaoAvatar通过知识蒸馏技术和可学习的高斯混合形状优化了非刚性变形处理,确保虚拟形象在复杂姿态下依然保持高保真度。这种技术创新使其在资源受限的移动设备上也能实现高质量渲染,堪称3D数字人领域的“黑科技”。
应用场景:从直播带货到元宇宙
MNNTaoAvatar的应用潜力十分广泛,已在阿里巴巴内部的多个场景中得到验证。例如,在淘宝和优酷等平台中,3D数字人技术已用于提升直播带货和虚拟活动的用户体验。以下是一些典型应用场景:
电商直播:通过逼真的3D虚拟主播,MNNTaoAvatar能够提升用户沉浸感,同时降低人力成本。
虚拟社交与会议:用户可创建个性化的3D虚拟形象,参与虚拟会议或社交互动,增强沉浸式体验。
元宇宙与AR:MNNTaoAvatar支持在AR设备(如AppleVisionPro)上运行,为元宇宙和虚拟现实应用提供技术支持。
在线教育与娱乐:通过生动的虚拟角色,MNNTaoAvatar可为教育和游戏内容增添趣味性和互动性。
值得一提的是,MNNTaoAvatar的低存储需求和高兼容性使其尤其适合移动端和AR设备,为未来元宇宙的普及奠定了技术基础。
开源赋能:阿里数字人技术的又一里程碑
MNNTaoAvatar的开源标志着阿里巴巴在数字人技术领域的又一重要突破。此前,阿里通义实验室已推出EchoMimic、OmniTalker等数字人项目,展现了其在该领域的深厚积累。而MNNTaoAvatar的发布,进一步壮大了MNN生态,为全球开发者提供了探索3D数字人应用的便捷工具。
欢迎使用MNNTaoAvatarApp,这是一款基于TaoAvatar论文(arXiv:2503.17032v1)的功能齐全的移动应用。

该项目将多模态AI虚拟形象直接呈现在Android设备上,所有模型均可在本地运行,包括:
LLM(大型语言模型)
ASR(自动语音识别)
TTS(文本转语音)
A2BS(音频到BlendShape)
NNR(神经渲染)
版本0.0.1
点击此处下载
这是我们第一个公开发布的版本;您可以使用asr和tts与应用程序中的3d头像聊天;如果您有任何疑问,请随时打开问题寻求帮助。

由于所有AI模型都是在设备本地执行的,因此该项目需要高性能硬件才能顺利运行。
最低设备要求
Snapdragon8Gen3或同等旗舰SoC
示例:Snapdragon8Gen3、Dimensity9200以获得流畅的体验。
8GBRAM或更多
5GB可用磁盘空间用于模型文件
ARM64架构
低于这些规格的设备可能会出现延迟、音频卡顿或功能受限的情况。
热门评论
最新评论