多语言与本地化视频 · DeepEge 编辑团队
声音克隆是什么：原理、怎么做、要不要授权与防骗
声音克隆是用人工智能学习某个人录音里的音色、语调和发音习惯，再用这个声音读出新文本的技术，也叫 AI 声音克隆、声音复刻或仿声。
本文要点：
- 做法可归成六步：授权、录样本、生成、试读、标识、听成片。
- 克隆他人声音要先取得本人同意；《民法典》规定声音参照肖像权保护。
- 语音里要求转账，不能凭“听起来像”就信，要回拨电话或当面核实。
- AI 配音多用预置音色，声音克隆复制的是某个具体的人。
声音克隆是什么
声音克隆是让 AI 模型从一个人的录音里提取声音特征，之后输入任意文字，都能用接近这个人的声音读出来。它属于语音合成（TTS，文本转语音）的一种，区别是用某个真实的人的声音，而不是预置音色。
在国内，《互联网信息服务深度合成管理规定》把“文本转语音、语音转换、语音属性编辑”列为深度合成技术（网信办原文）。
声音克隆的原理是什么
声音克隆的原理是先从参考录音中提取说话人的声音特征，再让语音合成模型生成新句子时套用这些特征。按需要的录音量，常见做法有两类。
零样本克隆：几秒参考音频就能模仿
零样本克隆不为这个人重新训练模型，只把一段很短的参考音频当作提示，让模型直接模仿。VALL-E 论文（Wang 等，2023）用 6 万小时英语语音预训练模型，报告只需未见过的说话人 3 秒录音作提示，就能合成其个性化语音（arXiv:2301.02111）。
定制克隆：用更多录音训练专属声音
定制克隆用这个人更多的录音对模型做训练或微调，换来更稳定的音色和读法，适合同一个声音长期反复使用。要多少录音、多长时间，以所用服务的说明为准。
声音克隆怎么做：6个步骤
声音克隆可以按授权、录样本、生成、试读、标识、听成片六步做，每一步都留记录。
- 取得书面授权：声音是谁的就由谁同意，写清用途、平台、期限和能否用于广告。
- 录制样本：本人在安静环境用同一设备录，语速和情绪贴近之后要读的内容。
- 生成声音：上传到支持声音克隆的服务，按其说明选零样本或定制方式。
- 用真实脚本试读：品牌名、型号、数字、多音字单独测，读错的做发音表或改写句子。
- 发布时标识：用平台提供的标识功能，主动声明含 AI 生成合成内容。
- 对照字幕听成片，把授权书、样本和生成记录一起存档。
试读和听成片的做法，与 AI 配音是什么：怎么做、怎么选与授权 里的步骤相同。
声音克隆需要多长的录音
需要的录音长度取决于方式：零样本方法在研究中可以只用几秒参考音频，定制克隆通常要更多录音，商用服务没有统一标准。
VALL-E 论文还提到，合成结果会保留参考音频的情绪和声学环境，样本里的噪声、回声也可能被带进合成声，所以录样本要安静、单人、贴近实际用途。
声音克隆准不准
声音克隆可以像到让人认出本人，但不保证每句都准。北京互联网法院 2024 年判决的一起 AI 声音侵权案中，法院认定案涉 AI 声音在音色、语调和发音风格上高度模仿原告，足以识别出本人（北京互联网法院英文网报道）。
听起来像不代表每句都读对，试读仍要逐句查多音字、专有名词、外语口音和情绪。
克隆别人的声音合法吗，要不要授权
未经本人同意克隆、使用他人声音，在国内可能构成侵权，要用就先取得本人明确授权。具体项目建议请律师确认。
《民法典》：声音参照肖像权保护
《民法典》第一千零二十三条规定：“对自然人声音的保护，参照适用肖像权保护的有关规定。”（民法典全文）肖像权部分规定，不得利用信息技术手段伪造他人肖像；未经本人同意，不得制作、使用、公开其肖像，法律另有规定的除外。
深度合成规定和标识办法：单独同意与显著标识
《互联网信息服务深度合成管理规定》自 2023 年 1 月 10 日起施行。第十四条要求，提供人声等生物识别信息编辑功能的服务方，应提示使用者依法告知被编辑的个人，并取得其单独同意；第十七条要求，合成人声、仿声等服务可能导致公众混淆或误认的，应在合理位置显著标识。
《人工智能生成合成内容标识办法》自 2025 年 9 月 1 日起施行，要求相关服务方在音频起始、末尾或中间适当位置添加语音提示等显式标识，或在交互界面加显著提示；用户发布生成合成内容时，应主动声明并使用平台提供的标识功能（网信办原文）。
2024 年北京互联网法院 AI 声音侵权案
2024 年 4 月，北京互联网法院判决一起 AI 声音侵权案：一位殷姓配音师的声音经 AI 处理后，被用在网上流传的有声读物里。一家文化传媒公司未经许可把她的录音交给软件公司，后者用 AI 模仿其声音并对外销售；法院认定两家公司侵害其人格权益，判赔 25 万元。主审法官提醒，企业用 AI 处理或生成声音、形象时，要取得本人同意。
怎么识别 AI 拟声诈骗
识别 AI 拟声诈骗的关键是不凭“听起来像”判断身份，语音里要求转账、借款、给验证码的，都换个渠道核实。
金融监管总局 2024 年 7 月提示，不法分子会以网店客服、营销推广、招聘兼职、婚恋交友等名义采集发音、语句或面部信息，再合成音视频冒充本人，诱导其亲友转账（中国政府网转载）。公安部网安局 2026 年 5 月提醒牢记“四不一核实”：不轻信、不转账、不泄露、不传播，涉及钱财等重要事项通过电话回拨、当面确认或官方渠道核实（中新网转载）。
- 接到“紧急转账”语音，挂断后用自己存的号码回拨本人。
- 家人、同事之间约定一个只有彼此知道的确认问题。
- 陌生来电或链接要你长时间朗读、录音时，提高警惕。
- 留意平台的 AI 生成标注；没有标注，也不代表一定是真人。
声音克隆和 AI 配音、TTS 有什么区别
区别在声音从哪来：TTS 是文字转语音的技术统称，AI 配音通常用服务商预置的音色给视频配旁白，声音克隆则复制某个具体的人的声音。
| 对比项 | 声音克隆 | AI 配音（预置音色） | 真人录音 |
|---|---|---|---|
| 声音来源 | 某个具体人物的录音 | 服务商提供的音色 | 配音员现场录制 |
| 需要准备 | 本人授权、录音样本、脚本 | 脚本、发音表 | 脚本、录音设备 |
| 授权重点 | 声音本人同意＋服务条款 | 服务条款里的商用范围 | 与配音员的合同 |
| 适合场景 | 讲师、主播、创始人长期用自己的声音出内容 | 说明类旁白、批量口播 | 强表演、必须本人出声的声明 |
| 主要风险 | 未经授权侵权、被拿去冒充 | 语气不贴、读错字 | 排期和返工成本 |
企业商用声音克隆要注意什么
企业商用声音克隆，要确认授权完整、发布有标识、用途不越界，缺一项就先不发。我们整理的发布前清单：
- 授权书写明声音主体、用途、平台、地域、期限、能否用于广告，以及撤回授权或合作结束后能否继续使用。
- 录音样本由本人提供或本人在场录制，不用网上下载的音频。
- 服务条款允许商用，并写明录音和声音模型怎么存储、怎么删除。
- 发布时用平台标识功能声明 AI 生成合成内容，必要时片内加语音或字幕提示。
- 不用克隆声音冒充本人表态、客户证言或未经确认的承诺。
- 授权书、样本、生成记录和发布版本一一对应存档。
声音克隆工具怎么选
选工具先看是否要求证明有权使用这段声音、是否提供标识功能、录音能否删除、商用条款是否写清，再用自己的脚本试读比效果。
搭配数字人口播时形象也要授权，见数字人怎么制作和数字人直播是什么；多语言版本见多语言视频制作流程与交付检查，发布前可对照出海视频发布前审核清单。
引擎AI（Deepege）是面向中文企业团队的 AI 视频营销与矩阵发布平台，首页介绍的能力有素材一键剪辑、AI 配音、自动字幕和本地化口播，没有列出声音克隆。做营销视频配音时，无论用预置音色还是经授权的克隆声音，上面的检查都适用，可以了解平台。
常见问题
声音克隆是什么？
声音克隆是用人工智能学习某个人录音里的音色、语调和发音习惯，再用这个声音读出新文本的技术，属于语音合成（TTS）的一种。
声音克隆需要录多长的音频？
零样本方法在研究中可以只用几秒参考音频，VALL-E 论文用的是 3 秒；定制克隆通常要更多录音，具体以所用服务的说明为准。样本要安静、单人、贴近实际用途。
克隆别人的声音合法吗，要不要授权？
未经本人同意克隆、使用他人声音，在国内可能构成侵权。《民法典》规定声音参照肖像权保护，深度合成规定要求服务方提示使用者取得被编辑者的单独同意；2024 年北京互联网法院判决的 AI 声音侵权案判赔 25 万元。
怎么识别和防范 AI 拟声诈骗？
不凭“听起来像”判断身份。语音里要求转账、借款、给验证码的，挂断后用自己存的号码回拨本人，或当面确认、通过官方渠道核实。
声音克隆和 AI 配音有什么区别？
区别在声音来源：AI 配音通常用服务商预置的音色，声音克隆复制某个具体的人的声音，所以除了服务条款，还要取得声音本人的同意。