- 媒体上传
- 媒资管理
- 媒资审核
- 配置管理
- 媒体处理
- 实时处理
- 生产制作
- 云剪辑工程管理
- 剪辑制作
- 模板工厂
- 智能任务
- 数字人训练
- 人声克隆
- 提交ASR智能字幕任务SubmitASRJob
- 提交数字人渲染任务SubmitAvatarVideoJob
- 提交智能语音任务SubmitAudioProduceJob
- 提交关键词扩写任务SubmitTextGenerateJob
- 提交视频翻译任务SubmitVideoTranslationJob
- 提交高光提取任务SubmitHighlightExtractionJob
- 提交拆条任务SubmitSegmentationJob
- 获取智能任务结果GetSmartHandleJob
- 删除智能任务DeleteSmartJob
- 获取任务列表ListSmartJobs
- 获取系统数字人列表ListSmartSysAvatarModels
- 列出智能语音发音人信息ListSmartVoiceGroups
- AI实时互动
- 媒体AI
- 用量统计
- 全局配置
- 工作流
- 媒体服务
- 其他
接口说明
- 目前仅支持输入为文本或人声音频作为输入,音频仅支持 mp3 或 wav 格式。
- 支持输出 mp4 和 webm 格式。当输出为 mp4 时,成片为带绿幕背景的视频,同时输出虚拟人的蒙版视频,供后续使用,推荐用这个方案。当输出为 webm 时,成片为带透明通道的 webm,可用于前端展示,由于 webm 编码问题,合成会慢一些。
- 输出结果中包含人声的句子时间戳,供后续在剪辑中使用。
请求参数
字段名称 | 字段详情 |
---|---|
InputConfigstring | 虚拟人任务输入参数。支持以文本、音频 OSS 文件、媒资作为输入。音频仅支持 mp3 或 wav 格式。展开详情 示例值:{"Text": "君不见黄河之水天上来,奔流到海不复回。君不见高堂明镜悲白发,朝如青丝暮成雪。"} |
EditingConfigstring | 虚拟人任务配置信息,支持设置虚拟人 id、人声、语速等信息 示例值:{"AvatarId":"yunqiao"} |
OutputConfigstring | 任务输出信息,支持设置输出地址 示例值:{"MediaURL":"https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.mp4"} |
Titlestring | 任务标题,长度不超过 128 字节 示例值:测试标题 |
Descriptionstring | 任务描述,长度不超过 128 字节 示例值:测试描述 |
UserDatastring | 用户自定义设置,可传入客户业务信息,如业务方环境、任务信息,JSON 字符串格式。 示例值:{"user":"data","env":"prod"} |
请求说明
InputConfig 示例:
输入为音频地址:
{
"InputFile": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.mp3"
}
输入为文本:
{
"Text": "君不见黄河之水天上来,奔流到海不复回。君不见高堂明镜悲白发,朝如青丝暮成雪。"
}
输入为 MediaId:
{
"MediaId": "4aef0c80cc0071edbf92f6e7c44b6302"
}
EditingConfig 示例:
AvatarId:虚拟人形象 Id,必填 ,取值:数字人官方形象
Voice:发音人,仅输入为 Text 有效,选填,取值:智能语音效果示例
CustomizedVoice:个性化人声。如果需要使用通过人声克隆生成的个性化人声作为发音人,请使用此字段,而不是 Voice 字段
LoopMotion: 是否首尾同帧,如果设置此值为 true,则生成的数字人视频图像的首帧与尾帧相同,循环播放视频时人物形象的动作和表情不会有“跳变”现象,取值范围:{true, false},默认值:false
SpeechRate:语速,仅当输入为文本类型有效,取值范围:-500~500,默认值:0
PitchRate:音调,仅当输入为文本类型有效,取值范围:-500~500,默认值:0
Volume:音量,仅当输入为文本类型有效,取值范围:0~100,默认值 50
BackgroundUrl:背景图,默认是绿幕,选填,仅支持 jpg、png 格式
{
"AvatarId": "xinxin-marketing_standing",
"BackgroundUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.jpg",
"Voice" : "zhichu",
"LoopMotion": true,
"SpeechRate": 100,
"PitchRate": 10,
"Volume": 10
}
OutputConfig 示例:
{
"MediaURL": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.mp4
}
返回参数
字段名称 | 字段详情 |
---|---|
RequestIdstring | Id of the request 示例值:******11-DB8D-4A9A-875B-275798******
|
JobIdstring | 智能任务 Id 示例值:****20b48fb04483915d4f2cd8ac****
|
MediaIdstring | 成片媒资 id 示例值:******70dcc471edaf00e6f6f4****** |
返回说明
可以通过获取智能任务结果接口查询任务执行状态和任务结果,任务执行成功时接口返回结果示例如下.
{
"RequestId": "2014D1A8-4143-164F-94B4-32B8F39B706D",
"JobId": "d9367da8c7184ec7a3f24de530ac5b9a",
"State": "Finished",
"SmartJobInfo": {
"Title": "default_title_2023-03-28T13:37:47Z",
"EditingConfig": "null",
"JobType": "AvatarVideo",
"CreateTime": "2023-03-28T13:37:47Z",
"ModifiedTime": "2023-03-28T13:37:47Z",
"UserId": 1833202230108227,
"outputConfig": {
"mediaUrl": "https://oushu-test-shanghai.oss-cn-shanghai.aliyuncs.com/avatar/222.mp4"
}
},
"JobResult": {
"MediaId": "4aef0c80cc0071edbf92f6e7c44b6302",
"AiResult": "{\"outputVideoUrl\":\"https://oushu-test-shanghai.oss-cn-shanghai.aliyuncs.com/avatar/222.mp4\",\"subtitleClips\":\"[{\\\"from\\\":0.0,\\\"to\\\":4.692,\\\"content\\\":\\\"君不见黄河之水天上来,奔流到海不复回。\\\"},{\\\"from\\\":4.692,\\\"to\\\":9.061,\\\"content\\\":\\\"君不见高堂明镜悲白发,朝如青丝暮成雪。\\\"}]\"}"
}
}
其中,AiResult 格式如下:
outputVideoUrl 为输出成片地址,mp4 格式
subtitleClips 字幕句子时间戳
{
"outputVideoUrl": "https://oushu-test-shanghai.oss-cn-shanghai.aliyuncs.com/avatar/222.mp4",
"subtitleClips": "[{\"from\":0.0,\"to\":4.692,\"content\":\"君不见黄河之水天上来,奔流到海不复回。\"},{\"from\":4.692,\"to\":9.061,\"content\":\"君不见高堂明镜悲白发,朝如青丝暮成雪。\"}]"
}