QuerySmarttagJob_媒体处理_API文档

回调消息格式定义

当智能标签任务执行状态改变时，mps 会发送消息到用户指定的 queue 中（如何指定回调 queue 详见 mps 的更新管道接口）。消息体是一个 JSON 字符串，包含字段如下：

名称	类型	描述
Type	String	固定字符串“smarttag”，表示智能标签任务
JobId	String	任务唯一 ID
State	String	任务当前状态，与 QuerySmarttagJob 中的 JobStatus 一致
UserData	String	用户在 SubmitSmarttagJob 中传入的 UserData

Result 参数说明

VideoLabel 数据结构

名称	类型	描述
persons	JSONArray	检测到的人物结果
persons.name	String	识别到的人物名称
persons.category	String	人物类型，取值如下：celebrity（名人）；politician（政治人物）；sensitive（敏感人物）；unknown（未知人物）；自定义人物库 ID（识别到的人物为自定义人物时返回）
persons.ratio	double	人物出现率，取值：0~1
persons.occurrences	JSONArray	人物出场详细信息
persons.occurrences.score	double	置信度得分
persons.occurrences.from	double	检测到人物的起始时间，单位（秒）
persons.occurrences.to	double	检测到人物的结束时间，单位（秒）
persons.occurrences.position	JSONObject	人脸坐标
persons.occurrences.position.leftTop	int[]	左上角 x，y 坐标
persons.occurrences.position.rightBottom	int[]	右下角 x，y 坐标
persons.occurrences.timestamp	double	人脸坐标所在的时间戳，单位为秒
persons.occurrences.scene	String	人物镜头，包括：closeUp（特写）；medium-closeUp（近景）；medium（中景）；medium-long（全景）
tags	JSONArray	检测到的物体场景等标签，详见下表举例
tags.mainTagName	String	主标签
tags.subTagName	String	子标签
tags.ratio	double	出现率，取值：0~1
tags.occurrences	JSONArray	出现详细信息
tags.occurrences.score	double	置信度得分
tags.occurrences.from	double	起始时间，单位（秒）
tags.occurrences.to	double	结束时间，单位（秒）
classifications	JSONArray	视频分类信息
classifications.score	double	置信度得分
classifications.category1	String	一级分类，比如：生活、动漫、汽车等等
classifications.category2	String	二级分类，比如生活下面细分为：健康、家居等等

视频 Tags 标签举例说明

mainTagName	subTagName
节目	比如：爸爸去哪儿、欢乐喜剧人等
人物角色	比如：医生、护士、教师等
物体	比如：钢琴、水杯、桌子、西红柿炒鸡蛋、小汽车、化妆品等
标识	比如：CCTV1、CCTV2、优酷、东方卫视等
动作事件	比如：跳舞、接吻、拥抱、会晤、唱歌、打电话、骑马、打斗等
地域	比如：北京天安门、自由女神像、乐山大佛、中国、美国等
场景	比如：卧室、地铁站、梯田、海滩、沙漠等

ImageLabel 数据结构

名称	类型	描述
persons	JSONArray	检测到的人物结果
persons.name	String	识别到的人物名称
persons.category	String	人物类型，取值如下：celebrity（名人）；politician（政治人物）；sensitive（敏感人物）
persons.score	double	人物置信度得分
persons.position	JSONObject	人脸坐标
persons.position.leftTop	int[]	左上角 x，y 坐标
persons.position.rightBottom	int[]	右下角 x，y 坐标
persons.scene	String	人物镜头，包括：closeUp（特写）；medium-closeUp（近景）；medium（中景）；medium-long（全景）
tags	JSONArray	检测到的物体场景等标签，详见下表举例
tags.mainTagName	String	主标签
tags.subTagName	String	子标签
tags.score	double	置信度得分

图片 tags 标签举例说明

mainTagName	subTagName
人物角色	比如：医生、护士、教师等
地域	比如：北京天安门、自由女神像、乐山大佛、中国、美国等
动作事件	比如：讲话等
标识	比如：CCTV1、CCTV2、优酷、东方卫视等
动作事件	比如：跳舞、接吻、拥抱、会晤、唱歌、打电话、骑马、打斗等
物体	比如：钢琴、水杯、桌子、西红柿炒鸡蛋、小汽车、化妆品等
场景	比如：卧室、地铁站、梯田、海滩、沙漠等

TextLabel 数据结构（来源于 ASR 和 OCR）

名称	类型	描述
tags	JSONArray	文本标签信息，详见下表举例
tags.name	String	标签类别
tags.value	String	标签值，可能有多个标签值，以半角逗号（,）分割

图片 tags 标签举例说明

name	value
地域	比如：北京天安门、自由女神像、乐山大佛、中国、美国等
组织机构	比如：中国生动物保护协会、中央广播电视台等
标识	比如：耐克、李宁
关键词	比如：中坚力量

CPVLabel 数据结构

• cates：类目（一级类目、二级类目、三级类目）
• entities：类目属性（带有知识图谱信息）
• hotwords：热点词（用户关注的名单）
• freeTags：自由标签（关键词）

名称	类型	示例值	说明
type	String	hmi	结果类型。取值：hmi（人机协同结果）、autp（机器打标结果）
cates	JSONArray	-	分类类目结果
cates.labelLevel1	String	旅游	一级标签
cates.labelLevel2	String	旅游风光	二级标签
cates.label	String	""	标签名称，算法可能返回空
cates.appearanceProbability	double	0.96	出现率
cates.detailInfo	JSONArray	-	-
cates.detailInfo.score	double	0.9	置信度
cates.detailInfo.startTime	double	0.021	开始时间
cates.detailInfo.endTime	double	29.021	结束时间
entities	JSONArray	-	-
entities.labelLevel1	String	地域	一级标签
entities.labelLevel2	String	地标	二级标签
entities.label	String	黄果树瀑布	标签名称
entities.appearanceProbability	double	0.067	出现率
entities.knowledgeInfo	String	{"name": "黄果树瀑布", "nameEn": "Huangguoshu Waterfall", "description": "亚洲四大瀑布之一"}	知识图谱信息，全部字段后附表：影视综 IP 图谱、音乐图谱、人物图谱、地标图谱、物体图谱。
entities.detailInfo	JSONArray	-	-
entities.detailInfo.score	double	0.33292606472969055	置信度
entities.detailInfo.startTime	double	6.021	开始时间
entities.detailInfo.endTime	double	8.021	结束时间
entities.detailInfo.trackData	JSONArray	-	实体标签结构化信息
entities.detailInfo.trackData.score	double	0.32	置信度
entities.detailInfo.trackData.bbox	integer[]	23，43，45，67	坐标框
entities.detailInfo.trackData.timestamp	double	7.9	时间戳
hotwords	JSONArray	-	-
hotwords.labelLevel1	String	关键词	一级标签
hotwords.labelLevel1	String	关键词	二级标签
hotwords.labelLevel2	String	""	二级标签
hotwords.label	String	中国气象局	看点词内容
hotwords.appearanceProbability	double	0.96	出现率
hotwords.detailInfo	JSONArray
hotwords.detailInfo.score	double	1.0	置信度
hotwords.detailInfo.startTime	double	0.021	开始时间
hotwords.detailInfo.endTime	double	29.021	结束时间
freeTags	JSONArray
freeTags.labelLevel1	String	关键词	一级标签
freeTags.labelLevel2	String	""	二级标签
freeTags.label	String	中央气象台	看点词内容
freeTags.appearanceProbability	double	0.96	出现率
freeTags.detailInfo	JSONArray
freeTags.detailInfo.score	double	0.9	置信度
freeTags.detailInfo.startTime	double	0.021	开始时间
freeTags.detailInfo.endTime	double	29.021	结束时间

语音识别 ASR 结果

名称	类型	描述
details	JSONArray	任务详细结果
details.from	double	开始时间戳，单位（秒）
details.to	double	结束时间戳，单位（秒）
details.content	String	识别出的文本内容

文本识别 OCR 结果

名称	类型	描述
details	JSONArray	任务详细结果
details.timestamp	double	时间戳信息，单位（秒）
details.info	JSONArray	该时间点识别出的具体信息
details.info.score	double	置信度得分
details.info.position	JSONObject	文字坐标
details.info.position.leftTop	int[]	左上角 x，y 坐标
details.info.position.rightBottom	int[]	右下角 x，y 坐标
details.info.content	String	识别出的文本内容
details.info.textType	String	文本类型，取值：0（正常字幕）、1（滚动字幕）、2（定长标识性字幕，持续时间 3 秒以上）

Meta 标注结果

名称	类型	描述
title	String	标题

字幕提取结果 Subtitle

名称	类型	描述
details	JSONArray	任务详细结果
details.allResultUrl	String	全部字幕结果 URL，URL 有效期为任务完成后半年内可有效访问
details.chResultUrl	String	中文结果 URL，URL 有效期为任务完成后半年内可有效访问
details.engResultUrl	String	英文结果 URL，URL 有效期为任务完成后半年内可有效访问