人工智能时代新闻传播事业的守正创新
原标题:人工智能时代新闻传播事业的守正创新加强针对关键技术的探索和研究,加快建设以核心技术为支撑的研发平台、应用平台,是占领信息传播制高点的基础所在。图为日前在上海市虹口区北外滩正式开港的“5G全球创新港”。王冈摄/光明图片
【专题:深入学习贯彻习近平总书记关于推动媒体融合发展的重要论述】
作为新一轮科技革命和产业革命的重要驱动,人工智能对政治、经济、社会发展等诸领域产生了重大而深远的影响。习近平总书记指出,“要探索将人工智能运用在新闻采集、生产、分发、接收、反馈中,全面提高舆论引导能力”。随着智能化浪潮席卷而来,准确把握人工智能的特点与趋势,加快推动人工智能与新闻传播的融合发展,成为迫切需要深化研究的新课题。
1.立足国家战略,占领信息传播制高点
在新理论、新技术的驱动下,人工智能加速发展,越来越多的国家在新闻传播领域积极布局、全面推进以人工智能为支撑的新闻传播事业发展。借助人工智能的技术优势,新闻传播已经超越了信息传递的单一范畴,成为关系国家形象、国家利益、国家战略的重要领域,成为世界各国综合国力和文化软实力的具体体现。
党的十八大以来,以习近平同志为核心的党中央多次从国家战略高度强调人工智能对于引领科技革命、推动产业变革的价值和意义,并在实践中把握人工智能发展的战略机遇,构筑人工智能发展的先发优势。具体到新闻传播领域,就是加强研判、统筹谋划,以人工智能的发展推动媒体融合。
重视以技术为核心的基础研究。技术是人工智能的核心,媒介的发展与技术进步息息相关。加强针对关键技术的探索和研究,加快建设以核心技术为支撑的研发平台、应用平台,是占领信息传播制高点的基础所在。对于新闻媒体而言,人工智能是一个全新的领域;对于人工智能而言,将其应用于新闻传播意味着跨学科、跨领域的创新合作。因此,在新闻媒体领域进行人工智能的研发与应用,需要科技人员与新闻工作者相互配合、协同创新,共同探索针对性的理论、方法和工具,助力新闻传播领域人工智能的前瞻布局,使其发挥激发媒体活力、提升媒体价值的作用。
倡导理论与实践有机结合。一方面,技术研发要与前沿实践主动对接,巩固新闻媒体的技术实力,实现技术引领下的媒介创新,加速新闻传播事业从数字化向智能化的全面转变;另一方面,要围绕中心、服务大局,充分发掘新平台、新终端服务党的新闻舆论工作的具体功用,以技术为支撑,提升新闻媒体参与社会治理、服务国家战略的能力和水平。以舆情应对为例,大数据技术对于舆情事件的采集、监测、分析、预警、归档具有创新意义,有利于媒体及时、客观、理性地看待舆论走势,进而把握相关报道的时、度、效,为有效开展舆论引导提供助力。当下,如何发挥人工智能的头雁效应,提高新闻舆论传播力、引导力、影响力、公信力,应成为新闻传播学界、业界努力回应的时代议题。
2.完善政策法规,打造规范化媒介空间
从刷脸支付到机器人写稿再到无人驾驶,人工智能已广泛应用于社会生活的很多方面。然而,技术的发展是一把双刃剑。以新闻传播领域为例,尽管以人工智能为代表的新技术使信息传播与互动更加便捷,但也极易造成舆论“去中心化”,使媒介治理遭遇挑战。在新兴技术加快发展的大背景下,必须完善制度与法律,重视基于人工智能的媒介治理,为技术创新及其媒介应用“画方圆”。
将伦理意识与责任关怀注入技术洪流。人工智能不仅加速了新闻媒体的智能化发展,也对新闻伦理、媒介素养等提出了挑战。在2018年机器人与人工智能大会上,工信部赛迪研究院发布的《人工智能创新发展道德伦理宣言》明确指出,无论人工智能的自主意识能力进化到何种阶段,都不能改变其由人类创造的事实。换句话说,人类是科技的主导,人工智能理应体现人类对于社会的应有之责。在新闻传播领域,新闻工作者既要勇于进行技术创新,又要避免技术迷信,既要激发人工智能对信息传播的创新动力,又要对新技术进行伦理研究与责任反思,为技术支撑下的新闻传播注入人性关怀,实现“善智”与“善治”相辅相成。
使制度规范、法律建设匹配技术发展。人工智能改变了传统意义的传播范式,使传播由时空偏向转为兴趣偏向;大数据条件下,人们得以保护隐私的独立空间被压缩……凡此种种,都呼吁切实有效的规范和制约。2017年国务院发布的《新一代人工智能发展规划》提出,要在人工智能领域初步建立伦理规范和政策法规。具体到新闻传播行业,怎样规范新闻媒体对于人工智能的研发与应用,如何对人工智能参与下的信息传播进行过程监管,能否规避人工智能所引发的数据安全和个人隐私等问题,将成为未来制度建设与法规制定的关切要点。总之,面对新的技术生产力,既需要改革的勇气打破既有规则对人工智能科技和产业的束缚与限制,又需要未雨绸缪,建立科学、全面的信息传播制度规范与监管体系,使法律、规章与技术发展同步,防范负面影响、化解风险危机。
3.鼓励传播创新,推动新技术深度应用
随着大数据、算法推荐、语音语义识别等技术的不断成熟,与人工智能相关的科技成果已经为百姓所熟知――智能交互机器人亮相两会报道,“人工智能主播”成为各大媒体融合创新的典型案例。在新闻媒体的实际工作中,人工智能对新闻传播的影响已经涉及采访、写作、编辑、评论、分发、反馈等各个环节,成为媒体融合向纵深发展的重要驱动。
面对新技术所带来的机遇和挑战,如何善用技术、用好技术,发挥人工智能的特色优势,助力新闻策划、盘活内容生产、拓展传播渠道、增强用户体验,更好地服务于党的新闻舆论工作,是新闻媒体面临的重要议题。
在宏观层面,媒介组织要把握好外在环境与内在动力的关系,既要思考如何在人工智能的加权之下,铺就传统报纸、广电的跨界融合之路,为建设新型主流媒体做好准备,又要基于新的媒介环境,对媒体自身的内在功力有所认知,充分发挥主流媒体的阵地优势、资源优势,提升编辑记者运用“十八般武艺”开展新闻报道、进行深度分析与价值判断的能力,开启新闻传播事业新篇章。
在微观层面,新闻工作要应时而变、顺势而为,推动新技术的深度应用,通过人工智能提高报道效率、提升内容质量,彰显新闻传播的科技魅力。在人工智能的各项应用中,数据挖掘便于更快捷、更广泛、更全面地搜集新闻线索;语音识别和语音转换文本让记者拥有了新的科技助手;借助自然语言生成和处理,机器人写稿成为现实;基于实时音视频与人工智能真人形象合成领域的技术研发,AI主播亮相荧屏;算法推荐技术更是改变了传统意义上“我播你看”的传受关系,得以综合考量信息特征、用户特征、环境特征,定制个性化的内容推荐,让用户成为更加主动的信息接收者。
可见,人工智能的发展为新闻传播提供了新的技术解决范式,解放和发展了新闻生产力。新闻媒体应该抓住技术机遇,做好顶层设计、练好应对智能化传播的内功,在人工智能的支持下,让新闻报道更快、更活、更新、更优、更加深入人心,为唱响主旋律、传播正能量提供更大助力。
4.面向未来发展,培养全媒型新闻人才
习近平总书记指出,媒体竞争关键是人才竞争,媒体优势核心是人才优势。人工智能时代不仅改变了媒体行业发展格局,也重新定义了新闻传播教育。当下,培养坚持正确舆论导向、善用多终端、立足多平台的全媒型卓越新闻传播人才,是对内做好舆论引导、对外讲好中国故事的重要保障。
教学要紧跟前沿、求新求变。通过打造线上线下融会贯通的新闻传播专业课程、开展虚拟仿真实验教学、建设融媒体实践平台等举措,将新的理论和现象、新的内容和方法植入教学、融入培养,主动适应技术变革新趋势。2019年11月,科技部决定批准建设4个国家级实验室,中国传媒大学“媒体融合与传播国家重点实验室”位列其中。这一重要举措,从战略高度为基于新技术的教学科研构筑了良好平台,为培养适应未来传播趋势的行家里手奠定了基础。
人才培养要强基固本、不忘初心。在新闻传播教育中,学习新技术、拥抱新媒体并不意味着舍旧迎新――人才培养的经验要保持,学科建设的成就要巩固,优秀的理念、路径和方法,将是我们面向未来的基础、底蕴和财富。无论报纸、广电还是各类新媒体,优质的内容都来自于正确的立场、扎实的采访、生动的写作、流畅的编辑,以及有立场、见深度的评论。坚持正确方向、练好扎实功底,始终是新闻传播教育的重中之重。新闻院校要将立德树人根本任务与脚力、眼力、脑力、笔力的基本功锤炼以及对新技术的学习、理解、运用有机结合,做到思想教育、专业教育与新媒体技能的学习与精进同向同行。尤其是在足不出户、轻点鼠标就能知晓天下大事的信息时代,更要培养学生“有调查才有发言权”的新闻意识,鼓励他们深入基层、扎实调研,善于运用技术优势,弘扬社会主义核心价值观、传播社会正能量。在人工智能时代,立足国家战略、紧跟技术脚步,培育一支有立场、有思想、有能力、有作为的融合传播生力军,是新闻院校的职责与使命,也是面对未来传播的必然选择。
步入新时代,以人工智能为代表的新技术引领了新闻传播领域的深刻变革。面对日新月异的媒介发展,主流媒体、新闻院校应携手共进,基于国家战略、鼓励技术创新,通过完善政策法规、培养人才队伍,使人工智能为新闻传播行业发展提供不竭动力,让新理念、新方法服务于党和国家的新闻舆论工作,打造信息传播新生态、构筑媒体融合发展新格局。
(作者:北京市习近平新时代中国特色社会主义思想研究中心,执笔:秦瑜明、赵希婧、桂笑冬)
(责编:赵光霞、宋心蕊)分享让更多人看到
人工智能时代,传媒行业未来发展趋势如何
3、行业巨头愈发重视关键核心技术的研发。
科技公司技术研发将致力于专用芯片、算法平台和垂直数据为重点的人工智能生态体系,提供更优质的服务;通过多种技术路径,推动人工智能质的飞越。主流媒体通过自主研发和外部合作,为解决采编审发、版权保护、盈利模式等痛点提供有效路径。
4、主流媒体集团与头部科技公司越来越强大。
随着技术在新闻传播实践中的作用增大,媒介组织形态将出现新的分化、组合。主流媒体集团和头部科技公司具备更强的资源吸附能力,在传媒业中起到技术引领作用。一部分媒体机构逐渐边缘化甚至消亡,一部分媒体机构转入长尾市场和垂直领域。
5、人机深度融合成为提升新闻工作者“四力”的未来常态。
人工智能将更深入全面地介入媒体信息采集、内容生产、分发反馈等各个环节,辅助新闻工作者延伸“脚力”、提升“眼力”、增强“脑力”、创新“笔力”。人工智能应用模式将从组织层面和项目层面走向个体化、常态化,科技赋能+人文赋能成为人机融合的新基点。
6、媒体专业界限更加宽泛。
新兴媒体业态使得记者和编辑的角色边界更加宽泛,算法和用户在传播体系中权重越来越大。专业人才和普通用户的媒介素养将深度重构,传统以文科专业为主的体系将持续调整,跨专业、复合型特征更为凸显。
7、智媒体将提供更有温度的产品服务。
媒体将能够更好地感知受众的情绪变化,推送更贴近用户心境的新闻信息产品,同时更准确地研判大众对于社会热点事件的情绪反应和舆论走向。
8、音视频生产消费将迎来全方位升级。
人工智能技术的发展将进一步提升音视频内容的生产效率、拓展创新创意的空间,基于不同场景的音视频内容消费将呈现爆发式增长,语音交互技术带来人机交互界面的重塑,帮助媒体开拓新的流量入口。
9、传媒业版权保护的意识与能力将不断增强。
人工智能等前沿技术将进一步助力解决版权保护问题,提供内容变现、盈利模式创新的智能化技术支撑,将催生传媒版权领域的新规则与新生态。
在人工智能技术的推动下,不仅重塑了新闻生产的整个业务流程,还改变了传媒产业价值链上的各个环节,催生出新的媒体业态。在未来,相信人工智能技术与新闻媒体结合将具有更广泛的应用领域和想象空间,让我们一起期待吧。返回搜狐,查看更多
媒体人工智能发展的未来
人工智能技术在媒体中的应用发展不均衡
各级媒体在对人工智能技术的应用上有较大差异;同级的媒体间,依其企业规模、资金情况等,差异也较为巨大,呈现出发展的不均衡。
许多大型媒体集团依托资源优势,在新技术的使用上表现积极,紧跟最新技术,努力将技术与内容相结合,打造新产品;在引进技术之外,还积极进行自主研发,多方与人工智能技术公司开展合作。在资金方面,媒体集团的收入较为多元,渠道丰富,资金也较为雄厚。同时,为了适应科技化的发展,进行公司制度的改革,将原有的事业单位管理模式改变为企业化运营方式,引入了更多懂人工智能的技术人才。
而许多中小媒体、市县级媒体在运用人工智能技术时则面临着巨大的资金压力、体制问题、人才技术问题等一系列难题,经营出现了严重的滑坡,机构虽然存在但在当地的功能和作用已几近丧失,处于一个可有可无的边缘状态,难以引进先进技术以谋求自身更高层次的发展。
缺乏产业中介造成产业链的不完整
媒体人工智能作为一个产业,其完整的需求链应当是“技术企业服务媒体—媒体服务受众——受众反馈媒体——媒体提出技术需求”。媒体行业对于人工智能技术的需求,是基于受众的反馈,利用技术创新内容形式、提高生产效率、获得传播力影响力,最终为其经营助力。技术企业在投资开发技术时最终也是基于受众的需求。
媒体人工智能产业中,媒体与受众之间有许多中介机构、咨询公司在进行其影响力、传播力测评,媒体能够知道其目前受众的需求方向,并及时做出调整,但在技术企业与媒体之间却缺乏有效沟通的桥梁中介。大部分技术企业与媒体的合作处于分散状态,对于整个媒体行业的需求点获知十分零散,没有中介桥梁对媒体的需求做出梳理总结。
头部企业的许多尖端技术开发多为实验性开发,并不能直接应用于基础性市场中。许多技术企业在开发技术前没有能力做广泛的市场调研,技术开发以头部企业为导向,导致其开发的技术与真正广大的市场脱节。如果有中介作为市场和技术的桥梁则可以避免这样的问题。
2
对策
完善媒体人工智能发展机制,培养健全的媒体人工智能生态
一方面,管理部门应当出台更多扶持人工智能发展的政策,目前人工智能相关政策更多地停留在战略层面,而没有落实到具体发展中,应当对人工智能技术在各个垂直领域的发展做出更为具体细致的指导规定;另一方面,管理部门需要继续对媒体人工智能领域的发展进行资金支持,其间可利用申请条件的偏向性对广大媒体和技术企业做出潜移默化的引导,培育目前较为边缘的基础性人工智能技术市场。
推进技术融合,促进人工智能技术与媒体应用场景深入对接
明确媒体人工智能技术发展方向,优化产业格局
头部企业要起到良好的带动作用,对媒体人工智能技术的开发应用给予更多深度关注,在技术开发上注重均衡,有意识地培养市场,而不能仅仅是追逐市场。对技术发展比较初级的、针对中小媒体的基础性领域应加大力度,开发出众多中长尾内容平台适用的人工智能技术,提升中小媒体的核心竞争力,助力其摆脱生存困境,平衡产业发展,优化产业格局。另外,应当避免产业中的不良竞争,给予其一定的生存空间,并鼓励中小企业创新发展、做大做强。
建立中介机构完善产业链,驱散技术企业与媒体市场间的迷雾
目前,媒体人工智能领域产业链中缺乏沟通技术企业和媒体的中介桥梁,应当引导建立相关行业协会、组织联盟,形成一个良性沟通平台,适时举办媒体人工智能发展相关论坛,对发展中的问题进行总结探讨。在市场中,引导资金流向中介桥梁领域,创立咨询机构,对媒体人工智能的市场反馈进行及时梳理总结,给予有需要的技术企业发展方向上的意见建议;建立培训企业,对媒体从业人员进行人工智能素质培训。
(作者系北京大学新媒体研究院副教授,北京大学互联网发展研究中心主任)返回搜狐,查看更多
人工智能带给各行业的冲击和机遇
随着科技的发展和社会的进步,高新技术正在慢慢地改变人类的生活方式,在这些巨大变化的背后是无数科研人员辛勤努力的结果。下面结合人工智能领域的文本理解研究方向,介绍人工智能领域近些年的发展和带给各行各业的变化。
人工智能技术指的是获取某一领域的海量信息,并利用这些信息对具体案例做出判断,以达成某一特定目标的技术。这些技术在给定任务中所展现出的工作能力已经被证明可以完全超越人类的表现。例如目前的信贷风险评估已经逐渐从人为评估转变为自动化评估,如何做到的呢?金融机构利用大量的历史借贷记录以及分析后的借贷的结果作为训练集,让计算机学习并理解如何评估是否实施借贷,也就是学习一系列的规则。当计算机学习完毕后,我们再给计算机一些新数据时,计算机就会利用原有的规则分析这个机构或者人的借贷条件,最后判断是否给予借贷。从而解放了人为的繁复工作,仅仅依靠计算机就能轻松解决。再例如,传统的客服行业都是雇佣大量的人员接线,成本巨大,目前随着人工智能的迅猛发展,已有很多公司如微软、百度、阿里率先实现了智能客服服务,用户输入问题后,计算机先理解问题然后在答案库里匹配答案,将结果反馈给用户。
今天,这样的人工智能技术正在被广泛应用于各个领域。随着它的进一步发展,会不可避免地对就业造成冲击。很多岗位和职业会逐步消失,如银行出纳员、客户服务代表、电话销售员、股票和债券交易员等;甚至律师助理和放射科医生这样的工作也会被这类软件所取代。假以时日,人工智能技术还会学会控制如无人驾驶汽车和机器人这类半自主或全自主硬件设施,逐步取代工厂工人、建筑工人、司机、快递及许多其他职业。人工智能技术所带来的冲击并非单纯指向
某些特定岗位和职业,如传统制造业中的手工艺者被流水线工人所取代;或只会使用纸张和打字机的秘书被精通电脑的个人助理所替代等;人工智能所带来的是对现有职业和工作版图大规模地颠覆。简而言之,就是大量重复性肌肉劳动将会被人工智能取代,并且一些高难度的具有一定危险性的工作也会被人工智能取代,例如目前研制出的手术机器人可以为艾滋病患者、乙肝患者等具有传染性疾病的病人手术,从而降低了医护人员的危险性。
但随着人工智能的发展,除去传统行业被高新技术取代,创新型工作也面临着巨大的危机。音乐领域,索尼巴黎计算机科学实验室研究人员盖坦•哈杰里斯(GaetanHadjeres)与弗朗索瓦•帕切特(FrancoisPachet)编写的“DeepBach”(深度巴赫)的神经网络,通过学习352部巴赫的作品之后几乎可以能创造出以假乱真的巴赫曲目;编剧领域,一个人工智能程序名为“Benjamin”,通过学习大量剧本后,创造出一个9分钟短片。“Benjamin”目前没法做到像人类写的剧本那样逻辑通顺,刚出来的稿子有很多让人啼笑皆非的地方,不过整体而言,人工智能创作的具备还是很有意义。同时,让人惊讶的是,Benjamin根据剧本的情节,创作了相应的背景音乐;在围棋领域,谷歌创造的阿尔法狗横扫李世石等顶级高手,颠覆了人类对于围棋中“棋谱”的认识,打击了棋类的最后堡垒。
以此看来,人工智能显然是有能力和潜力取代人类现有的各类工作的,梁建章先生说的30年,显然是非常保守的判断。
随着一些行业的被取代,同样会出现一些“新兴”的行业,如已被行业认可的“自然语言处理”、“语音识别工程师”等,还有业内人都没意识到的职位,比如人工智能/机器人产品经理;脑洞再大一点,未来可能会有“机器人道德/暴力评估师”等职位。那么在人工智能时代,社会亟需的是哪些人才呢?
1.专才+创造力。
无论是上述三类需求来源的哪一种,浮于行业表面的人,都会被AI替代。只有具备深度的专业能力和创造力,才能有立足之地。
2.如果做人工智能行业,还需要极强的多领域理解力+沟通合作能力。
如服务机器人行业,会是人工智能+互联网+机器人硬件等多领域的交集,同时能懂这三方面的人是可遇不可求的。实际工作中,一定会需要和其他背景的牛人共同协作,这时,一方面,需要多领域的知识储备,另一方面,沟通合作能力尤其重要。
综上所述,我们需要不断学习,积累更多技能,不断适应社会对于职业的需求,才能让自己立于不败之地。
将人工智能融入多媒体 助力视频产业加速——阿里云视频AI全能力解读
写在前面近期,阿里视频云推出了智能视频解决方案,依托阿里云强大的计算能力和多媒体人工智能技术,可以提高视频审核、处理的效率,助力视频产业加速。
行业背景根据行业报告显示,2017上半年中国在线视频行业用户规模已经接近6亿,而2017年在线视频市场规模已经达到了503.3亿元,视频行业进入了用户规模稳中有升、市场规模快速扩大的阶段。其中直播、短视频等视频形态的崛起和大范围的行业交叉分布也带动了PGC、UGC的内容发展,海量的视频等多媒体数据随之产生。
市场的繁荣也促进了技术进步,视频云市场风起云涌,大量厂商加入角逐大军,提供从一站式音视频云服务到垂直细分技术服务等各类解决方案。平台方也希望通过推陈出新的技术来重塑视频的观看体验,从而沉淀更多用户。这其中VR、AR、AI技术也走进视频,开始为整个行业带来创新。尤其是行业关注度非常高的人工智能技术,它是可以基于云计算和人工智能模块来对海量视频数据进行分析、研究和处理。那么人工智能技术可以在视频领域应用于哪些场景呢?
需求场景视频智能审核需求网络发展也带来了内容的肆意泛滥,淫秽色情、暴恐、恐怖等不良视频影响了和谐的网络氛围,也给平台方带来了很多隐患。从2014年快播被关停至今,多家在线视频、直播、短视频平台都受到了处罚、整改、关停等监管措施。稍有不慎,平台方就会置身于违规违法的边缘。随着UGC短视频的爆发,传统的人工审核方式效率低下,很难满足快速、准确的审核海量的视频内容的需求,利用AI技术来提升视频数据的审核效率与精准度是一个新的方向。
视频内容理解需求海量的视频源源不断的产生,如何将视频推给最合适的人群是一个巨大的挑战。在大多数情况下,为了方便用户的选择和观看,在线视频网站的视频是需要分类管理的,有的短视频APP还可以按照用户的喜好标签来推送指定的小视频,以提高视频点击率,优化用户体验,这一切都需要对视频数据进行最初的理解和判断。除此之外,在视频监控场景中,安防管控、人流监控等动作都是以视频理解技术为支撑的。
视频智能编辑需求在我们浏览直播APP的时候,经常会被漂亮的封面图所吸引,从而进入直播间。有研究称最受用户喜欢的视频长度在2.1分钟左右,那么如何从2分钟的视频内选取最精华的缩影作为首图,是非常重要的提升用户点击率的手段。通常,平台方会通过编辑操作或提示用户选择一张效果最好的截图作为封面,但是这个办法效果并不理想。而且在广电新闻行业,也经常会出现需要将大段新闻拆成单条短新闻的业务场景,人工操作效率和准确率并不理想。利用AI技术,对视频进行编辑,就可以解决这个问题。
视频版权保护需求网络盗版一直都是在线视频行业的一颗毒瘤,不仅影响了版权方的利益,也不利于行业健康的发展。在线教育、金融财经分析、版权剧等平台方都知道,如何对视频排重、相似度判断、盗版鉴定和防止侵权是非常重要的。目前PGC短视频盛行,那平台方对这些视频进行内容保护,可以鼓励原创性,推动视频内容的蓬勃发展。视频AI技术可以抓取视频数据进行鉴别,防止自有版权内容被侵权。
视频AI大图根据用户的需求场景,阿里云推出了视频AI解决方案。上图是通过基础层、技术层、应用层、业务层四个层面来解读了视频AI解决方案的能力。在最底层,也就是基础层,主要是做算法的准备,保障算法的效率和效果,包括数据、离线训练、在线服务、移动端、高性能计算等等;第二层是技术层,这一层是算法的技术实现,分为四类:第一是视频检索,可以实现视频指纹、时序表征、视频索引。第二是视频理解,可以对视频进行识别、分类、语义分割和目标跟踪。第三是视频编辑,实现结构化分析、内容编解码和内容生成。第四是多模态分析,实现OCR/ASR/Face/Motion和跨媒体理解;第三层是应用层,是在搜索、识别、交互、编辑、监控这五类典型场景中,进行功能的封装;最上层是业务层,在这一层中,我们结合客户的实际业务,进行功能的提供,比如视频内容审核和视频版权保护的功能可以帮助安全业务更准确、高效的开展。
结合人工智能视频理解流程和用户的需求场景,我们将视频AI的功能分成四个大部分,视频智能审核、视频内容理解、视频智能编辑、视频版权保护。其中视频审核功能包括视频鉴黄、暴恐涉政识别、广告二维码识别、无意义直播识别等,利用识别能力将网络上没营养和不健康的视频内容进行排查和处理;视频理解功能包括视频分类、标签,人物识别、语音识别,同时也包括对视频中的文字进行识别(OCR);视频编辑层面可以实现视频首图、视频摘要、视频highlight的生成,同时支持新闻拆条;关于视频版权,支持视频相似性、同源视频检索和音视频指纹等功能。
功能与应用视频智能审核视频智能审核依托阿里集团海量场景数据,具备高效数据流转体系,历经双11保障考验,可以对色情、暴恐、涉政、广告内容、二维码、无意义的视频进行识别,同时能够识别性暗示等未明显露点的色情行为和gif鉴黄,保证审核的高准确度。
功能实现了从产品接入、测试、策略管理、运营监控、到审核打标及模型/规则动态优化的闭环能力支撑。在通用能力满足常用场景的基础上,支持对高级能力的定制,可根据用户管控尺度进行灵活调整和快速迭代。为不同场景(视频/直播/社交/电商)提供视频内容安全审核的整套完整解决方案。
相对于传统的10万张/人/天的人工效率,智能审核可以达到10亿张/天的超高处理效率,同时大大节省了人力,成本得以压缩。
视频内容理解在视频内容理解这个阶段,阿里云提供视觉、语音、文本、运动多模态信息分析技术,全方位理解视频,可以把非结构化的内容进行结构化处理。主要功能体现在以下五个方面。
1.视频分类通过视频多模态特征分析,自动对视频进行类目分类,提高视频分发、管理的效率。
2.语音识别将语音转成文字的服务,能支持中文、普通话、英文的语音识别。可应用于实时会议记录、视频直播实时字幕等场景。
其中一个典型的应用场景是会议内容的实时转写,法庭庭审识别。智能语音识别技术将参会人所说的每一句话实时转写成文字并进行存储,依靠人工智能技术替代了人工记录会议内容,法庭庭审中取代书记员。另一个典型应用场景是视频直播实时字幕,现场演讲、直播场景下,将视频中的音频实时转写成字幕展示。相应速度极快,几乎与直播同步,提升了视听体验。
3.视频标签分析视频中图像、文字、语音、人脸、物体、行为等多模态信息,自动为视频打多维度标签。
这个功能的应用场景包括:视频的个性化推荐和视频检索,基于视频内容,可以实现快速给视频打多维度标签,并在新增热门标签时快速补充,解决新视频标签缺失和新热门标签缺失的问题。
4.人脸识别人脸识别(FacialRecognition)是提供视频帧和图像中人脸分析的服务,包括人脸检测、人脸特征提取、人脸关键点定位、人脸检索等服务。可应用于人脸美化、人脸识别和认证、大规模人脸检索、照片管理等场景。
人脸识别的功能应用场景非常广泛,包括会场、大厦等安防管控中的大规模人脸检索,零售行业通过人流监控分析货品摆放合理性,出勤率统计,照片管理与智能分类,娱乐美颜等等方面。
5.目标检测目标检测(ObjectDetection)是基于深度学习的目标检测技术,准确找出给定视频的视频帧中多目标及位置,并给出每个目标的具体类别。应用场景包括:第一,可以检测并识别特定类目的目标,对特定目标做有趣的交互;第二,可以识别视频中的目标位置及目标分类,为视频提供丰富的分类标签,可用于个性化推荐和视频搜索;第三,在目标检测后,可以对目标进行实时跟踪定位,精确地分割出目标的时域片段,用于智能监控系统、流量控制系统等。举个最实际的例子,在淘宝商家上传视频过程中,可以自动检测商品并跟踪,在前端展示的时候,感兴趣的用户点击锚点可以直接进入商品页。
视频智能编辑视频编辑是为了更好的输出内容,提升用户点击率,优化用户体验。在这个环节,人工智能可以让视频千人千面,结合用户行为和封面图属性,同一个视频向不同用户展示不同的画面。并且支持类目定制,结合行业运营经验,定制不同的封面图生成模型。同时,视频编辑功能具有高精准度,利用多项AI技术,对视频进行全方位理解后,甄别出最优、最高精准度的画面或片段。
1.视频首图通过对视频内容的理解结合画面美学,选出最优的关键帧或关键片段作为视频封面图。
这个功能非常适用于UGC视频封面,用户上传的视频,使用智能生成封面图服务,为海量视频自动生成具有代表性的高质量封面图,提升用户视觉体验,展示在feed流、视频搜索结果页等场景。同时,在长视频场景中,通过智能生成封面图服务,截取精彩片段作为视频看点,利用动态展示方式吸引用户并快速展示精彩内容。
2.视频摘要视频摘要服务(VideoSummaryService)根据视频内容智能提取最能代表视频的截图组成GIF,作为视频的摘要概括。应用场景同视频首图。
3.视频Highlight视频摘要服务(VideoSummaryService)根据视频内容智能提取最能代表视频的5s视频,作为视频的highlight。应用场景同视频首图。
4.新闻拆条将新闻节目以单条新闻为单元自动化分割的服务,有助于后期对单条新闻的播放推送和加工处理,为新闻推送生产素材,并且可以灵活对某个或某类新闻做后期加工处理。
视频版权保护阿里云人工智能通过长时间调研选型验证,如今已能够识别多种视频抄袭手段,保证视频查重结果的精准性。同时支持多分辨率多视频格式,亿级视频查重及相似度实时结果返回、视频入库、删除等操作。可用于如广告分成等多种业务场景。
1.视频指纹视频指纹是一种软件识别、提取、压缩视频技术,可以产生唯一“指纹”代表视频文件进行视频查找。在视频查重场景中,视频通过视频指纹在样本库中比对,召回相同/相似视频,进行入库、排序控制。
同时,视频指纹可对自有版权的视频资源,从公网抓取视频数据鉴别,防止自有版权内容被侵权,保护版权视频安全,并对原创视频、剪辑视频、自媒体再造视频进行识别,检索成分库召回认领视频,支撑广告分成业务生态。
2.相似性计算相似性技术可以生成给定视频的定长特征,计算视频之间相似度。可应用于基于视频内容推荐相关视频,个性化视频等场景,提高视频点击转化,也可以用于视频去重业务场景。
3.跨媒体检索支持对文本、语音、图像、视频等不同多媒体种类进行内容统一特征检索。
效果展示及使用我们在线上的视频AI产品专题页和【视网膜】页面中,可以看到阿里云视频AI的能力体现。
以线上已经有的示例视频为例,用户可以对人物识别、视频分类、标签识别、语音识别、文字识别(OCR)、视频审核、智能封面等功能进行体验。
下图是智能封面功能,人工智能为视频选择了最能代表视频内容的一帧图片。
下图是语音识别功能将功守道电影中的精彩片段里的音频别出来。
在视网膜系统中,我们看到一段热播剧猎场的视频片段,示例视频中的明星人物被完整无误的识别出来,同时,该人物在视频中出现的位置也被标记出来,点击标记点,即可直接跳转到人物的片段,这就是人物识别功能。
整个视频被分解出无数标签,点击某个标签,直接跳转到对应的画面,这是视频标签。
云栖大会的视频中,除了嘉宾演讲的语音被实时识别和显示,视频中的字幕、现场PPT等文字信息都也被识别出来,也就是OCR。
目前,阿里云视频AI已经开放,点击登录视网膜:https://retina.aliyun.com
加入阿里云视频云AI-业务咨询群,申请试用