6 月 20 日,手机 QQ 正式上线「QQ-AR 穿越赛场」活动,打开手机 QQ 扫一扫进入活动,用指尖在摄像头前或屏幕上的指定区域「画圈」,即可开启「AR 任意门」,在现实场景与虚拟赛场之间穿梭,360 度全景观看虚拟赛场。这种玩法应用手机 QQ 和腾讯音视频实验室共同研发的画圈手势 AI 识别跟踪技术、VIO(视觉惯性里程计)、全景视频播放等多项黑科技,在技术解决方案、功能体验两个方面均实现了世界首创。
画圈召唤「任意门」QQ-AR 穿越球赛现场
拥有「世界第一运动」美誉的足球,一直以来都是深受年轻人喜爱的热门运动。QQ 选择将足球运动与 AR 黑科技结合,并通过「穿越赛场」、「360 度全景体验」以及虚拟互动的打造,再一次刷新了用户对于 AR 玩法的体验。
据了解,触发「QQ-AR 穿越赛场」玩法需要通过一个核心手势——「画圈」,这是基于手机 QQ 与腾讯音视频实验室联合推出的「手势 AI 识别跟踪」技术支持实现的。打开最新版本手机 QQ 扫一扫,点击「QQ-AR 穿越赛场」图标进入玩法界面,根据手机屏幕提示,伸出手指在后置摄像头前或手机屏幕上的指定区域,完成「画圈」动作即可开启「任意门」。
透过「任意门」,隐约可以看到绿茵球场、红衣队员、现场观众,手持手机向前走就能在现实场景与虚拟赛场来回穿梭。「迈过」任意门进入虚拟世界后,还能调整手机摄像头 360 度全景观看,很真实具有代入感。
以「QQ 全明星队员」身份进入虚拟赛场后,点击「加入球赛」还可以参与趣味互动:在一段激烈比赛后,你的一个任意球罚球将决定最终胜负…互动之后还会生成关于此次球赛的魔法报快讯以及精彩进球视频,可以分享给好友或者保存本地。
玩法、技术双首创 QQ 任意门「圈住」年轻人
近年来,随着 AR 技术识别文字、图像、手势等能力的不断增强,各种新的内容、玩法层出不穷。「QQ-AR 穿越赛场」玩法将手势 AI 识别跟踪技术、VIO(视觉惯性里程计) 技术以及全景视频播放 AR 技术等多项黑科技结合,带来跨越现实和虚拟世界的 AR 体验,实现了技术上的世界首创。
具体来说,「QQ-AR 穿越赛场」玩法基于手机 QQ 和腾讯音视频实验室联合推出的、业内首次「手势 AI 识别跟踪」技术实现:当用户手指在摄像头前挥动时, 通过在终端运行级联神经网络计算,获取用户指尖的位置信息,得到指尖的运动轨迹,并记录和拟合判断是否画圈成功。判断画圈成功后,再采用三维重建定位跟踪技术,将虚拟的魔法门增强显示到现实场景中,让用户可以稳定、准确的在真实世界和虚拟世界来回穿梭。
音视频实验室的手势 AI 识别跟踪技术在模型设计与前馈计算两个层面对体验进行优化。模型层面,通过蒸馏、剪枝等多种方法优化网络模型,在最大限度保证高精度的前提下降低模型复杂度,在性能、准确率和误识别之间取得了一个较好的平衡;在前馈计算层面, 通过在 CPU 指令级别优化终端前馈计算性能,最终结合模型,实现了具有良好精度, 实时的性能表现以及最大程度设备兼容性的指尖运动轨迹追踪。
不仅在技术上进行了创新突破,「QQ-AR 穿越赛场」玩法在创意玩法上将多项黑科技与体育运动结合创造「穿越赛场」的效果,将热爱运动的年轻用户从体育赛事的旁观者转变为赛场的参与者,也尚属世界首例。
作为国内重要的年轻人社交平台,QQ 拥有超过六成的年轻用户,他们追求个性、科技的玩法体验。因此,QQ 运用平台、科技优势,首次把多项黑科技与体育运动结合,打造「任意门」穿越、趣味互动等体验,符合他们对于 AR 体验科技、炫酷的期待,以及将黑科技融入日常生活的需求。一方面,QQ 的 AR 任意门能够「圈住」求新的年轻人;另一方面,年轻人乐于分享的特点,也让「AR 任意门」这一玩法通过社交关系链,迅速拓展到更多的领域和群体,反哺整个 AR 行业的发展。