X5-工作人员 器粉新人
版主
2017-06-12 15:14:29 

TBS AR开放平台

 本帖最后由 X5-工作人员 于 2017-06-22 12:05:12 编辑

TBS AR开放平台


 
一、背景介绍
AR/VR发展备受行业关注,前期由于产业链不成熟,内容开发难度大,硬件平台成本高等原因导致普通开发者和用户望洋兴叹。从PokemonGO 以及Facebook AR布局来看,智能手机即是已经普及的AR平台。然而当前Web AR实现仍然具有以下问题
1、性能体验。当前普遍使用JsARToolKit、AWE.js来实现Web AR效果,不过目前主流手机测试跟随和图片识别能力效果不佳,普遍卡顿,体验较差。
2、兼容性。完整的Web AR场景必定离不开WebRTC的支持,但是android的碎片化原因仍然存在大量用户手机无法使用前端调起摄像头。
3、投入成本。如要实现广泛的图片识别能力,开发者要搭建自己的服务器进行图集模型训练,增加了软硬件开发成本。
 
TBS采取的方案是将内部的AR能力开放,使前端可以体验到native同等的AR能力并且可以使用TBS云端图片识别能力。基于TBS 海量用户,国内android手机上微信、手Q、空间等集成TBS的应用可实现统一体验和传播。
 
二、TBS AR能力介绍

1、本地+云端marker图片识别
图片识别是AR应用重要环节,TBS支持本地marker以及云端marker识别能力,开发者调用marker添加接口将marker图片注册到TBS AR引擎之中,AR引擎通过本地训练可以高效识别摄像头捕获的图像帧,性能完全等同naitve识别效果,本地识别支持多达100张图片,并且支持多个marker同时识别。
如果开发者想扩充更多图片识别,可采用TBS的云端识别能力,开发者可以将图片上传至TBS服务后台,终端将扫描图片发送至后台,通过后台神经网络识别,可达到更大量级图片识别。
2、图片泛化识别
TBS不仅支持指定marker图片识别,并且可以支持图片中物体识别,后台神经网络通过网络数亿张图片不断优化训练标记,当前支持车类、花草、酒类和图书的识别,更多类别不断扩充中。开发者调用相应识别接口,终端会将摄像头捕获的清晰画面传至后台进行识别,并将结果返回至终端
3、目标本地跟随
当前开源社区WebAR相关js库虽具备本地跟随能力,但是对手机性能要求较高,当前大部分机型无法顺畅体验。经过测试,在三星S7手机使用JS库实现跟随帧率为5fps左右。TBS AR引擎识别到目标图片之后会将2D位置坐标以及3D空间矩阵信息实时返回至前端,将前端可以有效的体验native跟随能力。使用TBS的本地跟随可达到30fps。
 4、WebRTC、WebGL等性能优化
TBS自带的QQ浏览器X5内核基于Chrommium53开发,针对渲染、内存、动画、JS引擎、网络等方面进行定制优化,特别解决不同机型WebGL以及Webrtc系统兼容性问题,用户可以得到较好的统一体验。
TBS AR系统框架图如下:

5、智能传输优化
为了云端识别率,普遍做法是更多的向后台传输图片,便于后台拥有足够的资源识别,这样会导致用户网络流量消耗问题,并且同时增加后台负载。TBS内部采用运动估计算法+本地特征点检测算法,首先通过运动估计终端处于静止状态捕获视频帧画面,然后进行特征点检测具备足够的纹理识别条件在将图片上传至后台,图片上传策略运营商网络下最多传输3张,基本可以达到识别效果。
流程图如下:


三、开发接入
1、TBS AR 相关接口使用以及示例请查看
http://res.imtt.qq.com/yngwiepang/document/ar/tbsarjsapi.html
2、当前接口处于内测阶段,使用会受到限制,服务开通可发邮件至tbs@tencent.com进行申请
3、相关咨询可发邮件至tbs@tencent.com
 

 
 本主题由 蛋蛋_MVW0SR 于 2017-10-30 17:28:25 解除置顶
2 条回复
NASA_6dOiYA 器粉跑堂
2017-06-13 02:22:18 沙发
该楼层已被删除
日月龙英 器粉跑堂
X5专区管理员
器哥开发GG
2017-06-13 16:50:29 板凳
该楼层已被删除
回复

您需要 登录 后才可以回帖