jaychen

2018-09-21 10:56

RTC2018互联网大会参会总结

本文作者:IMWeb jaychen 原文出处:IMWeb社区 未经同意,禁止转载

一,行业趋势

今年在RTC界影响较为重大的事件:

  • WebRTC 1.0 Feature Complete
    WebRTC项目从2011年至今,经历了7年的时间。从最初项目的开源到标准的逐步完善,到各大浏览器厂商到支持,到今年所有的功能特性敲定,标准的最终定稿,标志这WebRTC项目迈向成熟,且将迎来更大的一波爆发。
    • AV1定稿
      AV1编码标准是AOM联盟发布的首个Codec。AOM联盟在今年3月份,宣布AV1完成最终定稿,并且苹果也宣传加入AOM联盟,将支持AV1。有了苹果的支持,AV1有望成为下一代一统江湖的编码规范。
    • AI与深度学习在RTC技术的深度结合
      除了标准相关,随着人工智能的发展,实时音视频领域跟人工智能结合也给行业带来了更多的创新机会(基于机器学习的编码,带宽实时估计,实时图像识别等。
    • 5G商用时间表落地
      今年,各国5G商用时间表落地,将催生更多的RTC场景。

除了以上关键事件,今年随着RTC技术的发展,RTC技术在教育/医疗/游戏行业/政府民生有了更多的应用的场景,实时音视频技术的结合也将有一轮新的浪潮。

  • 教育行业
    随着实时音视频技术的普及,在线教育的互动能力,在线教育的教学模式也迎来了新一轮的创新突破,比如举手连麦,1v1,双师模式,小班课,学生表情分析等。另外,更多垂直领域相关的教育服务场景,如互动英语教学,实时乐器/声乐教学,都需要低延迟的RTC服务。
    • 游戏行业
      基于实时视频游戏互动的游戏场景,如狼人杀,棋牌游戏等。将之前的陌生人纯对战游戏方式,变成基于熟人之间的音视频社交游戏体验。在线娃娃机也是今年比较火爆的一个游戏与RTC结合的场景。另外在VR/AR方面,也有一些结合RTC技术的游戏体验尝试。
    • 其他
      重庆上线120急救服务,用于在救护车到达前通过实时音视频技术,让专业医生指导患者紧急诊断处理,避免错过最佳的治疗抢救时间或者因为误操作造成2次伤害。其他的场景,比如实时警务,证券开户,在线答题等,都是今年在RTC行业上爆发的新应用场景。

二,议题

大会分为2天,第一天上午主会场主要是声网对行业趋势讲解,下午分为机器学习与实时技术专场,实时互动架构设计专场,编解码技术专场。9月8号上午则为国际峰会,主要邀请了WebRTC规范作者以及WebRTC产品经理还有其他音视频领域外籍专家讲解一些标准以及新方向。下午为大前端实时技术专场,实时网络与质量专场,社交游戏专场。

1,编解码技术专场
主要讲解了一些较为前沿的编码技术方向 ,比如:
声网的面向实时通讯的高质量视频编码优化的方案的介绍,大概的优化策略为:   

  • 编码前:基于机器学习的带宽估计;帧率,分辨率自适应;图片内容检测及ROI编码。   
  • 编码中:码率控制算法优化;软硬件动态切换编码;视频质量主观评分系统;

另外一个专题介绍了,声网耗费2年时间自研音频解码器solox - 兼容 WebRTC 标准的抗丢包语音编码器
主要分享了声网研发的一个solox的音频编码器方案,并且兼容WebRTC标准,在抗性这块优于opus。其思路大概为将原本32k码率的音频,编码阶段拆分成2组16k码率 流,并且他们是分组频互补关系。这样当用户接收时,网络不好,丢了一组码率,也能正常用一组低码率流播放,网络好时,则2路一起处理,音质效果更佳。

2,海外专场
本次国际峰会邀请了2位谷歌WebRTC方向相关工作者来给我们分享。
Daniel Burnett作为W3C WebRTC规范编写者之一,分享了WebRTC继1.0定稿后,下一个版本的增强的一些特性方向 - What is next for the WebRTC standard?,主要内容:

  • 身份验证与同播:
    只有指定的对端才能解密捕获后加密的媒体流;同一时间同时接收以及发送多分辨率视频流。
  • 可伸缩编码(H265/AV1):
    视频可以在时间以及空间纬度压缩。时间纬度:发送低帧率视频,并插入高帧率视频流;空间纬度:发送低分辨率帧,插入额外高分辨率帧。根据实时带宽,接收低/高的帧率或者分辨率的流。
  • 后台运行
    WebRTC运行时,不依赖浏览器窗口打开。
  • javascript更多能力
    对于前端开发人员来说,之前WebRTC提供给浏览器接口的能力比较受限,很多底层逻辑(解包,解码)都无法在javascript层面去干预。下一版本将着重提高javascript在WebRTC中的操作能力,比如:可以处理getUserMedia获取到的媒体流;替换编解码器,设置编解码器参数等。

另外一个谷歌的WebRTC产品经理Huib Kleinhout概述了WebRTC涵盖的许多组件、标准和技术挑战,以及它如何改变了通信行业 - WebRTC 1.0 and beyond。 从该分享中可以提炼几个点:

  • WebRTC的使用用户越来越多,其中近2年中国增速较快;
  • SDP的标准将从Chrome72默认采用Unified Plan;
  • 目前除Chrome外,其他浏览器的WebRTC都落后几个版本;
  • WebRTC在各个浏览器版本中的测试情况,以及谷歌专门设计都一套测试工具介绍;
  • 谷歌在解决的一些issue情况。比如,mac上面声音获取异常等;
  • WebRTC跟其他技术结合,能做一些更有趣的场景(WebGL,AI,屏幕捕获,Canva,PWA)

3,实时架构设计专场
其中来自vipkid的技术副总裁张燕静做了一个《技术创新改变教育未来》的分享。他们是一个让美国外教教中国小朋友学英语的业务,主要也是依靠RTC实时音视频技术来做技术支撑。分享了他们业务的一些数据跟技术上面的架构。
数据

  • 1000万+的老师客户端,1.5亿学生客户端
  • 6万北美外教,50万付费学生(这里的数据个人感觉跟上面的客户端占比不大符合),分布63个国家地区

技术架构

  • 跨全球的第延迟通讯网络,网络节点遍布16个国家,55个城市
  • 全球9个计算中心,100台gpu集群
  • 基于机器学习的学生表情识别,语音评测,智能客服

业务

  • 根据学生性格分配老师,根据老师的能力图谱分配特定年级的老师,以及根据学生学习能力分配特定教材,根据错题定制化强化教学服务
  • 课前通过趣味性交互,提前预热,让学生更早进入状态
  • 根据学生行为通过数据化指标去衡量学生的学习情况,针对听说读写弱项做强化,课后发送学习评测报告反馈家长。

其他讲题由于篇幅关系,就不一一展开,后续将会做一个小分享,感兴趣的同学可以参加。

三,总结

本次参加RTC大会,无论从行业视角或者技术内容相关的,都能带来不少收获。特别是很多教育领域的很多公司也应用了WebRTC相关的技术去做,在1 对多直播架构架构,Web上行这块也有很多踩坑经验可以借鉴。还有就是Google Daniel Burnett的WebRTC下一标准特性的介绍,确实给了js开发者很多信心,相信今后前端通过JS在浏览器上面处理音视频的能力以及权限,能力越来越大,这样也能做更多好玩的事情。最后,音视频领域水很深,作为前端来说,太多知识需要继续恶补,不断学习了解,共勉!~

0条评论

    您需要 注册 一个IMWeb账号或者 才能进行评论。