正文
画面去噪:
基于无监督去噪声算法,摆脱了有监督神经网络训练对于成对的噪声与干净图像的依赖;设计了可交互控制参数,支持用户调节,增加了系统灵活性。
画质增强:
通过深度残差神经网络,将内容特征提取与重建,不仅可以优化画质饱和度、还原压缩视频导致的失真,还能对 ROI 区域进行区域增强和码率分配优化。
高帧率重制:
依靠 MEMC 高帧率提升技术能力,通过对运动方向预判,据此进行插帧,提升画面流畅度与观屏舒适度。
超高清编码:
采用 CPU+GPU+ASIC 的异构加速计算框架,支持国产昆仑 K200 AI 加速卡,提升 AI 推理效率和超高清编码效率,降低用户成本,提升总体的生成效率。
实时音视频通讯:
依靠核心自研的多个算法,实现通讯顺畅的超低延时互动体验,并分为如下几个方面:
-
抗弱网支持方面:
基于上/下行链路智能探测器,根据上下行网络链路恶化程度因子,调整 FEC、NACK、码控、超清权重,选择因子进行抗弱网抖动算法,使视频抗弱网可达到60%,音频80%。
-
AI 能力方面:
通过百度多年的 AI 技术积累,支持实时美颜、滤镜、贴纸、AR 特效,更多娱乐场景玩法,并提供人脸识别、语音识别等能力,适用于用于身份核验、学生状态监测等更多场景。
-
高质量音视频通话方面:
通过大量音视频场景数据 AI 模型训练,对音频进行 3A 优化的同时,并能通过智感超清支撑超高清画质,自动适配多分辨率,实现高质量音视频消息聊天。
-
性能指标方面:
为针对通信节点路由的选择,优化混沌神经网络算法规划最短路径、实现动态平衡路由选择,可使端到端延时稳定收敛到 200ms 左右,并在单个节点故障时,能自动重建路由,保障 server 的可用性。依靠 WHIP 协议转换装置解决了传统 RTC 通信 server 由于信令交互复杂、房间管理业务量大、数据库操作频繁等影响性能及大规模搞并发问题,可支撑每个房间在线人数达百万级别。
-
端到端性能监控方面:
通过各端大量数据收集,依托百度智能云大数据分析,能精准的定位问题,对潜在的不可靠服务提前预警,让潜在风险在萌芽状态被解决,保障音视频实时通信服务的高可用。
实时音视频通讯
低延时直播:
采用了全链路 SRT 协议,可稳定支撑千万级直播并发。关键特性包括:
-
卓越抗弱网:
自研 mpegts 数据格式封装、支持 SRT 协议推拉流,将网络丢包的可能性降到最低,有效改善弱网环境下的推流及观看体验。
-
首屏秒开:
CDN 边缘先将编码参数信息发给播放器,播放器解析到编码信息,待下个关键帧到达后即可快速播放。
-
协议兼容:
实现多种视频流协议的输入与输出, 基于 SRT 低延迟直播协议的上下行,能无缝接入 LSS 低延迟直播系统,与主流直播分发协议 HTTP-FLV/RTMP/HLS 结合,视频转发场景更加灵活。
-
规模并发:
与 HTTP-FLV 支持的并发规模一致,支持千万级规模并发。
视频分发基础设施CDN:
拥有遍布全球1000+节点、100T 带宽储备,以强大网络基础设施带来极致视频分发体验和效率。其中具有这几大能力:
-
资源储备的扩展能力:
通过云边端一体,将资源的使用能力持续下沉,与边缘计算的资源深度结合,做到流量加速的同时,也能做到算力的加速。
-
近似实时的智能调度能力:
具备全网流量与质量的感知系统,能实现近似实时的智能调度。
-
分场景的协议调优能力:
通过质量感知系统 Bcats、节点多级缓存优化、分场景协议栈优化满足客户多场景的质量要求,节点间使用私有协议加速,提升加速体验并保证数据安全。
-
快速便捷的可编程能力:
通过易用的可编程边缘运行环境 EJS,用户可自主实现个性化业务控制逻辑,应对业务变化的敏捷效率挑战。