首页 » 软件开发 » WebRTC进阶流媒体服务器开发-多人互动架构(流媒体服务器架构互动进阶)

WebRTC进阶流媒体服务器开发-多人互动架构(流媒体服务器架构互动进阶)

南宫静远 2024-07-24 16:52:07 0

扫一扫用手机浏览

文章目录 [+]

音视频高级开发系统学习视频:【免费】FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发-学习视频教程-腾讯课堂

(三)SFU架构模型详解(主流)

与MCU类似,只是对于SFU而言,不对媒体流进行解码、混屏、编码;而是直接进行转发!

对于终端,接受的数据是原始分辨率,可以对数据进行处理,比MCU更加灵活。

缺点:对于接受端的下行带宽有考验,如果带宽不允许,可能导致服务质量不足

WebRTC进阶流媒体服务器开发-多人互动架构(流媒体服务器架构互动进阶) 软件开发
(图片来自网络侵删)
解决方案:1.simulcast分层,可以设置成两层、三层或是四层甚至更高层次的分辨率,比如最高层是640X360的分辨率,下一层是240X120的分辨率,再一层是80X60的分辨率。
总之就是按比例的缩放。
在上传的时候将三层同时上传,下发的时候SFU会判断整个带宽能否承载下行的数据,如果不能承载便选择低一个层次的分辨率看能否承载,若不能承载,再选择更低层次的,依次下去…2.根据H264中SVC分层方式,将一路视频分为核心层、扩展层、边缘层,一层比一层清晰(增量累加,各层之间相互依赖),当带宽足够时可以全部下发给客户端,不够时可以选择传输核心层或者核心层+扩展层从而降低下行带宽数量,缓解质量不足问题。
simulcast和SVC不能混用。
这两个相比,simulcast的操作更简单一些,实用性更高一些,国内的声网 便使用的这种方式。
SVC更复杂一些,国外的zoom 、思科 的解决方案便采用的这种方式。
三:流媒体服务器架构和特点已知的多方通信框架有:Mesh MCU SFU 三种。

其中SFU是目前最优的一种多方通信架构方案,而且这种方案目前已经有比较流行的开源项目:Licode Janus-gateway Mediasoup Medooze

下面简单的对这4种方案进行分析:

(一)Licode架构

Licode 既可以用作SFU 类型的流媒体服务器,也可以用作 MCU 类型的流媒体服务器。
一般情况下,它都被用于SFU类型的流媒体服务器。

Licode 不仅仅是一个流媒体通信服务器,而且还是一个包括了媒体通信层、业务层、用户管理等功能的完整系统,并且该系统还支持分布式部署。

Licode 是由 C++ 和 Node.js 语言实现。
其中,媒体通信部分由 C++ 语言实现,而信令控制、用户管理、房间管理用 Node.js 实现。
它的源码地址为:https://github.com/lynckia/licode 。

下面这张图是 Licode 的整体架构图:

如上图所示,从大的框架上来看,Licode框架被分为2部分:服务端和客户端

1.客户端讲解(简单)

客户端被分为了3个部分:ClientAPP(信令通讯,比如房间操作、媒体协商...)、Eriza.js(对房间相应逻辑进行控制)、WebRTC(抓取音视频数据分享和展示)

2.服务端讲解通过上图可以看出,Licode 从功能层面来讲分成三部分,即 Nuve 、ErizoController 和 ErizoAgent 三部分,它们之间通过消息队列进行通信。
Nuve 是一个 Web 服务,用于管理用户、房间、产生 token 以及房间的均衡负载等相关工作。
它使用 MongoDB 存储房间和 token 信息,但不存储用户信息。
ErizoController,用于管理控制,信令和非音视频数据都通过它接收。
它通过消息队列与 Nuve 进行通信,也就是说 Nuve 可以通过消息队列对 ErizoController 进行控制。
ErizoAgent,用于音视频流媒体数据的传输,可以分布式布署。
ErizoAgent 与 ErizoController 的通信也是通过消息队列,信令消息通过 ErizoController 接收到后,再通过消息队列发给 ErizoAgent,从而实现对 ErizoAgent 进行控制。

通过上面的描述,可以知道 Licode 不仅仅是一个 SFU 流媒体服务器,它还包括了与流媒体相关的业务管理系统、信令系统、流媒体服务器以及客户端 SDK 等等,可以说它是一个比较完善的产品。

Licode缺点:

在 Linux 下目前只支持 Ubuntu 14.04 版本,在其他版本上很难编译通过。
(现在不清楚,毕竟已经过去一段时间)Licode 不仅包括了 SFU,而且包括了 MCU,所以它的代码结构比较重,学习和掌握它要花不少的时间。
Licode 的性能一般, 如果你把流媒体服务器的性能排在第一位的话,那么 Licode 就不是特别理想的 SFU 流媒体服务器了。
(二)Janus SFU架构

Janus 是一个非常有名的 WebRTC 流媒体服务器,它是以 Linux 风格编写的服务程序,采用 C 语言实现,支持 Linux/MacOS 下编译、部署,但不支持 Windows 环境。

它是一个开源项目,其源码的编译、安装非常简单

Janus 的架构组成:

流程如Medooze架构图流程一致!

(后面)

上面这张图是 Janus 的整体架构图。
Janus 可以被分为以下三部分: Janus CORE、Janus Plugin 以及信令接口组成

1.信令接口,Janus 支持的信令协议比较多,如 HTTP、WebSocket、RabbitMQ 等。
这些信令协议使得 Janus 具有非常好的接入性。
因为很多公司喜欢各种不同的协议,如有的喜欢 websocket,有的喜欢http,proto等。
因此 Janus 在信令接入方面具有很大的优势。

2.Janus Plugin,Janus 的业务管理是按照 Plugin 的方式管理的,因此你可以在Janus中根据自己的需要实现自己的业务插件。
实际上,对于一般性的需求 Janus 已经相关的插件。
如:

SIP:用于与传统电话设备对接,这个插件使得 Janus 成了 SIP 用户的代理,从而容许 WebRTC 终端在 SIP 服务器(如 Asterisk)上注册,并向 SIP 服务器发送或接收音视频流。
TextRoom:该插件使用 DataChannel 实现了一个文本聊天室应用。
Streaming:用于广播,也就是我们通常所说的一人共享,多人观看的直播模式;它容许 WebRTC 终端观看 / 收听由其余工具生成的预先录制的文件或媒体。
VideoRoom:它实现了视频会议的 SFU 服务,实际就是一个音 / 视频路由器,用于多人音视频互动,像音视频会议,在线教育都可以通过该插件来实现。
VideoCall:这是一个简单的视频呼叫的应用,容许两个 WebRTC 终端相互通讯,用于 1:1 的音视频通信。
它与 WebRTC 官网的例子类似(https://apprtc.appspot.com),不一样点是这个插件要通过服务端进行音视频流中转,而 WebRTC 官网的例子走的是 P2P 直连。
RecordPlay:该插件有两个功能,一是将发送给 WebRTC 的数据录制下来,二是能够经过 WebRTC 进行回放。

3.Janus Core 是Janus的核心,其作用是处理流的转发,各种协议的接入。
以浏览器为例,要想让浏览器接入到 WebRTC 流媒体服务器上,那流媒体服务器必须要支持 STUN、DTLS、SRTP、ICE 等协议。
而 Janus Core 就是专门做这事儿的。

Janus 的整体架构:

Janus 分为两层,即应用层和传输层插件层又称为应用层,每一个应用都是一个插件,能够根据用户的须要动态地加载或卸载掉某个应用。
插件式架构方案是很是棒的一种设计方案,灵活、易扩展、容错性强,尤为适用于业务比较复杂的业务,但缺点是实现复杂,成本比较高。
传输层包括媒体数据传输和信令传输。
媒体数据传输层主要实现了 WebRTC 中须要有流媒体协议及其相关协议,如 DTLS 协议、ICE 协议、SDP 协议、RTP 协议、SRTP 协议、SCTP 协议等。
信令传输层用于处理 Janus 的各类信令,它支持的传输协议包括 HTTP/HTTPS、WebSocket/WebSockets、NanoMsg、MQTT、PfUnix、RabbitMQ。
不过须要注意的是,有些协议是能够经过编译选项来控制是否安装的,也就是说这些协议并非默认所有安装的。
另外,Janus 全部信令的格式都是采用 Json 格式。

Janus 总体架构采用了插件的方案,这种架构方案很是优秀,用户能够根据本身的须要很是方便地在上面编写本身的应用程序。
并且它目前支持的功能很是多,好比支持 SIP、 RTSP、音视频文件播放、录制等等,因此在与其余系统的融合性上有很是大的优点。
另外,它底层的代码是由 C 语言编写的,性能也很是强劲。
Janus 的开发、部署手册也很是完善,所以它是一个很是棒的开源项目。
因此,它的架构设计比较复杂,对于初学者来讲难度较大

(三)Medooze架构

Medooze 的整体架构与 Mediasoup 类似,不过它的信令处理、业务管理以及媒体数据的转发功能都是放在 Nodejs下进行统一管理的。
实际上,这样的管理方式也不会对性能造成什么影响,因为重的媒体流的转发工作仍然是使用的 C++ 在 Nodejs 底层实现的。

Medooze 是一款综合流媒体服务器,它不仅支持 WebRTC 协议栈,还支持很多其他协议,如 RTP、RTMP 等。
其源码地址为:https://github.com/medooze/media-server 。

Medooze架构流程图:

Medooze架构模型如图中所示:使用NodeJs实现整个服务(信令交互),在NodeJs下面使用MediaServer C++作为底层服务器进行使用(实现媒体流传输)

1.浏览器从服务器获取客户端代码,通过V8引擎,启动底层WebRTC2.浏览器与服务端的MediaServer JS进行信令交互、房间操作、媒体协商3.数据传输WebRTC到MediaServer C++

多客户端流程一致!


Medooze整体架构图:

Medooze 的核心层:

从大的方面来说,Medooze 支持 RTP/RTCP、SRTP/SRCP 等相关协议,从而能够实现与 WebRTC 终端进行互联。
除此以外,Medooze 还能够接入 RTP 流、RTMP 流等,所以你可使用 GStreamer/FFmpeg 向 Medooze 推流,这样进入到同一个房间的其余 WebRTC 终端就能够看到 / 听到由 GStream/FFmpeg 推送上来的音视频流了。
另外,Medooze 还支持录制功能,即上图中的 Recorder 模块的做用,能够经过它将房间内的音视频流录制下来,以便后期回放。
为了提升多方通讯的质量,Medooze 在音视频的内容上以及网络传输的质量上都作了大量优化。
Medooze 的控制逻辑层:

是经过 Node.js 实现的,Medooze 经过 Node.js 对外提供了完整的控制逻辑操做相关的 API,经过这些 API 你能够很容易的控制 Medooze 的行为了。

Medooze 的业务功能要比 Mediasoup 强大,像服务端录制、推流这些 Mediasoup 没有的功能它都支持。
但它性能没有 Mediasoup 做的极致,在Medooze的底层使用的poll来处理I/O事件,poll与epoll性能相差距大。
除此之外,Medooze的业务逻辑也没有Mediasoup简洁;另外与 Janus 相比,它的业务管理不如 Janus 灵活,Janus 的插件管理方式显然要优于 Medooze 和 mediasoup。

但总的来说,Medooze还是一款非常不错的 WebRTC 流媒体服务器。
虽然有一些小的暇疵,但还是非常不错的一款流媒体服务器。

(四)Mediasoup架构

Mediasoup 是推出时间不长的 WebRTC 流媒体服务器开源库,其地址为:https://github.com/versatica/mediasoup/ 。

下图是Mediasoup整体架构图:

流程如Medooze一致(前面)!

通过该图我们可以知道 Mediasoup 流媒体服务器是由 Nodejs 和 Mediasoup(C++) 两部分组成。

Nodejs,负责 Mediasoup 的信令接收与业务管理。
如创建/消毁房间,创建/关闭生产者,创建/关闭消费者等。
Mediasoup(C++),这是一个单独的程序,但该程序无法直接启动。
因为它在内部会判断是否是 Nodejs 将它启动起来了。
只有在Nodejs 的 Mediasoup 管理模块加载之后,再将 Mediasoup(C++)启动起来,这样它才能正常工作。
Nodejs 与 Mediasoup之间通过管道进行通信。

在众多的 WebRTC 流媒体服务器中,Mediasoup 可以说是性能最优秀的WebRTC流媒体服务器。
它使用 C++ 作为开发语言,底层使用 libuv 处理 I/O 事件。

有很多人对 Nodejs 比较诟病,认为 Nodejs 提拱不了高性能的流媒体服务器。

实际上,如果按照传输的 Nodejs 应用开发出的流媒体服务器肯定是不能胜任这项工作的。
但对于 Mediasoup 来讲,它只不过使用 Nodejs 做 信令处理 及 业务的管理 工作,所以它的负担并不重。
对性能要求高的是媒体数据流的转发工作,而这部分工作是由 Mediasoup(C++)部分实现的。
Mediasoup是多进程程序,他会在业务层控制进程的个数,监听系统的CPU核数,会对每一个CPU绑定一个Mediasoup进程

比如说你的服务器是个 8 核的CPU,那么在业务层你就该启动 8 个Mediasoup进程。
通过这种方式来达到对 CPU 的充分利用。
Meidasoup多进程图:

Host(最大的灰色底框)中,包含worker一、worker二、worker3(3个白色框),能够认为是进程。
每一个worker中,包含1个或多个router(蓝色的方片花),进程中有1个或多个房间。
router周围有:音视频生产者(红色的输入)+ 音视频消费者(绿色的输出),每一个房间有多个生产者和消费者。
producer:一路视频是一个生产者,一路音频也是一个生产者 。
consumer:一路视频是一个消费者,一路音频也是一个消费者 。
transport:一个Transport 就只关联一个用户。

Mediasoup中的每个进程称为一个 Worker, 你也可以把它理解为一个节点,在每个 Worker 中可以有多个 Router。

对于 Router,你站在不同的解度可以有不同的理解。
如果你占在应用层的角度,你可以把它理解为一个房间;如果你站在数据流转的角度,可以把它理解为一个路由器,数据通过 路由器 转发给目标用户。

大的绿色箭头下面,有灰色的Transport字体,分为三种类型,即 WebRtcTransport、PlainRtpTransport 和 PipeTransport。

WebRtcTransport 用于与 WebRTC 类型的客户端进行链接,如浏览器。
PlainRtpTransport 用于与传统的 RTP 类型的客户端链接,经过该 Transport 能够播放多媒体文件、FFmpeg 的推流等。
PipeTransport 用于 Router 之间的链接,也就是一个房间中的音视频流经过 PipeTransport 传到另外一个房间。

在每一个 Transport (每一个用户)中能够包括多个 Producer 和 Consumer。

Producer 表示媒体流的共享者,它又分为两种类型,即音频的共享者和视频的共享者。
Consumer 表示媒体流的消费者,它也分为两种类型,即音频的消费者和视频的消费者。

Mediasoup 的实现逻辑很是清晰,它不关心上层应用该如何作,只关心底层数据的传输,并将它作到极致。

(五)如何选择SFU(选择合适的)实现语言:

1.Meooze、Mediasoup、Licode 这三个流媒体服务器的媒体通讯部分都是由 C++ 实现的,而控制逻辑是经过 Node.js 实现,所以若是你是 C++ 开发人员,且有 JavaScript 技术背景,那么你就应该在这三种流媒体服务器之间选择,由于这样更容易入门。
2.而 Janus-gateway 是彻底经过 C 语言实现的,服务部署是传统的 Linux 风格,所以若是你是 Linux/C 开发者,则应该选择 Janus 做为你的流媒体服务器。

系统特色:

1.像 Licode 是一个完整的系统,支持分布式集群部署,因此系统相对复杂,学习周期要长一些。
它能够直接布署在生产环境,可是二次开发的灵活性不够。

2.Janus-gateway 是一个独立的服务,支持的信令协议很丰富,并且支持插件开发,易扩展,对于 Linux/C 背景的开发者是很不错的选择。

3.Medooze 和 Mediasoup 都是流媒体服务器库,对于须要将流媒体服务器集成到本身产品中的开发者来讲,应该选择它们。

性能特色:

1.Licode、Meooze、Mediasoup、Janus-gateway 单台服务均可以支持 500 方参会人,因此它们的性能都仍是不错的。

2.相对来讲,Licode 的性能与其余流媒体服务器相比要低一些;

3.Medooze 因为没有使用 epoll 来处理异步 IO 事件,因此性能也受到一些影响。

不过总的来讲,它们在 500 方的容量下,视频质量均可以获得很好的保证,延迟在 100ms 左右。

相关文章

语言中的借用,文化交融的桥梁

自古以来,人类社会的交流与发展离不开语言的传播。在漫长的历史长河中,各民族、各地区之间的文化相互碰撞、交融,产生了许多独特的语言现...

软件开发 2025-01-01 阅读1 评论0

机顶盒协议,守护数字生活的新卫士

随着科技的飞速发展,数字家庭逐渐走进千家万户。在这个时代,机顶盒成为了连接我们与丰富多彩的数字世界的重要桥梁。而机顶盒协议,作为保...

软件开发 2025-01-01 阅读1 评论0

语言基础在现代社会的重要性及方法步骤

语言是人类沟通的桥梁,是社会发展的基础。语言基础作为语言学习的基石,对于个人、社会乃至国家的发展具有重要意义。本文将从语言基础在现...

软件开发 2025-01-01 阅读2 评论0

粤语电影,传承文化,点亮时代之光

粤语电影,作为中国电影产业的一朵奇葩,以其独特的地域特色、丰富的文化内涵和鲜明的艺术风格,赢得了广大观众的喜爱。本文将从粤语电影的...

软件开发 2025-01-01 阅读3 评论0

苹果游戏语言,塑造未来娱乐体验的基石

随着科技的飞速发展,游戏产业逐渐成为全球娱乐市场的重要支柱。在我国,游戏产业更是蓬勃发展,吸引了无数玩家和投资者的目光。而在这其中...

软件开发 2025-01-01 阅读1 评论0