一、流媒体传输协议：RTSP和RTMP

1、RTSP和RTMP的工作原理

1.1）RTSP工作原理

• 用户设备向视频流平台发送RTSP请求。
• 视频流平台返回可操作的请求列表，如播放、暂停等。
• 用户设备发送具体的请求，如播放。
• 视频流平台解析请求并启动相应的视频流处理机制。
• RTSP协议依赖于专用服务器，同时也依赖于RTP协议（基于UDP）。因此，RTSP协议不支持加密视频内容或重新传输丢失的数据包。 2）RTSP中的UDP和TCP使用：
• RTP协议（实时传输协议）是RTSP的底层协议，基于UDP。这样可以实现低延迟的传输。
• 为保证流畅和一致的流传输，RTSP还使用另外两种网络通信协议： TCP用于发送和接收控制命令（如播放或停止请求）。TCP是可靠传输协议，适用于确保准确的请求传输。 UDP用于传输音频、视频和数据，因为UDP具有低延迟的特点，可以高效地传输音频、视频和数据。 另外，在开源的RTSP服务器中，通常TCP监听端口为8554，UDP监听端口为8000。

1.2）RTMP工作原理

• 摄像头捕获视频内容。
• 使用编码器对视频流进行编码，将其传输到视频平台服务器。
• 视频平台服务器对接收到的视频流进行处理。
• 视频流通过内容分发网络（CDN）传递到离用户最近的服务器上。
• 最终视频流成功传输到用户设备。 在视频从摄像头到服务器的过程中，RTMP协议将大量的数据分割成小块，并通过多个虚拟通道进行传输，这样在视频源和RTMP服务器之间提供了稳定和流畅的视频流传输。

2、RTSP 和 RTMP的优缺点

2.1）RTSP的优缺点 RTSP的优点：

• 轻松自定义流：可以通过结合不同的协议来开发自己的视频流解决方案。
• 分段流式传输：RTSP流允许观看者在下载完成之前访问视频内容，而无需下载完整的视频文件，可以实现流式传输。 RTSP的缺点：
• 与HTTP不兼容：在Web浏览器中播放RTSP流没有简单的解决方案，因为RTSP主要用于通过私有网络流式传输视频，需要额外的软件支持。
• 使用率低：由于视频播放器和流媒体服务对RTSP流媒体的支持并不广泛，因此使用率相对较低。

2.2）RTMP的优缺点 RTMP的优点：

• 低延迟：RTMP使用独占的1935端口，无需缓冲，可以实现低延迟的实时传输。
• 适应性强：所有RTMP服务器都具备录制直播媒体流的功能，并且允许观众在直播开始后加入直播流或跳过部分广播内容。
• 灵活性：RTMP支持整合文本、视频和音频，同时支持流行的音频格式如MP3和AAC，以及视频格式如MP4、FLV和F4V。 RTMP的缺点：
• 传输性能：相比于基于HTTP的流媒体传输，RTMP在承载大量并发请求时，可能会对服务器性能和带宽造成较大压力。
• 兼容性限制：RTMP协议在移动设备上的支持相对较弱，特别是在iOS系统中的兼容性问题较多，可能影响观众的使用体验。
• 依赖Flash插件：RTMP在浏览器中播放需要依赖Flash插件，而随着Flash的逐渐淘汰，这可能导致一些浏览器无法直接播放RTMP流。

RTMP的缺点：

1、HTML5不支持：标准的HTML5播放器不支持RTMP流，需要额外的插件或解码器来实现播放。

2、受限于带宽：RTMP流在带宽较低的情况下容易出现视频中断或卡顿的问题，影响观看体验。

3、HTTP不兼容：无法通过HTTP进行RTMP流式传输，需要特殊的服务器支持，或借助第三方内容交付网络或流媒体视频平台。

RTSP和RTMP的比较

1. RTMP和RTSP都是流媒体协议，用于多媒体数据传输。
2. RTMP（Real Time Message Protocol）由Adobe公司提出，用于解决多媒体数据传输的多路复用和分包问题。它具有低延迟、高稳定性的优势，支持所有摄像头格式，并可通过浏览器加载Flash插件来直接播放。
3. RTSP（Real-Time Streaming Protocol）是由Real Networks和Netscape共同提出的基于文本的多媒体播放控制协议。它通过RTP传输流数据，并具有良好的实时效果，适用于视频聊天和视频监控等场景。
4. RTSP虽然实时性较好，但实现复杂，更适合用于视频聊天和视频监控。
5. RTMP在浏览器上有较好的支持，加载Flash插件后可以直接播放，因此在浏览器中播放RTMP流比较方便。相反，在浏览器中播放RTSP流则较为困难。 请注意，以上回答仅代表我个人观点和分析，与实际情况可能存在差异。

3、如何选择RTSP和RTMP

当选择流媒体协议时，可以考虑以下几点：

1. IP摄像机：几乎所有IP摄像机都支持RTSP协议，因为IP摄像机早于RTMP协议的出现。在使用RTSP和IP摄像机结合时，IP摄像机本身充当RTSP服务器，需要将摄像机连接到IP摄像机服务器并广播视频。
2. 物联网设备：RTSP通常内置在无人机或物联网软件中，允许访问视频源。其优点之一是低延迟，确保视频没有延迟，这对于无人机等应用非常重要。
3. 流媒体应用程序：例如各种短视频软件、视频直播软件等都内置了RTMP协议，因为RTMP协议是为满足现代流媒体需求而设计的。 以上是在选择RTSP和RTMP时可以考虑的一些建议。根据具体需求和应用场景，选择适合的协议是非常重要的。

4.如何在浏览器上播放RTSP视频流

现在有多种直播协议，包括RTMP、HTTP、RTSP等。其中使用最广泛的有两种：HTTP和RTMP。当使用HTTP协议时，视频格式需要是M3U8或FLV。下面我将详细说明各种环境的优缺点。

首先，RTSP协议不能在网页环境下使用（包括PC端和移动端），所以直播只能选择RTMP或HTTP。

RTMP协议只支持Flash Player，也就是只能在安装了Flash Player组件的PC端（或少数安卓环境）使用。根据当前的趋势，Flash Player将逐渐被淘汰。当然，在中国地区可能会存在相当长的时间。

HTTP协议的直播有两种格式：M3U8和FLV。FLV是一种即将被淘汰的直播格式，用于直播已经变得力不从心。综合地考虑，M3U8相对来说更好一些，它的优点是支持移动端，在PC端上也支持安装了Flash Player的环境。然而，和RTMP一样，M3U8也有缺点。Flash Player并非未来的发展趋势。另一个缺点是M3U8有一定的延迟，不能实时传输，相比于RTMP协议在实时传输方面稍逊一筹。因为M3U8的直播原理是将直播源实时地压缩成一定时长的TS文件（例如每9秒或10秒一个TS文件），并同时实时更新M3U8文件中的播放列表，以达到效果。这样就会产生至少9秒或10秒的延迟。如果压缩得太小，可能会因为客户端的网络问题导致视频卡顿。

如果想要实现RTSP转换为HTTP，并使用M3U8格式进行直播，可以参考“RTSP Webcam to HLS Live Streaming using FFMPEG and XAMPP | PART 1”。 具体步骤如下：首先连接支持RTSP的网络摄像头，然后使用ffplay命令播放RTSP流，并根据参数将实时视频写入指定文件夹中（进行分段写入）。接着，开启XAMPP中的Apache服务器（监听80端口），这样可以通过保存的M3U8文件实时访问摄像头的监控界面。

二、ffmpeg将本地摄像头推流到RTSP服务器

RTMP工作原理

摄像头捕获视频

通过编码器将视频流传输到视频平台服务器

视频平台处理视频流

通过CDN分发到离用户最近的服务器上

最后视频流就能成功的到达用户设备

在视频从摄像头到服务器的过程中，RTMP将大量数据分割成小块并跨多个虚拟通道传输（内容分发网络CDN），在视频源和 RTMP 服务器之间提供了稳定和流畅的视频流。

2、RTSP 和 RTMP的优缺点

1）RTSP的优缺点

RTSP的优点：

1、轻松自定义流：可以通过结合不同的协议来开发自己的视频流解决方案。

2、分段流式传输：RTSP 流使观看者能够在下载完成之前访问的视频内容，而不必下载完整的视频以流式传输内容。

RTSP的缺点：

1、与 HTTP不兼容：没有简单的解决方案可以在 Web 浏览器中播放 RTSP流，因为 RTSP 旨在通过私有网络流式传输视频，必须借用额外软件。

2、使用率低：由于视频播放器和流媒体服务并未广泛支持 RTSP 流媒体，因为使用率比较低。

2）RTMP的优缺点

RTMP的优点：

1、低延迟：RTMP使用独占的 1935 端口，无需缓冲，可以实现低延迟。

2、适应性强：所有 RTMP 服务器都可以录制直播媒体流，同时还允许观众跳过部分广播并在直播开始后加入直播流。

3、灵活性：RTMP 支持整合文本、视频和音频，支持 MP3 和 AAC 音频流，也支持MP4、FLV 和 F4V 视频。

RTMP的缺点：

1、HTML5 不支持：标准HTML5 播放器不支持 RTMP 流。

2、容易受到带宽问题的影响：RTMP 流经常会出现低带宽问题，造成视频中断。

3、HTTP 不兼容：无法通过 HTTP 流式传输 RTMP，必须需要实现一个特殊的服务器，并使用第三方内容交付网络或使用流媒体视频平台。

3）RTSP和RTMP的比较

RTMP 和 RTSP协议 都是流媒体协议：

RTMP（Real Time Message Protocol 实时消息传递协议） 有 Adobe 公司提出，用来解决多媒体数据传输流的多路复用（Multiplexing）和分包（packetizing）的问题，优势在于低延迟，稳定性高，支持所有摄像头格式，浏览器加载 flash插件就可以直接播放。

RTSP （Real-Time Stream Protocol 实时流协议）由Real Networks 和 Netscape共同提出的，基于文本的多媒体播放控制协议。RTSP定义流格式，流数据经由RTP传输；RTSP实时效果非常好，适合视频聊天，视频监控等方向。

RTMP 和 RTSP协议 的区别：

RTSP虽然实时性最好，但是实现复杂，适合视频聊天和视频监控；

RTMP强在浏览器支持好，加载flash插件后就能直接播放，所以非常火，相反在浏览器里播放rtsp就很困难了。

3、RTSP和RTMP如何选择

IP 摄像机选择RTSP：几乎所有 IP 摄像机都支持 RTSP，这是因为 IP 摄像机早在 RTMP 协议创建之前就已经存在，与 RTSP 和 IP 摄像机结合使用时，IP 摄像机本身充当 RTSP 服务器，这意味着要将摄像机连接到 IP 摄像机服务器并广播视频。

物联网设备选择RTSP：RTSP 通常内置在无人机或物联网软件中，从而可以访问视频源，它的好处之一是低延迟，确保视频中没有延迟，这对于无人机来说至关重要。

流媒体应用程序选择RTMP：比如各种短视频软件、视频直播软件等都内置了RTMP，RTMP 是为满足现代流媒体需求而设计的。

4、如何在浏览器上播放RTSP

直播的协议有：rtmp, http, rtsp等等。最常用的有二种：http, rtmp，当使用http协议的时候视频格式需要是m3u8或flv，下面作详细说明各种环境的优缺点。首先，rtsp不能使用于网页环境（包含PC端和移动端），那么直播只能选择rtmp或http。

rtmp协议只支持flashplayer，也就是只能在PC端（或安卓环境中安装了flashplayer组件，这种环境比较少）安装了flashplayer的情况下使用。按现在的趋势，flashplayer是要逐渐被淘汰掉的。当然，在中国还会存在相对长时间。

http协议的直播分二种格式，m3u8和flv。flv是一种即将被淘汰的直播格式。用来做直播已显的力不从心了。所以综合考虑，m3u8相对的比较好点，优点是支持移动端，并且支持PC端上安装了flashplayer的环境。缺点就如同rtmp一样。flashplayer并不是未来的发展趋势。另外一个缺点就是m3u8是有延迟的。并不能实时，实时传输方面不如rtmp协议。因为 m3u8的直播原理是将直播源不停的压缩成指定时长的ts文件（比如9秒，10秒一个ts文件）并同时实时更新m3u8文件里的列表以达到直播的效果。这样就会有一个至少9,10秒的时间延迟。如果压缩的过小，可能导致客户端网络原因致视频变卡。

实现rtsp转http并使用m3u8格式进行直播 可以参考RTSP Webcam to HLS Live Streaming using FFMPEG and XAMPP | PART 1

具体过程：外接支持rtsp的webcam；使用ffplay命令来播放rtsp流，可以根据参数将实时视频写入到指定文件夹中（分段写入）；xampp开启apache（开启80端口），可以让页面通过保存的m3u8文件实时访问webcam的监控界面。

二、ffmpeg将本地摄像头推流到RTSP服务器

Note：ffmpeg将本地摄像头推流到rtsp的8554端口上（rtsp-simple-server在处理rtsp时，监听的是8554端口，指定其他端口ffmpeg推流会失败)

1、安装ffmpeg和rtsp-simple-server

大致实现过程：使用rtsp-simple-server作为中转服务器，用于ffmpeg（写客户端）推流，后台服务（读客户端）拉流

1）windows安装rtsp-simple-server和ffmpeg

参考windows环境下，搭建RTSP视频推流服务器即可（记得修改rtsp-simple-server.yml配置文件中的ip地址）

2）linux安装rtsp-simple-server和ffmpeg

安装rtsp-simple-server_v0.20.2_linux_amd64.tar.gz（这里以x86 CPU为例），解压后修改rtsp-simple-server.yml配置文件中的ip地址（vim替换命令为%s:/127.0.0.1/192.168.132.100/g），执行./rtsp-simple-server即可启动rtsp服务器。

如果要想在后台启动rtsp服务器，执行如下命令

nohup ./rtsp-simple-server >> rtsp_server.log 2>&1 & #非挂起启动命令

tail rtsp_server.log #查看rtsp-simple-server启动日志文件

ps -aux | grep rtsp_simple_server #查看rtsp-simple-server进程

dpf 2116 0.0 0.0 13140 1016 pts/0 S+ 04:54 0:00 grep --color=auto rtsp_simple_server

ffmpeg安装，解压后执行./ffmpeg即可使用ffmpeg，参考在linux下使用ffmpeg方法

Note：在linux中关于tar.gz，xz，tar的解压操作请自行上网查阅。

2、将本地摄像头推流到RTSP服务器

大致实现过程：使用rtsp-simple-server作为中转服务器，用于ffmpeg（写客户端）推流，后台服务（读客户端）拉流

这里以windows系统作为演示，先解压rtsp-simple-server_v0.19.1_windows_amd64.zip，打开rtsp-simple-server.exe监听RTSP下TCP的8554端口，然后通过ffmpeg将指定摄像头采集到的图像帧向该端口进行推流（即多个客户端与服务器端的socket通信）

1）写客户端：ffmpeg

ffmpeg推流视频文件到指定ip + 端口上（-stream_loop -1）：

ffmpeg -re -stream_loop -1 -i 你视频的文件名 -c copy -f rtsp rtsp://127.0.0.1:8554/videoFile_test
1
ffmpeg将本地摄像头的视频流推送到指定ip + 端口上，则需要//获取本地摄像头名称
ffmpeg -list_devices true -f dshow -i dummy  //ffmpeg向指定端口推流（我的是Integrated Camera）
ffmpeg -f dshow -i video="自己的摄像头驱动名称" -vcodec libx264 -preset:v ultrafast -tune:v zerolatency -rtsp_transport tcp -f rtsp rtsp://127.0.0.1:8554/camera_test
//libx264编码
ffmpeg -f dshow -i video="Integrated Camera" -vcodec libx264 -preset:v ultrafast -tune:v zerolatency -rtsp_transport tcp -f rtsp rtsp://127.0.0.1:8554/camera_test
）

服务器端：RTSP服务器

初启动效果如下：

3）读客户端：读客户端可以通过两种方式来实现
安装VLC，选择流数据播放模式，输入rtsp://127.0.0.1:8554/camera_test，rtsp://127.0.0.1:8554/videoFile_test即可播放；

亦或者使用如下python代码：

import cv2def capture_video(rtsp_path):name = rtsp_path.split("/")[-1]capture = cv2.VideoCapture(rtsp_path)while capture.isOpened():ret, frame = capture.read()if not ret:breakcv2.imshow(name, frame)if cv2.waitKey(50) == 27:breakif __name__ == '__main__':# rtsp_paths = ['rtsp://127.0.0.1:8554/videoFile_test','rtsp://127.0.0.1:8554/camera_test']rtsp_paths = ['rtsp://127.0.0.1:8554/videoFile_test']for rtsp_path in rtsp_paths:capture_video(rtsp_path)cv2.waitKey(0)cv2.destroyAllWindows()

此时会出现两个createby和reading，即开启两个进程进行视频流的读取