使用eXosip+ffmpeg、ffplay命令行实现sip客户端

文章目录

  • 前言
  • 一、关键实现
    • 1、主要流程
    • 2、解决端口冲突
      • （1）、出现原因
      • （2）、解决方法
    • 3、解析sdp
      • （1）、定义实体
      • （2）、解析视频
      • （3）、解析音频
    • 4、命令行推拉流
      • （1）、视频推流
      • （2）、音频推流
      • （3）、音视频播放
  • 二、sipua接口设计
  • 三、使用示例
  • 四、完整代码
  • 五、效果预览
  • 总结

前言

使用sip做视频通话时，会遇到需要使用ip摄像头作为视频源的情况，查了资料使用pjsip通常也需要改源码。pjsip包含的功能很完整，但有点过于庞大，很多功能并不需要。而且笔者有一个想法，只要有个能处理sip交互的库比如eXosip，音视频这块另外实现，比如先使用ffmpeg和ffplay命令行作为音视频测试，成功后再写代码实现。本文就是测试成功的方案，真正灵活的方式还是要写代码调ffmpeg，本文更多的是提供一种实现思路。

一、关键实现

主要的实现步骤是使用eXosip处理sip、自己解析sdp、流媒体使用ffmpeg、ffplay命令行。

1、主要流程

在这里插入图片描述

2、解决端口冲突

（1）、出现原因

按照上述流程会遇到端口冲突问题，推流和拉流需要使用同一个本地udp端口，由于ffmpeg和ffplay是两个进程同使用相同的端口就会冲突。具体细节如下：
在这里插入图片描述

（2）、解决方法

一般想到的解决办法是使用jrtplib只建立一个rtp会话兼顾发送和接收，且流媒体通过ffmpeg代码实现。本文没有使用此方法，为了坚持使用ffmpeg和ffplay命令行，最好的方法是使用udp代理监听端口对数据进行转发，就可以有效的解决端口冲突问题。

在这里插入图片描述

3、解析sdp

虽然eXosip提供了sdp的获取方法，但是对于具体的信息还是需要自己解析，其实也是比较简单。

（1）、定义实体

//流类型
enum StreamType {STREAMTYPE_VIDEO,STREAMTYPE_AUDIO
};
/// <summary>
/// 流信息
/// </summary>
class StreamInfo {
public://流类型StreamType type;//rtp推流地址，可以用此地址ffmpeg直接推流，也可以用下面参数自定义推流char rtpAdress[128] = { 0 };//流的远端地址char remoteIp[32] = { 0 };//流的远端端口int remotePort = 0;//本地接收/发送端口int localPort = 0;//编码格式char codec[16];//负载类型int payload = 0;union{//采样率，音频int sampleRate = 0;//时间基、视频int timebase;};//声道数int channels = 0;
};

（2）、解析视频

std::vector<StreamInfo> SipUA::_getVideoStreams(sdp_message_t* sdp_msg)
{std::vector<StreamInfo> streams;if (!sdp_msg)return streams;sdp_connection_t* connection = eXosip_get_video_connection(sdp_msg);if (!connection)return streams;std::string ip = connection->c_addr; sdp_media_t* sdp = eXosip_get_video_media(sdp_msg);if (!sdp)return streams;int	port = atoi(sdp->m_port); for (int i = 0; i < sdp->a_attributes.nb_elt; i++){sdp_attribute_t* attr = (sdp_attribute_t*)osip_list_get(&sdp->a_attributes, i);if (attr){std::string audio_filed = attr->a_att_field;if (audio_filed == "rtpmap"){StreamInfo stream;stream.type = StreamType::STREAMTYPE_VIDEO;snprintf(stream.remoteIp, 32, ip.c_str());stream.remotePort = port;std::string value = attr->a_att_value;std::string::size_type pt_idx = value.find_first_of(0x20);if (pt_idx == std::string::npos)continue;stream.payload = atoi(value.substr(0, pt_idx).c_str());std::string::size_type bitrate_idx = value.find_first_of('/');if (bitrate_idx == std::string::npos)continue;stream.timebase = atoi(value.substr(bitrate_idx + 1).c_str());snprintf(stream.codec, 32, value.substr(pt_idx + 1, bitrate_idx - pt_idx - 1).c_str());streams.push_back(stream);}}}return streams;
}

（3）、解析音频

std::vector<StreamInfo> SipUA::_getAudioStreams(sdp_message_t* sdp_msg)
{std::vector<StreamInfo> streams;if (!sdp_msg)return streams;sdp_connection_t* connection = eXosip_get_audio_connection(sdp_msg);if (!connection)return streams;std::string audio_ip = connection->c_addr; //audio_ipsdp_media_t* audio_sdp = eXosip_get_audio_media(sdp_msg);if (!audio_sdp)return streams;int	audio_port = atoi(audio_sdp->m_port); //audio_portfor (int i = 0; i < audio_sdp->a_attributes.nb_elt; i++){sdp_attribute_t* attr = (sdp_attribute_t*)osip_list_get(&audio_sdp->a_attributes, i);if (attr){std::string audio_filed = attr->a_att_field;if (audio_filed == "rtpmap"){StreamInfo stream;stream.type = StreamType::STREAMTYPE_AUDIO;snprintf(stream.remoteIp, 32, audio_ip.c_str());stream.remotePort = audio_port;std::string value = attr->a_att_value;auto strs = StringHelper::split(value, " ");if (strs.size() > 1){stream.payload = atoi(strs[0].c_str());auto format = StringHelper::split(strs[1], "/");if (format.size() > 1){snprintf(stream.codec, 16, format[0].c_str());stream.sampleRate = atoi(format[1].c_str());if (format.size() > 2)stream.channels = atoi(format[2].c_str());}}streams.push_back(stream);}}}return streams;
}

4、命令行推拉流

（1）、视频推流

转发rtsp的h264流为例，rtp推流同时显示预览框。

ffmpeg -i rtmp://127.0.0.1/live/a123 -an -vcodec copy -payload_type 96 -f rtp rtp://127.0.0.1:25026?localrtpport=15514 -window_size 192x108 -f sdl

（2）、音频推流

以本地文件转码为g.711u为例，每个包大小160bytes。

ffmpeg -re -stream_loop -1 -i D:\test_music.wav -vn -acodec pcm_mulaw -ar 8000 -ac 1 -af "aresample=8000[0];[0]asetnsamples=n=160:p=0" -payload_type 0 -f rtp rtp://127.0.0.1:15026?localrtpport=25514

音频设备采集编码为g.711u为例，每个包大小160bytes。

ffmpeg -f dshow -i audio="音频设备名称" -vn -acodec pcm_mulaw -ar 8000 -ac 1 -af "aresample=8000[0];[0]asetnsamples=n=160:p=0" -payload_type 0 -f rtp rtp://127.0.0.1:15026?localrtpport=25514

注：如果音频与视频为同一个输入源也可以合并为同一条命令。

（3）、音视频播放

将sdp字符串保存本地文件
本地播放的sdp

v=0
o=1002 158 1 IN IP4 127.0.0.1
s=Talk
c=IN IP4 127.0.0.1
t=0 0
m=video 25008 RTP/AVP 96
a=rtpmap:96 H264/90000
a=rtcp:25008
m=audio 25310 RTP/AVP 0
a=rtpmap:0 PCMU/8000
a=rtcp:25310

保存到test.sdp

FILE* f=NULL;
fopen_s(&f, "test.sdp", "wb");
if (f)
{fwrite(call->sdp, 1, strlen(call->sdp), f);fclose(f);
}

命令行播放

ffplay.exe -x 640 -y 360 -protocol_whitelist \"file,udp,rtp\" -i test.sdp

二、sipua接口设计

#pragma once
#include<functional>
#include <string>
#include <vector>
#include "UdpProxy.h"
#include <eXosip2\eXosip.h>
#include"MessageQueue.h"/// 这是一个sipua，内部实现是eXosip2，只提供sip交互，sdp解析、udp代理功能。
/// udp代理分离端口功能:
/// sdp的每个m媒体的推拉流需要使用一个端口，sip服务器要检查来源。
/// 如果此时采样ffmpeg.exe推流、ffplay.exe拉流，两个进程都需要绑定本地同一个端口，就会产生端口冲突。
/// 那就只能个使用jrtplib之类的库，打开一个连接同时发送和接收数据。
/// 但是有一个巧妙的解决办法那就是使用udp代理转发数据，就可以将端口拓展为多个了。/// <summary>
/// sip状态
/// </summary>
enum SipUAState {//收到对方inviteSIPUAEVENT_INVITE,//收到对方回复SIPUAEVENT_ANSWER,//处理流媒体，推流拉流端口有做分离，便于推拉流分开实现。SIPUAEVENT_STREAM,//结束通话，对方挂断SIPUAEVENT_ENDED,
};/// <summary>
/// 流类型
/// </summary>
enum StreamType {STREAMTYPE_VIDEO,STREAMTYPE_AUDIO
};/// <summary>
/// 流信息
/// </summary>
class StreamInfo {
public://流类型StreamType type;//rtp推流地址，可以用此地址ffmpeg直接推流，也可以用下面参数自定义推流char rtpAdress[128] = { 0 };//流的远端地址char remoteIp[32] = { 0 };//流的远端端口int remotePort = 0;//本地接收/发送端口int localPort = 0;//编码格式char codec[16];//负载类型int payload = 0;union{//采样率，音频int sampleRate = 0;//时间基、视频int timebase;};//声道数int channels = 0;
};/// <summary>
/// 通话对象
/// </summary>
class SipCall {
public:int callId = 0;//对方idconst char* userId = nullptr;//播发的sdpconst char* sdp = nullptr;//需要推流的视频信息StreamInfo* video = nullptr;//需要推流的音频信息StreamInfo* audio = nullptr;
};
class SipUA
{
public:/// <summary>/// 状态改变回调，目前版本除媒体流外只有对方的消息会触发状态改变/// </summary>std::function<void(SipUAState state, SipCall* call)> onState = [](auto, auto) {};SipUA(const std::string& serverIp, int serverPort, const std::string& username, const std::string& password);~SipUA();/// <summary>/// 开启客户端，此方法是阻塞的，可以在线程中开启。/// </summary>/// <param name="exitFlag">退出标记，值为true则退出</param>void exec(int* exitFlag);/// <summary>/// 呼叫/// </summary>/// <param name="remoteUserID">对方id</param>/// <param name="hasVideo">有视频否</param>/// <param name="hasAudio">有音频否</param>/// <returns>是否呼叫成功</returns>bool call(const std::string& remoteUserID, bool hasVideo = true, bool hasAudio = true);/// <summary>/// 应答/// </summary>/// <param name="hasVideo">有视频否</param>/// <param name="hasAudio">有音频否</param>void answer(bool hasVideo, bool hasAudio);/// <summary>/// 挂断/// </summary>void hangup();
};

三、使用示例

/// <summary>
/// 本示例启动后会自动拨号，
/// 接收到通话请求会自动接听
/// </summary>
void main() {SipUA ua("192.168.1.10", 5060, "1002", "1234");int exitFlag = false;ua.onState = [&](SipUAState state, SipCall* call) {switch (state){case SIPUAEVENT_INVITE:ua.answer(true, true);break;case SIPUAEVENT_ANSWER:break;case SIPUAEVENT_STREAM://视频推流if (call->video){std::string srcUrl = "test.mp4";std::string format = "-re -stream_loop -1";auto codec = StringHelper::toLower(call->video->codec);std::string params = "";char cmd[512];	if (codec == "h264"){params = "-preset ultrafast -tune zerolatency -level 4.2";}//发送桌面流,同时使用sdl本地预览sprintf_s(cmd, "ffmpeg %s  -i %s  -an -vcodec %s -pix_fmt yuv420p %s  -s 640x360   -b:v 500k  -r 30   -g 10   -payload_type %d   -f rtp %s -window_size 192x108 -f sdl \"%s\"  ",format.c_str(), srcUrl.c_str(), codec.c_str(), params.c_str(), call->video->payload, call->video->rtpAdress, srcUrl.c_str());//运行命令行runCmd(cmd);}//音频推流,如何是同一个输入流也可以和视频合并为一条命令if (call->audio){	std::string srcUrl = "test_music.wav";std::string format = "-re -stream_loop -1";	auto codec = StringHelper::toLower(call->audio->codec);std::string params = "";char cmd[512];if (codec == "opus"){codec = "libopus";}if (codec == "pcmu"){codec = "pcm_mulaw";params = "-ac 1 -af \"aresample=8000[0];[0]asetnsamples=n=160:p=0\"";//af滤镜确保每个包160bytes}//转发本地文件sprintf_s(cmd, "ffmpeg  %s -i %s -vn -acodec %s  -ar %d  %s -payload_type %d -f rtp %s",format.c_str(), srcUrl.c_str(), codec.c_str(), call->audio->sampleRate, params.c_str() , call->audio->payload, call->audio->rtpAdress);printf(cmd);//运行命令行runCmd(cmd);}//播放对方音视频if (call->sdp){FILE* f=NULL;fopen_s(&f, "test.sdp", "wb");if (f){fwrite(call->sdp, 1, strlen(call->sdp), f);fclose(f);std::string cmd = "ffplay.exe -x 640 -y 360 -protocol_whitelist \"file,udp,rtp\" -i test.sdp";//运行命令行runCmd(cmd);}else{printf("fopen_s test.sdp error\n");}}break;case SIPUAEVENT_ENDED://关闭所有子进程closeJobObject();break;default:break;}};//开启测试拨号new std::thread([&]() {Sleep(2000);ua.call("1004", true);});ua.exec(&exitFlag);
}

四、完整代码

eXosip版本为5.1，ffmpeg.exe为4.3，vs2022项目。

https://download.csdn.net/download/u013113678/88180712

五、效果预览

使用freeswitch作为sip服务器
本文程序的运行效果：
推送本地mp4到sip
在这里插入图片描述
使用linphone作为对端运行效果：
在这里插入图片描述

总结

以上就是今天讲述的内容，本文使用的技术很简单，但是实现过程有点曲折。尤其是端口冲突问题，花了不少的时间确定原因，解决办法也是无意中想到的，否则可能很早就用代码去实现整个sip客户端了。本文的实现方式，很好的解耦了sip和流媒体以及rtp，sip可以单独实现、流媒体也可以自由选择、也不需要共用一个rtp会话，有时想要快速搭建一个测试项目就变得容易多了。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/58351.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

安全杂记 - Linux文本三剑客之awk

安全杂记 - Linux文本三剑客之awk

目录 1.什么是AWK2.正则表达式3.语法4.内置变量示例printf命令5.复现awk经典实例(1).插入几个新字段(2).格式化空白(3).筛选IPv4地址(4).筛选给定时间范围内的日志 1.什么是AWK awk、grep、sed是linux操作文本的三大利器&#xff0c;合称文本三剑客。三者的功能都是处理文本&a…
阅读更多...
vscode extension 怎么区分dev prod

vscode extension 怎么区分dev prod

开发模式注入环境变量 使用vsode 提供的api
阅读更多...
C语言经典小游戏之扫雷（超详解释+源码）

C语言经典小游戏之扫雷（超详解释+源码）

“少年气&#xff0c;是历尽千帆举重若轻的沉淀&#xff0c;也是乐观淡然笑对生活的豁达&#xff01;” 今天我们学习一下扫雷游戏怎么用C语言来实现&#xff01; 扫雷小游戏 1.游戏介绍2.游戏准备3.游戏实现3.1生成菜单3.2游戏的具体实现3.2.1初始化棋盘3.2打印棋盘3.3布置雷…
阅读更多...
【Ubuntu】安装docker，docker compose 以及部署一个docker应用

【Ubuntu】安装docker，docker compose 以及部署一个docker应用

大家好&#xff01;在过去&#xff0c;已经分享了很多有关通过Docker部署应用的内容。今天&#xff0c;我将为大家详细介绍如何在Ubuntu系统上部署最新的Docker平台。 Docker是什么 Docker是一个开源的容器化平台&#xff0c;它允许您将应用程序及其所有依赖项打包到称为容器…
阅读更多...
Clickhouse 存储引擎

Clickhouse 存储引擎

一、常用存储引擎分类 1.1 ReplacingMergeTree 这个引擎是在 MergeTree 的基础上&#xff0c;添加了”处理重复数据”的功能&#xff0c;该引擎和MergeTree的不同之处在于它会删除具有相同主键的重复项。 特点: 1使用ORDERBY排序键作为判断重复的唯一键 2.数据的去重只会在合并…
阅读更多...
ClickHouse（十一）：Clickhouse MergeTree系列表引擎 - MergeTree（1）

ClickHouse（十一）：Clickhouse MergeTree系列表引擎 - MergeTree（1）

进入正文前&#xff0c;感谢宝子们订阅专题、点赞、评论、收藏&#xff01;关注IT贫道&#xff0c;获取高质量博客内容&#xff01; &#x1f3e1;个人主页&#xff1a;含各种IT体系技术&#xff0c;IT贫道_Apache Doris,Kerberos安全认证,大数据OLAP体系技术栈-CSDN博客 &…
阅读更多...
洛阳Geotrust旗下有RapidSSL https证书吗

洛阳Geotrust旗下有RapidSSL https证书吗

Geotrust是知名的CA认证机构&#xff0c;旗下的https数字证书产品众多&#xff0c;Geotrust的数字证书具有高度的兼容性和可信度&#xff0c;得到了全球用户的广泛认可和信赖。Geotrust是一家全球领先的数字证书颁发机构&#xff0c;提供多种数字证书服务&#xff0c;包括SSL证…
阅读更多...
漫画算法做题笔记

漫画算法做题笔记

诸神缄默不语-个人CSDN博文目录 哦这是我三年前写的&#xff0c;我现在Java语法都快忘光了…… 反正之前的博文也发一下好了。这个因为我当年是用有道云笔记而不是直接用CSDN编辑器写的&#xff0c;所以后面有些内容写乱了&#xff0c;因为我现在猛的一看有点看不懂&#xff0…
阅读更多...
Tailwind CSS：简洁高效的工具，提升前端开发体验

Tailwind CSS：简洁高效的工具，提升前端开发体验

112. Tailwind CSS&#xff1a;简洁高效的工具&#xff0c;提升前端开发体验 1. 什么是Tailwind CSS&#xff1f; Tailwind CSS是由Adam Wathan、Jonathan Reinink、David Hemphill和Steve Schoger等人共同创建的一种现代CSS框架。与传统的CSS框架不同&#xff0c;Tailwind CS…
阅读更多...
C语言学习笔记 vscode使用外部console-11

C语言学习笔记 vscode使用外部console-11

前言 在默认情况下&#xff0c;我们运行C语言程序都是在vscode终端的&#xff0c;在小程序运行时这个是没有问题的&#xff0c;但是当程序变得复杂它就不好用了&#xff0c;这时我们可以将这个终端设置为外部console&#xff0c;这样方便处理更多、更复杂的程序。 步骤 1.点击…
阅读更多...
zookeeper --- 基础篇

zookeeper --- 基础篇

一、zookeeper简介 1.1、什么是zookeeper zookeeper官网&#xff1a;https://zookeeper.apache.org/ 大数据生态系统里的很多组件的命名都是某种动物或者昆虫&#xff0c;他是用来管 Hadoop&#xff08;大象&#xff09;、Hive(蜜蜂)、Pig(小 猪)的管理员。顾名思义就是管理…
阅读更多...
网络防御（7）

网络防御（7）

课堂实验 R1 [Huawei] int g0/0/0 [Huawei-GigabitEthernet0/0/0]ip add 100.1.12.2 24 protocolAug 1 2023 10:24:09-08:00 Huawei gOlIFNET/4/LINK STATE(1)[4]:The1ineIp on the interface GigabitEthernet0/0/0 has entered the Up state. [Huawei-GigabitEthernet0/0/…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023