最简单的基于 FFmpeg 的视音频分离器 - 简化版

最简单的基于 FFmpeg 的视音频分离器 - 简化版

  • 最简单的基于 FFmpeg 的视音频分离器 - 简化版
    • 正文
    • 结果
    • 工程文件下载
    • 参考链接

最简单的基于 FFmpeg 的视音频分离器 - 简化版

参考雷霄骅博士的文章，链接：最简单的基于FFmpeg的封装格式处理：视音频分离器简化版（demuxer-simple）

正文

本文介绍一个视音频分离器（Demuxer）。

视音频分离器即是将封装格式数据（例如 MKV）中的视频压缩数据（例如 H.264）和音频压缩数据（例如 AAC）分离开，如下图所示。

在这里插入图片描述

在这个过程中并不涉及到编码和解码。

本文记录的程序将一个 FLV 封装的文件（其中视频编码为 H.264，音频编码为 MP3）分离成为两个文件：一个 H.264 编码的视频码流文件，一个 MP3 编码的音频码流文件。

需要注意的是，本文介绍的是一个简单版的视音频分离器（Demuxer）。该分离器的优点是代码十分简单，很好理解。但是缺点是并不适用于一些格式。对于 MP3 编码的音频是没有问题的。但是在分离 MP4/FLV/MKV 等一些格式中的 AAC 编码的码流的时候，得到的 AAC 码流是不能播放的。原因是存储 AAC 数据的 AVPacket 的 data 字段中的数据是不包含 7 字节 ADTS 文件头的“砍头”的数据，是无法直接解码播放的（当然如果在这些数据前面手工加上 7 字节的 ADTS 文件头的话，就可以播放了）。

分离某些封装格式（例如 MP4/FLV/MKV 等）中的 H.264 的时候，需要首先写入 SPS 和 PPS，否则会导致分离出来的数据没有 SPS、PPS 而无法播放。H.264 码流的 SPS 和 PPS 信息存储在 AVCodecContext 结构体的 extradata 中。需要使用 FFmpeg 中名称为“h264_mp4toannexb”的 bitstream filter 处理。有两种处理方式：

（1）使用 bitstream filter 处理每个 AVPacket（简单）

把每个 AVPacket 中的数据（data 字段）经过 bitstream filter “过滤”一遍。关键函数是 av_bitstream_filter_filter()。示例代码如下：

AVBitStreamFilterContext* h264bsfc =  av_bitstream_filter_init("h264_mp4toannexb"); while(av_read_frame(ifmt_ctx, &pkt)>=0){if(pkt.stream_index==videoindex){av_bitstream_filter_filter(h264bsfc, ifmt_ctx->streams[videoindex]->codec, NULL, &pkt.data, &pkt.size, pkt.data, pkt.size, 0);fwrite(pkt.data,1,pkt.size,fp_video);//...}av_free_packet(&pkt);}av_bitstream_filter_close(h264bsfc);

上述代码中，把 av_bitstream_filter_filter() 的输入数据和输出数据（分别对应第 4,5,6,7 个参数）都设置成 AVPacket 的 data 字段就可以了。

需要注意的是 bitstream filter 需要初始化和销毁，分别通过函数 av_bitstream_filter_init() 和 av_bitstream_filter_close()。

经过上述代码处理之后，AVPacket 中的数据有如下变化：

  • 每个 AVPacket 的data 添加了 H.264 的 NALU 的起始码 {0,0,0,1}。

  • 每个 IDR 帧数据前面添加了 SPS 和 PPS。

（2）手工添加 SPS，PPS（稍微复杂）

将 AVCodecContext 的 extradata 数据经过 bitstream filter 处理之后得到 SPS、PPS，拷贝至每个 IDR 帧之前。下面代码示例了写入 SPS、PPS 的过程。

FILE *fp=fopen("test.264","ab");
AVCodecContext *pCodecCtx=...  
unsigned char *dummy=NULL;   
int dummy_len;  
AVBitStreamFilterContext* bsfc =  av_bitstream_filter_init("h264_mp4toannexb");    
av_bitstream_filter_filter(bsfc, pCodecCtx, NULL, &dummy, &dummy_len, NULL, 0, 0);  
fwrite(pCodecCtx->extradata,pCodecCtx->extradata_size,1,fp);  
av_bitstream_filter_close(bsfc);    
free(dummy);

然后修改 AVPacket 的 data。把前 4 个字节改为起始码。示例代码如下所示：

char nal_start[]={0,0,0,1};
memcpy(packet->data,nal_start,4);

经过上述两步也可以得到可以播放的 H.264 码流，相对于第一种方法来说复杂一些。

当封装格式为 MPEG2TS 的时候，不存在上述问题。

程序的流程如下图所示：

在这里插入图片描述

从流程图中可以看出，将每个通过 av_read_frame() 获得的 AVPacket 中的数据直接写入文件即可。

简单介绍一下流程中各个重要函数的意义：

  1. avformat_open_input()：打开输入文件。
  2. av_read_frame()：获取一个 AVPacket。
  3. fwrite()：根据得到的 AVPacket 的类型不同，分别写入到不同的文件中。

源程序：

// Simplest FFmpeg Demuxer Simple.cpp : 定义控制台应用程序的入口点。
///**
* 最简单的基于 FFmpeg 的视音频分离器（简化版）
* Simplest FFmpeg Demuxer Simple
*
* 源程序：
* 雷霄骅 Lei Xiaohua
* leixiaohua1020@126.com
* 中国传媒大学/数字电视技术
* Communication University of China / Digital TV Technology
* http://blog.csdn.net/leixiaohua1020
*
* 修改：
* 刘文晨 Liu Wenchen
* 812288728@qq.com
* 电子科技大学/电子信息
* University of Electronic Science and Technology of China / Electronic and Information Science
* https://blog.csdn.net/ProgramNovice
*
* 本程序可以将封装格式中的视频码流数据和音频码流数据分离出来。
* 在该例子中， 将FLV的文件分离得到 H.264 视频码流文件和 MP3 音频码流文件。
*
* 注意：
* 这个是简化版的视音频分离器。
* 与原版的不同在于，没有初始化输出视频流和音频流的 AVFormatContext，
* 而是直接将解码后的得到的 AVPacket 中的的数据通过 fwrite() 写入文件。
* 这样做的好处是流程比较简单。
* 坏处是对一些格式的视音频码流是不适用的，比如说 FLV/MP4/MKV 等格式中的 AAC 码流
* （上述封装格式中的 AAC 的 AVPacket 中的数据缺失了 7 字节的 ADTS 文件头）。
*
* This software split a media file (in Container such as MKV, FLV, AVI...)
* to video and audio bitstream.
* In this example, it demux a FLV file to H.264 bitstream and MP3 bitstream.
* 
* Note:
* This is a simple version of "Simplest FFmpeg Demuxer". 
* It is more simple because it doesn't init Output Video/Audio stream's AVFormatContext.
* It writes AVPacket's data to files directly.
* The advantages of this method is simple.
* The disadvantages of this method is it's not suitable for some kind of bitstreams.
* Forexample, AAC bitstream in FLV/MP4/MKV Container Format
* (data in AVPacket lack of 7 bytes of ADTS header).
*
*/#include "stdafx.h"#include <stdio.h>
#include <stdlib.h>// 解决报错：'fopen': This function or variable may be unsafe.Consider using fopen_s instead.
#pragma warning(disable:4996)// 解决报错：无法解析的外部符号 __imp__fprintf，该符号在函数 _ShowError 中被引用
#pragma comment(lib, "legacy_stdio_definitions.lib")
extern "C"
{// 解决报错：无法解析的外部符号 __imp____iob_func，该符号在函数 _ShowError 中被引用FILE __iob_func[3] = { *stdin, *stdout, *stderr };
}#define __STDC_CONSTANT_MACROS#ifdef _WIN32
// Windows
extern "C"
{
#include "libavformat/avformat.h"
};
#else
// Linux...
#ifdef __cplusplus
extern "C"
{
#endif
#include <libavformat/avformat.h>
#ifdef __cplusplus
};
#endif
#endif// 1: Use H.264 Bitstream Filter 
#define USE_H264BSF 1int main(int argc, char* argv[])
{AVFormatContext *ifmt_ctx = NULL;AVPacket pkt;int ret;int videoindex = -1, audioindex = -1;// Input file URLconst char *in_filename = "cuc_ieschool.flv";// Output video file URLconst char *out_video_filename = "cuc_ieschool.h264";// Output audio file URLconst char *out_audio_filename = "cuc_ieschool.mp3";av_register_all();// 输入ret = avformat_open_input(&ifmt_ctx, in_filename, 0, 0);if (ret < 0){printf("Could not open input file.\n");return -1;}ret = avformat_find_stream_info(ifmt_ctx, 0);if (ret < 0){printf("Failed to retrieve input stream information.\n");return -1;}// Print some input informationav_dump_format(ifmt_ctx, 0, in_filename, 0);for (size_t i = 0; i < ifmt_ctx->nb_streams; i++){if (ifmt_ctx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)videoindex = i;else if (ifmt_ctx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO)audioindex = i;}FILE *fp_audio = fopen(out_audio_filename, "wb+");FILE *fp_video = fopen(out_video_filename, "wb+");/*FIX: H.264 in some container formats (FLV, MP4, MKV etc.)need "h264_mp4toannexb" bitstream filter (BSF).1. Add SPS,PPS in front of IDR frame2. Add start code ("0,0,0,1") in front of NALUH.264 in some containers (such as MPEG2TS) doesn't need this BSF.*/
#if USE_H264BSFAVBitStreamFilterContext* h264bsfc = av_bitstream_filter_init("h264_mp4toannexb");
#endifwhile (1){// 获取一个 AVPacketret = av_read_frame(ifmt_ctx, &pkt);if (ret < 0){break;}if (pkt.stream_index == videoindex){
#if USE_H264BSFav_bitstream_filter_filter(h264bsfc, ifmt_ctx->streams[videoindex]->codec, NULL, &pkt.data, &pkt.size, pkt.data, pkt.size, 0);
#endifprintf("Write a video packet. size:%d\tpts:%lld\n", pkt.size, pkt.pts);fwrite(pkt.data, 1, pkt.size, fp_video);}else if (pkt.stream_index == audioindex){/*AAC in some container formats (FLV, MP4, MKV etc.) need toadd 7 Bytes ADTS Header in front of AVPacket data manually.Other Audio Codec (MP3...) works well.*/printf("Write a audio packet. size:%d\tpts:%lld\n", pkt.size, pkt.pts);fwrite(pkt.data, 1, pkt.size, fp_audio);}av_free_packet(&pkt);}#if USE_H264BSFav_bitstream_filter_close(h264bsfc);
#endiffclose(fp_video);fclose(fp_audio);avformat_close_input(&ifmt_ctx);system("pause");return 0;
}

结果

运行程序，输出如下：

在这里插入图片描述

输入文件为：
cuc_ieschool.flv：FLV 封装格式数据。

在这里插入图片描述

输出文件为：

cuc_ieschool.mp3：MP3 音频码流数据。

在这里插入图片描述

cuc_ieschool.h264：H.264 视频码流数据。

在这里插入图片描述

在这里插入图片描述

工程文件下载

GitHub：UestcXiye / Simplest-FFmpeg-Demuxer-Simple

CSDN：Simplest FFmpeg Demuxer Simple.zip

参考链接

  1. 使用FFMPEG类库分离出多媒体文件中的音频码流
  2. 使用FFMPEG类库分离出多媒体文件中的H.264码流

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/487495.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

TreeData 数据查找

TreeData 数据查找

TreeData 数据查找 最近做需求的时候遇到了这样的一个需求&#xff0c;Tree组件数据支持查找&#xff0c;而且TreeData的数据层级是无限级的 开始想的事借助UI组件库&#xff08;Ant-design-vue&#xff09;中的Tree组件的相关方法直接实现,看了下api 发现没法实现&#xff0c;…
阅读更多...
yolov5-tracking-xxxsort yolov5融合六种跟踪算法（三）--目标跟踪

yolov5-tracking-xxxsort yolov5融合六种跟踪算法（三）--目标跟踪

本次开源计划主要针对大学生无人机相关竞赛的视觉算法开发。 开源代码仓库链接&#xff1a;https://github.com/zzhmx/yolov5-tracking-xxxsort.git 先按照之前的博客配置好环境&#xff1a; yolov5-tracking-xxxsort yolov5融合六种跟踪算法&#xff08;一&#xff09;–环境配…
阅读更多...
QT常用类

QT常用类

五、常用类 QString 字符串类&#xff08;掌握&#xff09; QString是Qt的字符串类&#xff0c;与C的std::string相比&#xff0c; 不再使用ASCII编码。QString使用的是Unicode编码。 QString中每个字符都是一个16位的QChar&#xff0c;而不是8位的char。 QString完全支持中文&…
阅读更多...
Stable Diffusion 模型分享：AstrAnime（Astr动画）

Stable Diffusion 模型分享：AstrAnime（Astr动画）

本文收录于《AI绘画从入门到精通》专栏&#xff0c;专栏总目录&#xff1a;点这里。 文章目录 模型介绍生成案例案例一案例二案例三案例四案例五 下载地址 模型介绍 AstrAnime 是一个动漫模型&#xff0c;画风色彩鲜明&#xff0c;擅长绘制漂亮的小姐姐。 条目内容类型大模型…
阅读更多...
C++——基础语法（2）：函数重载

C++——基础语法（2）：函数重载

4. 函数重载 函数重载就是同一个函数名可以重复被定义&#xff0c;即允许定义相同函数名的函数。但是相同名字的函数怎么在使用的时候进行区分呢&#xff1f;所以同一个函数名的函数之间肯定是要存在不同点的&#xff0c;除了函数名外&#xff0c;还有返回类型和参数两部分可以…
阅读更多...
使用LinkedList实现堆栈及Set集合特点、遍历方式、常见实现类

使用LinkedList实现堆栈及Set集合特点、遍历方式、常见实现类

目录 一、使用LinkedList实现堆栈 堆栈 LinkedList实现堆栈 二、集合框架 三、Set集合 1.特点 2.遍历方式 3.常见实现类 HashSet LinkedHashSet TreeSet 一、使用LinkedList实现堆栈 堆栈 堆栈&#xff08;stack&#xff09;是一种常见的数据结构&#xff0c;一端…
阅读更多...
LED智能互联办公室照明恒流调光IC芯片无频闪H5114

LED智能互联办公室照明恒流调光IC芯片无频闪H5114

调光高辉度65536级/高精度3% LED降压型恒流驱动器H5114 产品描述 H5114是一款外围电路简单的多功能平 均电流型LED恒流驱动器&#xff0c;适用于5-90V电压范围的非隔离式大功率恒流LED驱动领域。 芯片采用了平均电流模式控制&#xff0c;输出电流精度在3&#xff05;&#xff…
阅读更多...
.NET指定图片地址下载并转换Base64字符串

.NET指定图片地址下载并转换Base64字符串

需求描述 需要调用第三方图片上传接口上传图片&#xff0c;对方图片格式只能接收Base64字符串。所以我们需要将系统服务器的图片通过Url下载下来&#xff0c;然后转换成Base64字符串。接下来我们将使用HttpClient类库下载图片并将其转换为Base64格式的字符串。 代码示例 /// &…
阅读更多...
Rust核心：【所有权】相关知识点

Rust核心：【所有权】相关知识点

rust在内存资源管理上采用了&#xff08;先进优秀&#xff1f;算吗&#xff09;但特立独行的设计思路&#xff1a;所有权。这是rust的核心&#xff0c;贯穿在整个rust语言的方方面面&#xff0c;并以此为基点来重新思考和重构软件开发体系。 涉及到的概念点&#xff1a;借用&am…
阅读更多...
[更新]ARCGIS之土地耕地占补平衡、进出平衡系统报备坐标txt格式批量导出工具（定制开发版）

[更新]ARCGIS之土地耕地占补平衡、进出平衡系统报备坐标txt格式批量导出工具（定制开发版）

序言 之前开发的耕地占补平衡报备格式&#xff0c;现在之前的基础上集成了耕地进出平衡报备格式导出。 之前版本软件详见&#xff1a;软件介绍 一、软件简介 本软件是基于arcgis二次开发的工具&#xff08;插件&#xff09;&#xff0c;需要授权后才能使用&#xff1b; 本软件…
阅读更多...
Java设计模式 | 简介

Java设计模式 | 简介

设计模式的重要性&#xff1a; 软件工程中&#xff0c;设计模式&#xff08;design pattern&#xff09;是对软件设计中普遍存在&#xff08;反复出现&#xff09;的各种问题&#xff0c;所提出的解决方案。 这个术语由埃里希 伽玛&#xff08;Erich Gamma&#xff09;等人在1…
阅读更多...
FairyGUI × Cocos Creator 3.x 场景切换

FairyGUI × Cocos Creator 3.x 场景切换

前言 前文提要&#xff1a; FariyGUI Cocos Creator 入门 FairyGUI Cocos Creator 3.x 使用方式 个人demo&#xff1a;https://gitcode.net/qq_36286039/fgui_cocos_demo_dust 个人demo可能会更新其他代码&#xff0c;还请读者阅读本文内容&#xff0c;自行理解并实现。 官…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023