Android中集成FFmpeg及NDK基础知识

前言

在日常App开发中,难免有些功能是需要借助NDK来完成的,比如现在常见的音视频处理等,今天就以ffmpeg入手,来学习下Android NDK开发的套路.

JNI和NDK

很多人并不清除JNI和NDK的概念,经常搞混这两样东西,先来看看它们各自的定义吧.

JNI和NDK

很多人并不清除JNI和NDK的概念,经常搞混这两样东西,先来看看它们各自的定义吧.

设计目的

标准的java类库不支持你的程序所需的特性。或者你已经有了一个用其他语言写成的库或程序，而你希望在java程序中使用它。或者是你需要一个高性能的库来完成一些操作.

使用步骤

  1. 编写带有native声明的方法的java类
  2. 使用javac命令编译所编写的java类
  3. 然后使用javah + java类名生成扩展名为h的头文件
  4. 使用C/C++实现本地方法
  5. 将C/C++编写的文件生成动态连接库*(在Android中就是.so库)
  6. java代码中调用native方法

NDK

NDK全称Native Development Kit，是Android的一个开发工具包,与Java并没有什么关系.

NDK的核心目的之一是让您将 C 和 C++ 源代码构建为可用于应用的共享库。嗯,就是它提供了交叉编译的功能.

CPU架构

我们都知道 CPU 是什么，那 CPU 架构到底是什么呢？回归到“架构”这个词本身含义，CPU 架构就是 CPU 的框架结构、设计方案，处理器厂商以某种架构为基础，生产自己的 CPU，就好比“总-分-总”是文章的一种架构，多篇文章可以都基于“总-分-总”架构。

常见的 CPU 架构有 x86、x86-64 以及 arm 等， x86-64 其实也是基于 x86 架构，只是在 x86 的基础上做了一些扩展，以支持 64 位程序的应用，常见的 Intel 、AMD 处理器都是基于 x86 架构的。

而 x86 架构主打的是 pc 端，对于移动端，arm 架构处于霸主地位 ，由于其体积小、低功耗、低成本、高性能的优点，被广泛应用在嵌入式系统中，目前大多数安卓、苹果手机的 CPU 都基于 arm 架构，此处所说的 arm 架构指 arm 系列架构，其中包括 ARMv5 、ARMv7 等等。

最后再看 Android 端 ， Android 系统目前支持 ARMv5、ARMv7、ARMv8、 x86 、x86_64、MIPS 以及 MIPS64 共七种 CPU 架构，也就是说除此之外其他 CPU 架构的硬件并不能运行 Android 系统。

交叉编译

在某个平台上，编译该平台的可执行程序，叫做本地编译，比如在 Windows 平台上编译 Windows 自身的可执行程序；在 x86 平台上，编译 x86 平台自身的可执行程序。

在某个平台上，编译另一种平台的可执行程序，就是交叉编译，比如在 x86 平台上，编译 arm 平台的可执行程序，这也是 Android 端使用最多的交叉编译类型。

在交叉编译时，由于主机与目标的体系架构、环境不同，所以交叉编译比本地编译复杂很多，需要一些工具来解决主机与目标不同特性的问题，这些工具构成的工具集就叫做交叉编译链。

既然交叉编译比本地复杂很多，那为什么不使用本地编译，比如在 arm 平台编译 arm 平台的可执行程序呢？这是因为目标平台存储空间和计算能力通常是有限的，而编译过程需要较大的存储空间和较快的计算能力，但目标平台无法提供。

相关学习资料推荐，点击下方链接免费报名，先码住不迷路~】

音视频免费学习地址：FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发

【免费分享】音视频学习资料包、大厂面试题、技术视频和学习路线图，资料包括（C/C++，Linux，FFmpeg webRTC rtmp hls rtsp ffplay srs 等等）有需要的可以点击788280672加群免费领取~

项目中使用NDK

这里可以查看一篇官方文档,中文,写的很详细:向您的项目添加C和C++ 代码,强烈建议认真阅读下这部分文档

CMake

NDK的构建有两种方式,一种是早期使用的ndk-build,一种是在Android Studio2.2之后推荐使用的cmake,我们今天只说推荐的cmake这种方式.

CMakeLists.txt的写法

  • add_library 使用指定的源文件将库添加到项目中
  1. 普通库
// 添加普通库的语法
add_library(<name> [STATIC | SHARED | MODULE][EXCLUDE_FROM_ALL][source1] [source2 ...])// 创建ndk项目中默认生成的例子
add_library( # Sets the name of the library.native-lib# Sets the library as a shared library.SHARED# Provides a relative path to your source file(s).src/main/cpp/native-lib.cpp )

name属性没什么好说的,注意全局唯一就好.

[STATIC | SHARED | MODULE]的话是生成的库的类型,STATIC的话生成的是静态库,也就是.a后缀的.我们一般用的都是SHARED生成动态链接库,也就是.so后缀的.

导入库

// 语法
add_library(<name> <SHARED|STATIC|MODULE|OBJECT|UNKNOWN> IMPORTED[GLOBAL])// 导入编译好的ffmpeg样例    
add_library( ffmpegSHAREDIMPORTED )// 设置需要导入的ffmpeg位置
set_target_properties( ffmpegPROPERTIES IMPORTED_LOCATION../../../../libs/armeabi-v7a/libffmpeg.so )
    1. 这种方式可以把我们在外部编译好的.so库导进来
    2. 还有几种我也没用过了,可以参考官方文档看下add_library

include_directories 用来导入相关头文件
 

include_directories(src/main/cpp)

find_library用来引入NDK中提供的库.Android NDK 原生 API

find_library(# 定义存储NDK库位置的路径变量的名称。log-lib# 指定CMake要查找的NDK库的名称。log )

target_link_libraries将导入的库和自己的原生库关联起来

target_link_libraries( # 指定目标库。native-lib# 将目标库链接到NDK中包含的日志库。${log-lib} )

FFmpeg

FFmpeg是一套可以用来记录、处理数字音频、视频，并将其转换为流的开源框架，采用LPL或GPL许可证，提供了录制、转换以及流化音视频的完整解决方案。名称中的mpeg来自视频编码标准mpeg,而前缀FF是Fast Forward的首字母缩写.音视频处理的开源库,可以完成绝大多数音视频相关的功能.很多知名软件,开源库都是基于它进行的二次开发,比如bilibi的ijkPlayer.

GitHub链接

编译FFmpeg

FFmpeg与大部分GNU软件的编译方式类似,都是通过configure脚本来实现编译前的定制,这种方式允许用户在编译前对软件进行裁剪,同时通过对最终运行到的系统及目标平台的配置来决定对某些模块设定合适的配置.所以这里是通过configure的方式来生成Makefile文件,然后使用make和make install编译和安装.

配置环境

首先我们需要先准备相关的编译环境,这里推荐在linux下进行编译,配置简单问题少.当然Mac也行,不推荐Windows.

  1. Linux环境(Ubuntu 16.04)Windows的话下载个VMware Workstation,装个ubuntu还是方便的.
  2. NDK环境 这里使用的是ndk-r17,附上相关下载链接NDK 下载
  3. 下载FFmpeg源码FFmpeg下载地址

修改configure文件

由于FFmpeg默认生成的库文件格式为libavcodec.so.xx.xx.x。其中的xx就是主副版本号，这种格式在Ubuntu下使用是没有问题的，但是在Android下开发使用，并不把其作为有效的库文件。所以需要修改其他生成的文件名的格式。

通过修改configure文件要实现，打开configure，找到如下内容：
 

SLIBNAME_WITH_MAJOR='$(SLIBNAME).$(LIBMAJOR)'  
LIB_INSTALL_EXTRA_CMD='?(RANLIB)"$(LIBDIR)/$(LIBNAME)"'  
SLIB_INSTALL_NAME='$(SLIBNAME_WITH_VERSION)'  
SLIB_INSTALL_LINKS='$(SLIBNAME_WITH_MAJOR)$(SLIBNAME)'

修改为:

SLIBNAME_WITH_MAJOR='$(SLIBPREF)$(FULLNAME)-$(LIBMAJOR)$(SLIBSUF)'
LIB_INSTALL_EXTRA_CMD='?(RANLIB)"$(LIBDIR)/$(LIBNAME)"'
SLIB_INSTALL_NAME='$(SLIBNAME_WITH_MAJOR)'
SLIB_INSTALL_LINKS='$(SLIBNAME)'

编写脚本文件 在FFmpeg根目录下创建build.sh脚本文件,来更方便的配置configure.如下:

#!/bin/bash  
# 配置NDK路径
NDK=/home/xinyang/develop/android-ndk-r17
# 指定了交叉编译环境,使其在编译过程中能够引用到 NDK 提供的原生标头和共享库文件
SYSROOT=$NDK/platforms/android-23/arch-arm/
TOOLCHAIN=$NDK/toolchains/arm-linux-androideabi-4.9/prebuilt/linux-x86_64
# 声明方法
function build_one
{
./configure \
--prefix=$PREFIX \      # 设置输出路径
--enable-shared \       # 打开动态库输出
--disable-static \      # 关闭静态库输出
--disable-doc \         # 关闭不需要的功能
--disable-ffmpeg \
--disable-ffplay \
--disable-ffprobe \
--disable-avdevice \
--disable-symver \
--cross-prefix=$TOOLCHAIN/bin/arm-linux-androideabi- \  # 指定交叉编译工具链 
--target-os=linux \     # 目标系统 android基于linux 所以这里指定为linux
--arch=armeabi-v7a \    # 目标平台架构
--enable-cross-compile \# 开启交叉编译
--sysroot=$SYSROOT \    # 交叉编译环境
--extra-cflags="-Os -fpic $ADDI_CFLAGS" \
--extra-ldflags="$ADDI_LDFLAGS" \
$ADDITIONAL_CONFIGURE_FLAG
make clean
make
make install
}
CPU=armeabi-v7a
PREFIX=$(pwd)/android/$CPU
ADDI_CFLAGS="-marm"
build_one

--cross-prefix
类似于通配符方式指定 bin 目录下以 arm-linux-androideabi- 开头的交叉编译工具，假如不支持这种配置方式则需分别指定:

  • CC:$TOOLCHAIN/bin/arm-linux-androideabi-gcc 编译器,对C源文件进行编译处理,生成汇编文件.
  • CXX:$TOOLCHAIN/bin/arm-linux-androideabi-g++
  • AR:$TOOLCHAIN/bin/arm-linux-androideabi-ar 打包器,用于库操作,可以通过该工具从一个库中删除或者增加目标代码模块.
  • LD:$TOOLCHAIN/bin/arm-linux-androideabi-ld 链接器,为前面生成的目标代码分配地址空间,将多个目标文件链接成一个库或是可执行文件.

执行脚本cd 到ffmpeg目录下

chmod 777 build.sh

首先修改下脚本文件的可执行权限

./build.sh
  1. 然后执行脚本,整个过程比较慢,耐心等待就好,整个过程大概需要5-10分钟.编译完成后就可以看到如下图,其中include中是一些头文件,lib中就是生成的.so动态库了

集成FFmpeg

到这里就可以把生成的.so文件集成到我们的项目中了,来看看步骤:

  1. 项目关联NDK,按这里的教程执行向您的项目添加C和C++ 代码;
  2. 拷贝生成的.so文件到libs目录下(或是jniLibs);
  3. 拷贝生成的include文件夹到cpp目录;
  4. 拷贝ffmpeg\fftools目录下文件到cpp目录;
  5. 编写native方法

package com.xinyang.ndkdemo;public class FFmpegCmd {static {System.loadLibrary("ffmpeg");
}public native static void handle();}

在cpp目录下创建ffmpeg_cmd.c文件,实现native方法,这里可以采用javah生成头文件再实现的方式,也可以直接在java类中使用快捷键提示,直接生成方法:

#include <jni.h>
#include <malloc.h>
#include <string.h>
#include <android/log.h>
#include "ffmpeg/ffmpeg.h"JNIEXPORT void  JNICALL Java_com_xinyang_ndkdemo_FFmpegCmd_handle
(JNIEnv *env, jclass obj){char info[40000] = {0};av_register_all();AVCodec *c_temp = av_codec_next(NULL);while(c_temp != NULL){if(c_temp->decode!=NULL){sprintf(info,"%s[Dec]",info);}else{sprintf(info,"%s[Enc]",info);}switch(c_temp->type){case AVMEDIA_TYPE_VIDEO:sprintf(info,"%s[Video]",info);break;case AVMEDIA_TYPE_AUDIO:sprintf(info,"%s[Audio]",info);break;default:sprintf(info,"%s[Other]",info);break;}sprintf(info,"%s[%10s]\n",info,c_temp->name);c_temp=c_temp->next;}__android_log_print(ANDROID_LOG_INFO,"myTag","info:\n%s",info);
}

这段程序用于输出 FFmpeg 支持的编解码信息，通过 < android/log.h > 的 __android_log_print 方法可以直接将信息输出到 Android Studio 的 logcat 。

编辑CMakeLists.txt导入相关.so文件,使用add_library导入库的方式把生成的.so文件依次导入,使用include_directories导入头文件,最后再用target_link_libraries把导入的库和生成的目标库关联起来,如下所示:
 

# For more information about using CMake with Android Studio, read the
# documentation: https://d.android.com/studio/projects/add-native-code.html# Sets the minimum version of CMake required to build the native library.cmake_minimum_required(VERSION 3.4.1)# Creates and names a library, sets it as either STATIC
# or SHARED, and provides the relative paths to its source code.
# You can define multiple libraries, and CMake builds them for you.
# Gradle automatically packages shared libraries with your APK.add_library( # Sets the name of the library.ffmpeg# Sets the library as a shared library.SHARED# Provides a relative path to your source file(s).src/main/cpp/ffmpeg_cmd.csrc/main/cpp/ffmpeg/cmdutils.csrc/main/cpp/ffmpeg/ffmpeg.csrc/main/cpp/ffmpeg/ffmpeg_filter.csrc/main/cpp/ffmpeg/ffmpeg_opt.c)
include_directories(src/main/cpp)
include_directories(src/main/cpp/include)add_library(avutil-55SHAREDIMPORTED
)
set_target_properties( avutil-55PROPERTIES IMPORTED_LOCATION../../../../libs/armeabi-v7a/libavutil-55.so )add_library(avcodec-57SHAREDIMPORTED
)
set_target_properties( avcodec-57PROPERTIES IMPORTED_LOCATION../../../../libs/armeabi-v7a/libavcodec-57.so )add_library(avformat-57SHAREDIMPORTED
)
set_target_properties( avformat-57PROPERTIES IMPORTED_LOCATION../../../../libs/armeabi-v7a/libavformat-57.so )add_library(avdevice-57SHAREDIMPORTED
)
set_target_properties( avdevice-57PROPERTIES IMPORTED_LOCATION../../../../libs/armeabi-v7a/libavdevice-57.so )add_library(swresample-2SHAREDIMPORTED
)
set_target_properties( swresample-2PROPERTIES IMPORTED_LOCATION../../../../libs/armeabi-v7a/libswresample-2.so )add_library(swscale-4SHAREDIMPORTED
)
set_target_properties( swscale-4PROPERTIES IMPORTED_LOCATION../../../../libs/armeabi-v7a/libswscale-4.so )add_library(postproc-54SHAREDIMPORTED
)
set_target_properties( postproc-54PROPERTIES IMPORTED_LOCATION../../../../libs/armeabi-v7a/libpostproc-54.so )add_library(avfilter-6SHAREDIMPORTED
)
set_target_properties( avfilter-6PROPERTIES IMPORTED_LOCATION../../../../libs/armeabi-v7a/libavfilter-6.so )# Searches for a specified prebuilt library and stores the path as a
# variable. Because CMake includes system libraries in the search path by
# default, you only need to specify the name of the public NDK library
# you want to add. CMake verifies that the library exists before
# completing its build.find_library( # Sets the name of the path variable.log-lib# Specifies the name of the NDK library that# you want CMake to locate.log )# Specifies libraries CMake should link to your target library. You
# can link multiple libraries, such as libraries you define in this
# build script, prebuilt third-party libraries, or system libraries.target_link_libraries( # Specifies the target library.ffmpegavutil-55avcodec-57avformat-57avdevice-57swresample-2swscale-4postproc-54avfilter-6# Links the target library to the log library# included in the NDK.${log-lib} )

试着调用native方法,在logcat中查看具体输出信息,如下:

总结

总的来说使用CMake方式还是比较简单的,编写CMakeLists.txt文件,在gradle中指定文件位置就好.重点在于相关库的交叉编译及编写调用相关api文件的C文件,这里就需要一些C的基础了.

原文 Android中集成FFmpeg及NDK基础知识 - 掘金

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/410311.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

用julia演示蝴蝶效应：洛伦兹吸引子

用julia演示蝴蝶效应：洛伦兹吸引子

文章目录 Lorentz吸引子julia绘图关闭抗锯齿 蝴蝶效应的名字来源于蝴蝶扇动翅膀的动作&#xff0c;虽然这个动作微小&#xff0c;但可能会在数周后引起飓风等极端天气的发生。这种现象表明&#xff0c;微小的变化可能会被放大并产生非线性的结果。这个概念最早由美国气象学家爱…
阅读更多...
mysql原理--undo日志1

mysql原理--undo日志1

1.事务回滚的需求 我们说过 事务 需要保证 原子性 &#xff0c;也就是事务中的操作要么全部完成&#xff0c;要么什么也不做。但是偏偏有时候事务执行到一半会出现一些情况&#xff0c;比如&#xff1a; (1). 事务执行过程中可能遇到各种错误&#xff0c;比如服务器本身的错误&…
阅读更多...
电能质量在线监测装置和防孤岛保护装置 在特斯拉工厂分布式光伏项目的应用

电能质量在线监测装置和防孤岛保护装置 在特斯拉工厂分布式光伏项目的应用

摘要&#xff1a; 随着全球对可再生能源的关注度不断提高&#xff0c;分布式光伏发电系统在近年来得到了广泛应用。分布式光伏发电系统具有环保、灵活等优势&#xff0c;能够有效地缓解能源短缺和环境污染问题。同时&#xff0c;电能质量在线监测装置和防孤岛保护装置在分布式…
阅读更多...
大数据 - Kafka系列《一》- Kafka基本概念

大数据 - Kafka系列《一》- Kafka基本概念

目录 &#x1f436;1.1 什么是kafka &#x1f436;1.2 Kafka可以用来做什么 &#x1f436;1.3 kafka的特点 &#x1f959;1. 高吞吐量、低延迟 &#x1f959;2. 可扩展性 &#x1f959;3. 持久性、可靠性 &#x1f959;4. 容错性 &#x1f959;5. 高并发 &#x1f436…
阅读更多...
在Linux上使用PHP-FPM与Nginx实现高效的HTTP处理

在Linux上使用PHP-FPM与Nginx实现高效的HTTP处理

当谈到高效的HTTP处理时&#xff0c;PHP-FPM&#xff08;FastCGI进程管理器&#xff09;与Nginx的结合是许多web开发者的首选。这种组合提供了出色的性能、可扩展性和稳定性&#xff0c;尤其适用于高流量的网站和应用程序。 1. 为什么选择PHP-FPM与Nginx&#xff1f; 性能优化…
阅读更多...
跟着cherno手搓游戏引擎【7】Input轮询

跟着cherno手搓游戏引擎【7】Input轮询

在引擎程序中任何时间&#xff0c;任何位置都能知道按键是否按下、鼠标的位置等等信息。 与事件系统的区别&#xff1a;事件系统是在按下时调用并传递按键状态&#xff1b;轮询是每时每刻都能获取按键状态 创建基类&#xff1a; YOTO/Input.h&#xff1a;名如其意 #pragma …
阅读更多...
sqlilabs第五十三五十四关

sqlilabs第五十三五十四关

Less-53(GET - GET - Error based - ORDER BY CLAUSE-String- Stacked injection) 手工注入 单引号闭合&#xff0c;和上一关一样堆叠注入解决 自动注入 和上一关一样 Less-54(GET - challenge - Union- 10 queries allowed -Variation 1) 手工注入 这一关开始后面的可以看…
阅读更多...
【云原生】springboot 整合 OpenTelemetry

【云原生】springboot 整合 OpenTelemetry

目录 一、前言 二、应用可观测性概述 2.1 什么是可观测性 2.2 可观测性三大指标 2.2.1 指标&#xff08;Metrics&#xff09; 2.2.2 日志&#xff08;log&#xff09; 2.2.3 追踪(Traces) 三、OpenTelemetry 介绍 3.1 什么是OpenTelemetry 3.2 OpenTelemetry架构和组件…
阅读更多...
kibana查看和展示es数据

kibana查看和展示es数据

本文来说下使用kibana查看和展示es数据 文章目录 数据准备查询所有文档示例kibana查看和展示es数据 数据准备 可以使用es的命令或者java程序来往&#xff0c;es进行新增数据 查询所有文档示例 在 apifox 中&#xff0c;向 ES 服务器发 GET请求 &#xff1a;http://localhost:92…
阅读更多...
(Matlab)基于CNN-Bi_LSTM的多维回归预测(卷积神经网络-双向长短期记忆网络)

(Matlab)基于CNN-Bi_LSTM的多维回归预测(卷积神经网络-双向长短期记忆网络)

目录 一、程序及算法内容介绍&#xff1a; 基本内容&#xff1a; 亮点与优势&#xff1a; 二、实际运行效果&#xff1a; 三、部分代码展示&#xff1a; 四、完整程序数据分享&#xff1a; 一、程序及算法内容介绍&#xff1a; 基本内容&#xff1a; 本代码基于Matlab平…
阅读更多...
huggingface学习 | 云服务器使用git-lfs下载huggingface上的模型文件

huggingface学习 | 云服务器使用git-lfs下载huggingface上的模型文件

文章目录 一、找到需要下载的huggingface文件二、准备工作&#xff08;一&#xff09;安装git-lfs&#xff08;二&#xff09; 配置git ssh 三、检查ssh连接huggingface是否成功 一、找到需要下载的huggingface文件 huggingface官网链接&#xff1a;https://huggingface.co/ 以…
阅读更多...
【ArcGIS遇上Python】ArcGIS Python批量筛选多个shp中指定字段值的图斑（以土地利用数据为例）

【ArcGIS遇上Python】ArcGIS Python批量筛选多个shp中指定字段值的图斑（以土地利用数据为例）

文章目录 一、案例分析二、提取效果二、代码运行效果三、Python代码四、数据及代码下载一、案例分析 以土地利用数据为例，提取多个shp数据中的旱地。 二、提取效果 原始土地利用数据： 属性表： 提取的旱地：（以图层名称+地类名称命名）
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023