代码审计平台sonarqube的安装及使用-编程知识

docker搭建代码审计平台sonarqube

- - 一、代码审计关注的质量指标
  - 二、静态分析技术分类
  - 三、使用sonarqube的目的
  - 四、sonarqube流程
  - 五、docker快速搭建sonarqube
  - 六、sonarqube scanner的安装和使用
  - 七、sonarqube对maven项目进行分析
  - 八、sonarqube分析报告解析
  - 九、代码扫描规则定制
  - 十、sonarqube api的使用
  - 十一、单元测试与代码覆盖率实战
  - 十二、使用注意事项

我们之前测试更多是做的黑盒测试，黑盒层面能帮我们更好的保证用户的功能体验，但是这样带来一些问题，比如一些很容易发现的问题在外围需要花费很多成本才能解决，我们期望质量体系可以多元化。一些问题比如客户端崩溃，移动端的性能问题等，在代码端可以很容易扫描出来。我们可以把测试往前提，就是测试左移，这样可以提升效益，把bug消灭在提测前。我们可以使用sonarqube先来实现这个效果。

一、代码审计关注的质量指标

代码坏味道
- 代码规范
- 技术债评估
bug和漏洞
代码重复度
单测与集成
- 测试用例数量
- 覆盖率

二、静态分析技术分类

代码静态检查
- 代码分析:lint系列，通过分析语法树和源代码，检查代码规范
- 编译器分析:借助于编译器获得代码关系
字节码静态分析
- 分析jar、war、dex等格式的文件，代表工具:fndbugs

三、使用sonarqube的目的

sonarqube目前我们着重关注一些高优先级别的bug，特别是新增代码导致的新的bug和漏洞，比如因为安全规范没遵守导致潜在漏洞发生。还有就是看覆盖率和单元测试的case数量，以及引用覆盖率去度量产品测试是否充分。

四、sonarqube流程

在这里插入图片描述

五、docker快速搭建sonarqube

db_instance=postgres_prod
sonarqube_instance=sonarqube_prod
data_dir=/root/sonarqube
#创建数据目录
mkdir -p $data_dir
mkdir $data_dir/postgresql
mkdir $data_dir/sonarqube_data
mkdir $data_dir/sonarqube_extensions
mkdir $data_dir/sonarqube_logs
chmod -R 777 $data_dir#创建网络
docker network create sonarqube
#启动pg数据库
docker run -d \--name $db_instance \--network sonarqube \-p 5432:5432 \-e POSTGRES_USER=sonarqube \-e POSTGRES_PASSWORD=sonarqube \-e PGDATA=/var/lib/postgresql/data/pgdata \-v $data_dir/postgresql:/var/lib/postgresql/data \postgressysctl -w vm.max_map_count=524288
sysctl -w fs.file-max=131072
ulimit -n 131072
ulimit -u 8192#启动soarqube的产品部署
docker run -d \--name $sonarqube_instance \--network sonarqube \-p 9000:9000 -p 9092:9092 \-e SONARQUBE_JDBC_USERNAME=sonarqube \-e SONARQUBE_JDBC_PASSWORD=sonarqube \-e SONARQUBE_JDBC_URL="jdbc:postgresql://$db_instance/sonarqube" \-v $data_dir/sonarqube_data:/opt/sonarqube/data \-v $data_dir/sonarqube_extensions:/opt/sonarqube/extensions \-v $data_dir/sonarqube_logs:/opt/sonarqube/logs \sonarqubedocker start sonarqube_prod

查看日志：docker logs -f sonarqube_prod
搭建完成后网页输入http://ip:9000/访问，默认用户名密码是admin，进入以后可以改密码，首页长这样
页面介绍：
- project：项目tab，可以在里面创建一个项目。有项目的可以看到项目总览
- issues：报告出来的问题。左边可以根据条件进行筛选
- rules：系统总共有多少规则需要配置
- quality profiles：包含了一系列rules的配置文件，用于代码分析。允许对规则进行自定义，自己去创建一个新的规则集，然后到rules去里面选自己觉得有用的
- quality gates：质量门禁，可以在里面配置比如覆盖率达到x%的时候就表示通过
- administration：管理员面板
安装插件
- java常用插件有Checkstyle，Findbugs，PMD，SonarJS，SonarJava（后面这3个我找不到了，不知道是不是我版本太高了哈哈）
我们可以在/root/sonarqube/sonarqube_extensions/downloads查看到下载内容
下载完记得要重启

六、sonarqube scanner的安装和使用

PS：我这边下的是sonar的v10.5.1 版本，要搭配java17使用，大家要提前配好环境变量哦~

安装scanner并配置环境变量。

# 下载
wget https://binaries.sonarsource.com/Distribution/sonar-scanner-cli
/sonar-scanner-cli-5.0.1.3006-linux.zip
# 解压
yum -y install unzip
unzip sonar-scanner-5.0.1.3006-linux
# 修改conf配置的全局变量，改成自己的sonarqube地址，还有login密码并保存
cd sonar-scanner-5.0.1.3006-linux/
vim conf/sonar-scanner.properties

在这里插入图片描述

# 配置环境变量
vim /etc/profile
# 添加上
SONARSCANNER_HOME=/root/sonarqube/sonarqube_extensions/downloads/sonar-scanner-5.0.1.3006-linux PATH=$PATH:$SONARSCANNER_HOME/bin
export SONARSCANNER_HOME PATH
# 使其生效
source /etc/profile
# 检查sonarscanner是否配置成功：
sonar-scanner -h

在这里插入图片描述

使用sonar-scanner分析基础项目

# 下载sonar官方案例
git clone git@gitee.com:TheOctopus/sonar-scanning-examples.git
# 切换路径
cd sonar-scanning-examples
# 修改properties配置文件的前三个参数,projectVersion可以改成与项目一致的版本号并保存
cd /root/sonar-scanning-examples/sonarqube-scanner
# 在项目主路径创建这个配置文件，sonar启动过程中会去找，如果找不到，会从项目里解析基本信息。其中key要求唯一。一般配置前三个参数就好
vim sonar-project.properties

在这里插入图片描述

输入sonar-scanner命令进行分析（这里也要注意下，记得是在sonar-project.properties所在文件夹执行命令，否则又要报错啦哈哈哈）

七、sonarqube对maven项目进行分析

PS：maven的环境变量大家记得先配

首先，我们需要在页面新建一个项目：projects-create project-输入name，key-点击next
create project
分析方式选择，我这边选择locally
点击generate生成秘钥-点击continue
选择maven，然后复制里面的语句,进入项目里，在pom文件所在文件夹执行命令（图片里的key和name对不上是因为上面的项目忘记截图了，重新创建了一个。。）

结果可以在这里看，也可以直接在sonarqube的页面看，都有的

还有另外一种方式，就是通过配置maven的setting.xml文件，然后运行的时候只需要执行mvn clean verify sonar:sonar即可，替你们试过了太麻烦了而且不灵活，不推荐！

<!--demo-->
<settings><pluginGroups><pluginGroup>org.sonarsource.scanner.maven</pluginGroup></pluginGroups><profiles><profile><id>sonar</id><activation><activeByDefault>true</activeByDefault></activation><properties><!-- Optional URL to server. Default value is http://localhost:9000 --><sonar.host.url>http://myserver:9000</sonar.host.url></properties></profile></profiles>
</settings>

在这里插入图片描述

八、sonarqube分析报告解析

在这里插入图片描述

overview
Quality Gate Status：整体是否通过
Security：安全性。底下的H、M、L分别代表高中低
Reliability：可靠性
Maintainability：可维护性
Accepted issues：那些已经被分析人员或团队成员接受并认为不需要进一步处理的问题
Coverage：覆盖率
Duplications：重复
Security Hotspots：代码中存在安全问题的部分，它可以帮助安全分析师确定代码是否存在漏洞
Issues栏：bug记录

点进去可以看到bug详情和解决方案

我们可以重点关注这里
measures栏
可以理解成质量模型

可以点进去查看详情
new code 新增代码的覆盖率
- sonar可以很智能的分析新增代码的变更。怎么定义新增呢？比如和上次的代码发生了偏差，都认为是新增的

九、代码扫描规则定制

sonarqube默认自带了很多扫描的规则，但是有的规则在实际项目里用不到，我们如何自定义规则呢？

进入rules里，这里可以看到自带的规则，然后我们可以进行过滤，比如把优先级是低级中级的先过滤，这样报告才能突出重点，更加简洁明确。比如代码重复度，这个一旦爆出就表示代码一定哪些地方写重复了，还有一些高优先级的bug和漏洞。对于code smell，低级别的bug之类的可以尽量弱化。
比如我们只要高优先级的，可以筛出来，然后保存成配置文件然后导入即可
建议把报告直接给研发去看，我们QA完全不管。还有就是我们有专门团队去看扫描的问题，然后帮助研发去解决。研发有时候也看不懂，他们会构造对应场景，告诉研发危害是什么。对于偏业务测试的团队，还是建议不要去提这类的bug，会耗费大量精力，这个比较适合专门的团队去跟进这些问题。
一些规则的定制建议由专门的团队去负责

十、sonarqube api的使用

要让gitlab、jenkins去访问sonarqube，包括我们写测试平台的时候，我们有时候需要从sonarqube提取数据，需要对外提供api。
访问api文档：右下角点击web api
就可以看到具体的了，这些指标也是对应我们上面的一些功能
web hook功能使用
- 当sonar分析完一个项目的时候，jenkins希望得到通知，我们就可以使用web hook功能
- 如何配置？
  进入administration-configuration-webhooks-create，输入如下参数进行配置
十一、单元测试与代码覆盖率实战
- 相关文档：https://docs.sonarsource.com/sonarqube/latest/analyzing-source-code/test-coverage/test-coverage-parameters/
- 无侵入快速覆盖率统计
  - 1、进入项目，执行该脚本

// 启动注入并对代码进行染色，执行单元测试，生成覆盖率报告mvn clean \org.jacoco:jacoco-maven-plugin:0.8.6:prepare-agent \test \org.jacoco:jacoco-maven-plugin:0.8.6:report\-Dmaven.test.failure.ignore=true \-Dmaven.test.skip=false

得到结果

在这里插入图片描述

跑完以后会生成exec结尾的报告
把它转为xml文件：
- 执行mvn org.jacoco:jacoco-maven-plugin:0.8.6:report
- 查看生成的xml文件
- 利用scanner上传覆盖率数据

find $PWD -name "jacoco.*"mvn \clean \org.jacoco:jacoco-maven-plugin:0.8.6:prepare-agent \test \org.jacoco:jacoco-maven-plugin:0.8.6:report  \sonar:sonar  \-Dsonar.projectKey=demo   \-Dsonar.host.url=http://192.168.10.137:9000/   \-Dsonar.token=sqp_2097cdfb11f2c55b87362c34acc660c781e03709  \-Dsonar.coverage.jacoco.xmlReportPaths="$PWD/**/**/**/**/jacoco.xml" \-Dmaven.test.failure.ignore=true   \-Dmaven.test.skip=false