b站视频标题的获取（xpath、jsonpath的一个简单应用）

目录

  • 1.目的
  • 2.代码的演示

注：该篇文章为本人原创，由于本人学习有限，若有错误或者笔误或者有问题，欢迎大家进行批评指正，谢谢。

1.目的

  在b站大学上，为了更好的写笔记，本人根据学到的Python(即Python入门(黑马)的学习笔记)与爬虫的知识（即Python爬虫的urlib的学习、Python爬虫的解析），使用xpath进行解析，获取到了b站视频的标题，具体步骤如下。若要直接阅读最终源代码，请直接看最后的一小部分。

2.代码的演示

  本次将以获取尚硅谷Python爬虫教程小白零基础速通的视频标题为例进行演示。
在这里插入图片描述
  在PyCharm中创建文件“b站视频标题的获取（xpath）.py”
在这里插入图片描述
  按F12打开检查，点击网络，清空网络中的接口，点击刷新，寻找含有视频标题的接口,将该接口的请求地址复制到PyCharm中。
在这里插入图片描述在这里插入图片描述
  如下编程，先确定能获取到网页源码。

"""
b站视频标题的获取（xpath）
"""
import urllib.request
import gzip
import io# 1.获取网页源码
# 请求地址
url = 'https://www.bilibili.com/video/BV1Db4y1m7Ho/?p=51&vd_source=ffb19c330efad3ae5d7d43710d936b1f'
# 请求头
headers = {'Referer': 'https://dianying.taobao.com/',
}
# 请求对象定制
request = urllib.request.Request(url=url, headers=headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)# 读取响应的内容
content_bytes = response.read()  # 从响应中读取的字节数据
#  响应内容是压缩的，需要解压         将压缩的字节数据解压并解码成UTF-8编码的字符串
content_io = io.BytesIO(content_bytes)  # 创建了一个io.BytesIO对象，用于将字节数据包装成类似文件对象的形式
# 使用gzip.GzipFile来解压缩数据      mode='rb'指定以二进制模式读取
with gzip.GzipFile(fileobj=content_io, mode='rb') as f:content = f.read().decode('utf-8')print(content)  # 测试代码，用于验证是否获取到网页源码

在这里插入图片描述
  接着，使用快捷键Ctr+Alt+X打开xpath插件，然后如下图所示寻找到xpath路径，并复制到PyCharm中。
在这里插入图片描述
  继续编程，发现按照该路径无法获取到内容。所以将获取到的网页源码保存为html文件，然后在html文件中不断使用搜索快捷键Ctr+F来协助我们找到xpath路径。

"""
b站视频标题的获取（xpath）
"""
import urllib.request
import gzip
import io
from lxml import etree# 1.获取网页源码
# 请求地址
url = 'https://www.bilibili.com/video/BV1Db4y1m7Ho/?p=51&vd_source=ffb19c330efad3ae5d7d43710d936b1f'
# 请求头
headers = {'Referer': 'https://dianying.taobao.com/',
}
# 请求对象定制
request = urllib.request.Request(url=url, headers=headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)# 读取响应的内容
content_bytes = response.read()  # 从响应中读取的字节数据
#  响应内容是压缩的，需要解压         将压缩的字节数据解压并解码成UTF-8编码的字符串
content_io = io.BytesIO(content_bytes)  # 创建了一个io.BytesIO对象，用于将字节数据包装成类似文件对象的形式
# 使用gzip.GzipFile来解压缩数据      mode='rb'指定以二进制模式读取
with gzip.GzipFile(fileobj=content_io, mode='rb') as f:content = f.read().decode('utf-8')# print(content)  # 测试代码，用于验证是否获取到网页源码# 将网页源码保存到文件“b站视频标题的获取（xpath）.html”中
with open('b站视频标题的获取（xpath）.html', 'w', encoding='UTF-8') as fp:fp.write(content)# 2.获取视频标题
# 解析服务器响应的文件  etree.HTML
tree = etree.HTML(content)
# 获取想要的数据
# 失败路径，需要将网页源码导入html文件中，手动找  /html/body/div[2]/div[2]/div[2]/div/div[7]/div[2]/ul/li/a/div/div[1]/span[2]/text()
result = tree.xpath('/html/head[@itemprop="video"]/script[4]/text()')[0]  # 由于tree.xpath返回的是列表，需要使用切片[0]将它取出来
print(result)

在这里插入图片描述
  如图，发现将获取的内容就是json数据（本人使用的json解析网站为“https://c.runoob.com/front-end/53/”），只是多了一些东西，具体为“window.INITIAL_STATE=”、“;(function(){var s;(s=document.currentScript||document.scripts[document.scripts.length-1]).parentNode.removeChild(s);}());”。
在这里插入图片描述在这里插入图片描述在这里插入图片描述
  然后继续编程，将数据处理成json数据，然后根据json数据的层次获取到视频标题。
在这里插入图片描述

"""
b站视频标题的获取（xpath）
"""
import urllib.request
import gzip
import io
from lxml import etree
import json# 1.获取网页源码
# 请求地址
url = 'https://www.bilibili.com/video/BV1Db4y1m7Ho/?p=51&vd_source=ffb19c330efad3ae5d7d43710d936b1f'
# 请求头
headers = {'Referer': 'https://dianying.taobao.com/',
}
# 请求对象定制
request = urllib.request.Request(url=url, headers=headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)# 读取响应的内容
content_bytes = response.read()  # 从响应中读取的字节数据
#  响应内容是压缩的，需要解压         将压缩的字节数据解压并解码成UTF-8编码的字符串
content_io = io.BytesIO(content_bytes)  # 创建了一个io.BytesIO对象，用于将字节数据包装成类似文件对象的形式
# 使用gzip.GzipFile来解压缩数据      mode='rb'指定以二进制模式读取
with gzip.GzipFile(fileobj=content_io, mode='rb') as f:content = f.read().decode('utf-8')# print(content)  # 测试代码，用于验证是否获取到网页源码# # 将网页源码保存到文件“b站视频标题的获取（xpath）.html”中
# with open('b站视频标题的获取（xpath）.html', 'w', encoding='UTF-8') as fp:
#     fp.write(content)# 2.获取视频标题
# 解析服务器响应的文件  etree.HTML
tree = etree.HTML(content)
# 获取想要的数据
# 失败路径，需要将网页源码导入html文件中，手动找  /html/body/div[2]/div[2]/div[2]/div/div[7]/div[2]/ul/li/a/div/div[1]/span[2]/text()
the_data = tree.xpath('/html/head[@itemprop="video"]/script[4]/text()')[0]  # 由于tree.xpath返回的是列表，需要使用切片[0]将它取出来
# print(the_data)  # 测试代码，验证xpath路径是否正确
the_json_data = the_data.split('__=')[1].split(';(function')[0]
# print(the_json_data)  # 测试代码，验证得到的json数据是否正确# 将字符串json转换为python的字典
data_dict = json.loads(the_json_data)# 根据json数据的层次结构获取视频的标题
the_temp_data = data_dict['videoData']['pages']
the_name_of_videos = []  # 用于存储视频的标题
for name in the_temp_data:the_name_of_videos.append(name['part'])# 打印b站视频的标题
for name in the_name_of_videos:print(name)

在这里插入图片描述
  当然，json数据部分可使用jsonpath来解析，代码与运行结果如下。

"""
b站视频标题的获取（xpath）
"""
import urllib.request
import gzip
import io
from lxml import etree
import json
import jsonpath# 1.获取网页源码
# 请求地址
url = 'https://www.bilibili.com/video/BV1Db4y1m7Ho/?p=51&vd_source=ffb19c330efad3ae5d7d43710d936b1f'
# 请求头
headers = {'Referer': 'https://dianying.taobao.com/',
}
# 请求对象定制
request = urllib.request.Request(url=url, headers=headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)# 读取响应的内容
content_bytes = response.read()  # 从响应中读取的字节数据
#  响应内容是压缩的，需要解压         将压缩的字节数据解压并解码成UTF-8编码的字符串
content_io = io.BytesIO(content_bytes)  # 创建了一个io.BytesIO对象，用于将字节数据包装成类似文件对象的形式
# 使用gzip.GzipFile来解压缩数据      mode='rb'指定以二进制模式读取
with gzip.GzipFile(fileobj=content_io, mode='rb') as f:content = f.read().decode('utf-8')# print(content)  # 测试代码，用于验证是否获取到网页源码# # 将网页源码保存到文件“b站视频标题的获取（xpath）.html”中
# with open('b站视频标题的获取（xpath）.html', 'w', encoding='UTF-8') as fp:
#     fp.write(content)# 2.获取视频标题
#（1）处理变成json数据
# 解析服务器响应的文件  etree.HTML
tree = etree.HTML(content)
# 获取想要的数据
# 失败路径，需要将网页源码导入html文件中，手动找  /html/body/div[2]/div[2]/div[2]/div/div[7]/div[2]/ul/li/a/div/div[1]/span[2]/text()
the_data = tree.xpath('/html/head[@itemprop="video"]/script[4]/text()')[0]  # 由于tree.xpath返回的是列表，需要使用切片[0]将它取出来
# print(the_data)  # 测试代码，验证xpath路径是否正确
the_json_data = the_data.split('__=')[1].split(';(function')[0]
# print(the_json_data)  # 测试代码，验证得到的json数据是否正确# （2）处理json数据，得到视频的标题# # 法1.使用切片
# # 将字符串json转换为python的字典
# data_dict = json.loads(the_json_data)
#
# # 根据json数据的层次结构获取视频的标题
# the_temp_data = data_dict['videoData']['pages']
# the_name_of_videos = []  # 用于存储视频的标题
# for name in the_temp_data:
#     the_name_of_videos.append(name['part'])# 法2.使用jsonpath解析
the_name_of_videos=jsonpath.jsonpath(json.loads(the_json_data),'$.videoData.pages[*].part')# 打印b站视频的标题
for name in the_name_of_videos:print(name)

在这里插入图片描述
  好了，本次的笔记到此结束，谢谢大家阅读。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/57148.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

yum源配置

yum源配置

1. YUM简介 YUM（yellowdong updater modified）是一个功能完善、易于使用的软件维护工具，它可以根据用户的要求分析出所需软件包及其相关的依赖关系，然后自动从服务器（YUM软件仓库）下载软件包并安装到Linux操…
阅读更多...
Nacos单点部署

Nacos单点部署

文章目录 一、Nacos概述二、部署Nacos（1）容器部署 三、注册服务四、整合外部的Mysql（单节点） 一、Nacos概述 Nacos是什么？ Nacos的全称是Dynamic Naming and Configuration Service，是阿里巴巴推出来的一个…
阅读更多...
银河麒麟QT连接DM8数据库

银河麒麟QT连接DM8数据库

1. 安装达梦8 官网下载, 按照官方文档进行安装即可. 2. 安装unixodbc 1> 下载odbc安装包 unixODBC-2.3.7pre.tar.gz 2> 解压 tar -xvf unixODBC-2.3.7pre.tar.gz3> 编译 ./configure -prefix /usr/local make && make install4> 查找配置 odbcinst -j5…
阅读更多...
Kubectl 详解

Kubectl 详解

目录 陈述式资源管理方法：项目的生命周期：创建-->发布-->更新-->回滚-->删除声明式管理方法： 陈述式资源管理方法： kubernetes 集群管理集群资源的唯一入口是通过相应的方法调用 apiserver 的接口kubectl 是官方的CL…
阅读更多...
内网横向移动—资源约束委派

内网横向移动—资源约束委派

内网横向移动—资源约束委派 1. 资源约束委派1.1. 基于资源的约束委派的优势1.2. 约束性委派和基于资源的约束性委派配置的差别1.3. 利用条件1.3.1. 什么用户能够修改msDS-AllowedToActOnBehalfOfOtherIdentity属性1.3.2. 将机器加入域的域用户 2. 案例操作2.1. 获取目标信息2.…
阅读更多...
以产品经理的角度去讲解原型图---会议OA项目

以产品经理的角度去讲解原型图---会议OA项目

目录 一.前言 二.原型图 2.1 原型图是什么 3.1 原型图的作用 三.演示讲解 3.1 项目背景 3.2 项目介绍 3.2.1 会议管理（会议的发起，通知） 3.2.2 投票管理（会议的流程重大决策记录） 3.2.3 会议室管理 3.2.4 系统管…
阅读更多...
Dockerfile部署golang，docker-compose

Dockerfile部署golang，docker-compose

使用go镜像打包，运行在容器内 redis和mysql用外部的 项目目录结构 w1go项目： Dockerfile # 这种方式是docker项目加上 本地的mysql和redis环境 # go打包的容器 FROM golang:alpine AS builder# 为我们镜像设置一些必要的环境变量 ENV GO111MODULEon …
阅读更多...
python excel 操作

python excel 操作

excel文件内容如下： 一、xlrd 读Excel 操作 1、打开Excel文件读取数据 filexlrd.open_workbook(filename)#文件名以及路径，如果路径或者文件名有中文给前面加一个 r 2、常用函数 （1）获取一个sheet工作表 table file.sheets(…
阅读更多...
HTTP——八、确认访问用户身份的认证

HTTP——八、确认访问用户身份的认证

HTTP 一、何为认证二、BASIC认证BASIC认证的认证步骤 三、DIGEST认证DIGEST认证的认证步骤 四、SSL客户端认证1、SSL 客户端认证的认证步骤2、SSL 客户端认证采用双因素认证3、SSL 客户端认证必要的费用 五、基于表单认证1、认证多半为基于表单认证2、Session 管理及 Cookie 应…
阅读更多...
用P2PNet进行大豆计数

用P2PNet进行大豆计数

文章目录 介绍在大豆数据集上可视化结果环境准备数据集结构数据链接模型训练模型推理代码介绍 这个仓库包含了P2PNet（Rethinking Counting and Localization in Crowds: A Purely Point-Based Framework）在大豆数据集上的pytorch实现。 在大豆数据集上可视化结果 环境准备 …
阅读更多...
iframe 标签的作用是什么？用法是什么？属性有什么？

iframe 标签的作用是什么？用法是什么？属性有什么？

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ iframe 标签是什么？⭐ iframe 标签的作用什么？⭐ iframe 标签的用法⭐ iframe 标签的属性⭐ 写在最后 ⭐ 专栏简介 前端入门之旅：探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带你…
阅读更多...
Glass指纹识别工具，多线程Web指纹识别工具-Chunsou

Glass指纹识别工具，多线程Web指纹识别工具-Chunsou

Glass指纹识别工具，多线程Web指纹识别工具-Chunsou。 Glass指纹识别工具 Glass一款针对资产列表的快速指纹识别工具，通过调用Fofa/ZoomEye/Shodan/360等api接口快速查询资产信息并识别重点资产的指纹，也可针对IP/IP段或资产列表进行快速的指…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023