一、抓包分析
1.进入A站进行抓包分析
进入一个页面,右点击鼠标按钮,点击检查
接着点击network,点击Fetxh/XHR,然后刷新网页,得到下面的页面
发现其中有许多d595开头的文件,它们是ts文件,点击其中一个。在General中复制其requests URL在浏览器打开,会自动下载一个文件,保存为ts,用视频打开发现是一个三四秒的视频。复制其中的一部分进行搜索。
点击搜索中的最后一个包,查看这 个包,点击preview,可以得到我们想要的下载ts的地址。
现在的问题来到,如何找到这个包的url,最后可以在源代码中找到这个包的url。
2.爬虫步骤分解
首先访问该页面源代码,提取到含有视频ts格式地址的包的url,然后访问这个url,提取所有的视频ts地址,然后对视频ts地址进行访问保存视频,最后将视频合成一个。
二、代码展现与讲解
import re
import requests
import time
import os
import zipfile
from tqdm import tqdmac_id = input('请输入你想要下载的视频ID:')
url = f'https://www.acfun.cn/v/{ac_id}' # 网页源代码的url地址
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
response = requests.get(url=url,headers=headers) # 得到网页源代码m3u8_url = re.findall('backupUrl(.*?)\"]',response.text)[0].replace('"','').split('\\')[2] # 利用正则提取我们想要抓取的包的url
title = re.findall('<title >(.*?) - AcFun弹幕视频网 - 认真你就输啦 \(\?ω\?\)ノ- \( ゜- ゜\)つロ</title>',response.text)[0] # 获取视频的名称
m3u8_data = requests.get(url=m3u8_url,headers=headers).text # 获取报的内容
m3u8_data = re.sub('#EXTM3U','',m3u8_data) # 利用正则剔除无用的内容
m3u8_data = re.sub('#EXT-X-VERSION:\d','',m3u8_data)
m3u8_data = re.sub('#EXT-X-TARGETDURATION:\d','',m3u8_data)
m3u8_data = re.sub('#EXT-X-MEDIA-SEQUENCE:\d','',m3u8_data)
m3u8_data = re.sub('#EXTINF:\d\.\d+,','',m3u8_data)
m3u8_data = re.sub('#EXT-X-ENDLIST','',m3u8_data)filename = f'{title}\\' # 生成一个文件夹保存视频
if not os.path.exists(filename):os.mkdir(filename)
m3u8_data = m3u8_data.split()# 以空格分割 # 分割后,将字符串转化为列表
print('正在下载ts文件内容,请稍后..........')for link in tqdm(m3u8_data):link_url = 'https://ali-safety-video.acfun.cn/mediacloud/acfun/acfun_video/'+link # 观察ts的下载地址,对url进行补全link_name = link.split('.')[1] # 获取每一个ts的名称link_content = requests.get(url=link_url,headers=headers).content #以二进制保存视频with open(filename+link_name+'.ts',mode='wb') as f:f.write(link_content)print('ts视频片段下载完成.........')
三、总结
1.学到一个库tqdm的使用
2.m3u8视频是分成许多部分的,要找到那个含有所有部分url的包,然后就是找这个包的url
3.合成视频使用zipfile库
files = os.listdir(filename) # 获取文件夹下所有的小视频
with zipfile.ZipFile(filename+title+'.mp4',mode='w') as z:
z.write(content)