嗨喽~大家好呀,这里是魔王呐 ❤ ~!
python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取
环境使用:
-
Python 3.10
-
Pycharm
模块使用:
-
import requests >>> pip install requests
-
import parsel >>> pip install parsel
-
import prettytable >>> pip install prettytable
-
import os
打包exe程序: pyinstaller -> pip install pyinstaller
爬虫基本实现流程
一. 数据来源分析
-
明确需求
明确采集的网站以及数据内容 (实现什么样程序)
程序功能: 通过关键字(歌手/歌名) 进行歌曲搜索, 然后进行对应歌曲内容下载
-
网址: https://www.gequbao.com/
-
数据: 歌曲内容 / 歌曲标题
-
-
抓包分析 (浏览器中进行的操作)
抓包分析: 分析我们需要的数据, 可以请求那个网址能够得到
分析操作: 通过浏览器自带开发者工具
先分析歌曲链接地址 -> 歌曲链接地址从哪里的生成 -> 如何才能实现搜索对应下载功能
-
打开开发者工具: F12
https://www.gequbao.com/music/402856 在网页页面打开开发者工具
-
刷新网页: 让数据内容重新加载一遍
-
快速找到对应歌曲播放地址
https://sy-sycdn.kuwo.cn/af5833d0735b1bba1f86d4ef6c3888d7/65d72918/resource/n
2/70/55/756351052.mp3?from=vip -
通过关键字搜索找到对应数据包位置
爬虫: 批量数据采集
继续分析, 音频链接在那个数据包当中是存在的
关键字: 使用音频链接当中一段参数即可
https://sy-sycdn.kuwo.cn/af5833d0735b1bba1f86d4ef6c3888d7/65d72918/resource/n
2/70/55/756351052.mp3?from=vip比如: 756351052 作为关键字进行搜索
晴天数据包地址: https://www.gequbao.com/api/play_url?id=402856&json=1
阴天数据包地址: https://www.gequbao.com/api/play_url?id=61045&json=1
对比分析: id=xxxx (歌曲ID)
-
晴天ID 402856
-
阴天ID 61045
只要获取到歌曲ID就可以下载对应歌曲内容
-
分析歌曲ID可以请求那个链接获得
搜索链接地址: https://www.gequbao.com/s/%E9%98%B4%E5%A4%A9
- 歌手 / 歌名 / 音乐ID
目的: 根据搜索关键字下载对应歌曲
-
歌曲 -> 专门数据包链接 阴天数据包地址: https://www.gequbao.com/api/play_url?id=xxx&j
son=1 -
获取对应歌曲ID -> https://www.gequbao.com/s/搜索关键字
-
二. 代码实现步骤 (基本四个步骤)
导入的模块
'''
Python学习交流,免费公开课,免费资料,
免费答疑,系统学习加QQ群:926207505
'''
# 导入数据请求模块 (需要安装 pip install requests)
import requests
# 导入数据解析模块 (需要安装 pip install parsel)
import parsel
# 导入制表模块 (需要安装 pip install prettytable)
from prettytable import PrettyTable
# 导入文件操作模块 (无需安装 内置模块)
import os
1. 发送请求
模拟浏览器对于url地址发送请求
while True:"""发送请求- 模拟浏览器对于url地址发送请求"""# 模拟浏览器headers = {# User-Agent 用户代理, 表示浏览器基本身份信息'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36'}# 输入搜索key = input('请输入你要下载歌曲(00退出): ')if key == '00':break# 请求网址: 搜索链接地址search = f'https://www.gequbao.com/s/{key}'# 发送请求response = requests.get(url=search, headers=headers)
2. 获取数据
获取服务器返回响应数据
# 获取数据: 获取服务器返回响应数据html = response.text
3. 解析数据
提取我们需要的数据内容
解析方法: 本案例前三个都能用
-
re正则: 对于字符串数据进行提取 字符串数据即可
-
css选择器: 根据标签属性提取数据内容 需要是有标签格式 (√)
-
xpath: 根据标签节点提取数据 需要是有标签格式
-
json数据解析: 一般情况字典取值 (必须json数据格式)
'''
Python学习交流,免费公开课,免费资料,
免费答疑,系统学习加QQ群:926207505
'''"""解析数据: 提取我们需要的数据内容"""# 1. 把获取到html字符串数据, 转成可解析对象selector = parsel.Selector(html)# 2. 根据标签数据, 提取相关内容 41条数据(第一条和最后一天不是我们需要)rows = selector.css('.row')[1:-1]# 实例化对象tb = PrettyTable()# 设置字段名tb.field_names = ['序号', '歌手', '歌名']# 自定义变量序号num = 0# 创建空列表info = []# for循环遍历, 提取列表里面元素for row in rows:# 3. 进行具体数据解析title = row.css('.text-primary::text').get().strip() # 歌名music_id = row.css('.text-primary::attr(href)').get().split('/')[-1] # IDname = row.css('.text-success::text').get().strip() # 歌手dit = {'歌手': name,'歌名': title,'ID': music_id,}# 添加字典到列表中info.append(dit)# 添加字段内容tb.add_row([num, name, title])num += 1print(tb)key_num = input('请输入你要下载歌曲序号: ')# 获取歌曲ID -> 传入到歌曲数据包中即可# 请求网址: 歌曲对应数据包链接link = f'https://www.gequbao.com/api/play_url?id={info[int(key_num)]["ID"]}&json=1'# 发送请求 + 获取响应数据json_data = requests.get(url=link, headers=headers).json()# 解析数据, 提取歌曲链接music_url = json_data['data']['url']
4. 保存数据
把数据内容保存本地文件夹 / 数据库 …
"""保存数据"""music_content = requests.get(url=music_url, headers=headers).content# 自动创建文件夹if not os.path.exists('music'): # 判断如果没有文件夹# 自动创建文件夹os.mkdir('music')song_name = info[int(key_num)]["歌名"]with open(file=f'music\\{song_name}.mp3', mode='wb') as f:# 保存歌曲内容f.write(music_content)print(song_name, '保存成功!')
如果文章看不懂,我还准备了视频教程,同样文末名片获取噢~
尾语
最后感谢你观看我的文章呐~本次航班到这里就结束啦 🛬
希望本篇文章有对你带来帮助 🎉,有学习到一点知识~
躲起来的星星🍥也在努力发光,你也要努力加油(让我们一起努力叭)。