可狱可囚的爬虫系列课程 08：新闻数据爬取实战

前言

本篇文章中我带大家针对前面所学 Requests 和 BeautifulSoup4 进行一个实操检验。
相信大家平时或多或少都有看新闻的习惯，那么我们今天所要爬取的网站便是新闻类型的：中国新闻网，我们先来使用爬虫爬取一些具有明显规则或规律的信息，在中国新闻网这个网站中，有一个即时新闻精选的板块，就是我们今天的目标，这是链接：https://www.chinanews.com/scroll-news/news1.html，爬取内容如图所示，我们要爬取每一条新闻的新闻类型、新闻标题、跳转链接、发布时间。
image.png

一、网页源代码的获取

接下来我直接应用 Requests 库，先将此网页的源代码请求下来。
注意：通过结果的打印，我们发现存在乱码问题，随即添加了纠正乱码的代码。

import requestsURL = 'https://www.chinanews.com/scroll-news/news1.html'
Headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}
response = requests.get(url=URL, headers=Headers)
response.encoding = 'utf-8'
html_source = response.text if response.status_code == 200 else '状态码异常'
print(html_source)

image.png

二、源代码的解析

利用 BeautifulSoup4 库，针对请求到的源代码进行解析。

from bs4 import BeautifulSoupsoup = BeautifulSoup(html_source, 'html.parser')

三、开发者工具的使用

为什么要使用开发者工具？

相信大家已经仔细看过了 PyCharm 中打印的网页源代码，是不是感觉非常的杂乱，没有办法直观的找寻到网页结构，那么我们在写爬虫时，就需要参考开发者工具给的一些建议。请大家在需要爬取信息的页面打开开发者工具并查看 Elements 标签页。
image.png
在 Elements 标签页，大家也能够看到网页对应的源代码，并且我们在此处能更加直观的看清楚网页标签间的层级结构，更便于后续 CSS 选择器的编写。

检查元素

接下来我们要使用到开发者工具的另一个工具“检查元素”，它在 Elements 标签页左边，外形是一个方框加一个鼠标，使用这个工具我们可以比较精准的定位元素在源代码中的位置及所属层级结构，请看如下动图：
检查元素.gif
在这个动图中，给大家展示的步骤是，先点击“检查元素”这个按钮，然后在网页上移动鼠标便可以看到源代码位置也在同步定位，如果要找某块内容的位置可以直接在此内容上点击鼠标左键一键定位。

四、新闻信息获取

第一步：查看目标新闻的存在形式

经过寻找发现，目标新闻都属于如图所示位置 ul 标签下的一个个 li 标签，每一个 li 标签是一条完整的新闻。
image.png

第二步：逐级递进，层层缩减

我们在爬取数据时应遵循：从大范围逐级递减到小范围的原则循序渐进。所以我们先获取到所有目标新闻 li 标签，在开发者工具中根据层级结构书写 CSS 选择器。

li_list = soup.select('body > div.w1280.mt20 > div.content-left > div.content_list > ul > li')
print(li_list)

image.png

第三步：准确性判断&数据剔除

在第二步的基础上，判断获取出的所有 li 标签是否完全正确，如若存在错误数据，保证第二步书写 CSS 选择器正确无误条件下，进行错误数据的剔除。本爬虫通过判断，发现部分 li 标签并不存在目标新闻，通过检查，发现如图问题所在，每隔 10 条新闻便会出现一个分割横线，我们通过判断将其剔除。
image.png

for li in li_list:if str(li) != '<li class="nocontent"></li>':

第四步：准确信息提取

我们继续延续第三步的代码，在分支结构的基础上直接获取具体信息。同时我们发现获取的跳转链接不完整，我们将其一并不全。经过最终对比，爬取到的新闻与网页中的新闻无异。

for li in li_list:if str(li) != '<li class="nocontent"></li>':news_type = li.select_one('li > .dd_lm > a').textnews_title = li.select_one('li > .dd_bt > a').textnews_link = 'https://www.chinanews.com' + li.select_one('li > .dd_bt > a').attrs['href']news_time = li.select_one('li > .dd_time').textprint(news_type, news_title, news_link, news_time)

image.png

五、完整源代码

import requests
from bs4 import BeautifulSoupURL = 'https://www.chinanews.com/scroll-news/news1.html'
Headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}
response = requests.get(url=URL, headers=Headers)
response.encoding = 'utf-8'
html_source = response.text if response.status_code == 200 else '状态码异常'
# print(html_source)soup = BeautifulSoup(html_source, 'html.parser')li_list = soup.select('body > div.w1280.mt20 > div.content-left > div.content_list > ul > li')
# print(li_list)for li in li_list:if str(li) != '<li class="nocontent"></li>':news_type = li.select_one('li > .dd_lm > a').textnews_title = li.select_one('li > .dd_bt > a').textnews_link = 'https://www.chinanews.com' + li.select_one('li > .dd_bt > a').attrs['href']news_time = li.select_one('li > .dd_time').textprint(news_type, news_title, news_link, news_time)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/321245.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Linux进程以及计划服务（二）

Linux进程以及计划服务（二）

一.控制进程 前台运行&#xff1a;通过终端启动&#xff0c;且启动后一直占据终端&#xff08;影响当前终端的操作&#xff09; 后台运行&#xff1a;可通过终端启动&#xff0c;但启动后即转入后台运行&#xff08;不影响当前终端的操作&#xff09; 1.手动启动 前台启动&…
阅读更多...
SwiftUI之深入解析ContentUnavailableView的实战应用

SwiftUI之深入解析ContentUnavailableView的实战应用

一、基本用法 SwiftUI 引入了新的 ContentUnavailableView 类型&#xff0c;允许在应用程序中展示空状态、错误状态或任何其他内容不可用的状态。那么&#xff0c;如何使用 ContentUnavailableView 引导用户浏览应用程序中的空状态呢&#xff1f;首先看看 ContentUnavailableV…
阅读更多...
3D目标检测（教程+代码）

3D目标检测（教程+代码）

随着计算机视觉技术的不断发展&#xff0c;3D目标检测成为了一个备受关注的研究领域。与传统的2D目标检测相比&#xff0c;3D目标检测可以在三维空间中对物体进行定位和识别&#xff0c;具有更高的准确性和适用性。本文将介绍3D目标检测的相关概念、方法和代码实现。 一、3D目…
阅读更多...
Python-1-字符串类型及方法

Python-1-字符串类型及方法

众所周知&#xff0c;Python面向对象&#xff0c;功能强大 | ू•ૅω•́)ᵎᵎᵎ
阅读更多...
某和医院招采系统web端数据爬取, 逆向js

某和医院招采系统web端数据爬取, 逆向js

目标网址:https://zbcg.sznsyy.cn/homeNotice 测试时间: 2024-01-03 1 老规矩,打开Chrome无痕浏览,打开链接,监测网络,通过刷新以及上下翻页可以猜测出数据的请求是通过接口frontPageAnnouncementList获取的,查看返回可以看出来数据大概率是经过aes加密的,如图: 通过查看该请…
阅读更多...
FLatten Transformer：聚焦式线性注意力模块

FLatten Transformer：聚焦式线性注意力模块

线性注意力将Softmax解耦为两个独立的函数&#xff0c;从而能够将注意力的计算顺序从(querykey)value调整为query(keyvalue)&#xff0c;使得总体的计算复杂度降低为线性。然而&#xff0c;目前的线性注意力方法要么性能明显不如Softmax注意力&#xff0c;并且可能涉及映射函数…
阅读更多...
搜维尔科技：【简报】第九届元宇宙数字人设计大赛，报名已经进入白热化阶段！

搜维尔科技：【简报】第九届元宇宙数字人设计大赛，报名已经进入白热化阶段！

随着元宇宙时代的来临&#xff0c;数字人设计成为了创新前沿领域之一。为了提高大学生元宇宙虚拟人角色策划与美术设计的专业核心能力&#xff0c;我们特别举办了这场元宇宙数字人设计赛道&#xff0c;赛道主题为「AI人工智能科技」 &#xff0c;只要与「AI人工智能科技」相关的…
阅读更多...
SpringBoot项目处理 多数据源问题（把本地库数据 推送 到另外一个平台的库）

SpringBoot项目处理 多数据源问题（把本地库数据 推送 到另外一个平台的库）

一、需求梳理 把我方数据库的表中数据 ----------> 推送到第三方的数据库 相当于库对库的数据插入, 但是需要的是用代码的方式实现; 二、解决思维 (1) 首先,平台与平台之间的数据库对接; 处理点1: 字段转换 (库表之间的数据字段不一致问题) 解决方式: 挨个字段的对应,如…
阅读更多...
es索引数据过滤查询

es索引数据过滤查询

1.我们往kibana插入数据,来进行查询 POST /t1/_doc/ {"name":"cat","age":"18","address":"BJ","job":"dev" } POST /t1/_doc/ {"name":"dog","age":"1…
阅读更多...
雍禾医疗亮相博鳌论坛 雍禾植发让小城市也能治“毛”病

雍禾医疗亮相博鳌论坛 雍禾植发让小城市也能治“毛”病

颜值经济时代&#xff0c;伴随着居民消费水平的提高与受脱发困扰群体的逐步扩张&#xff0c;人们对毛发健康与毛发美观的关注度日益增长。需求催生了毛发医疗行业的飞速发展&#xff0c;为脱发群体提供爱美、求美、变美的新思路、新契机。 近期&#xff0c;2023中国企业家博鳌…
阅读更多...
第一部分:vue学习（26-x）

第一部分:vue学习（26-x）

文章目录 26.绑定class样式27 绑定style内联样式28 条件渲染29 列表渲染 26.绑定class样式 案例1&#xff1a;点击切换class样式。其中noarmal happy都是css定义好的样式。 案例2&#xff1a;切换随机的样式。 案例3&#xff1a;css样式&#xff0c;列表生效 案例4&#xff1…
阅读更多...
CUDA动态并行

CUDA动态并行

一、简介 1. 综述 动态并行是 CUDA 编程模型的扩展&#xff0c;使 CUDA 内核能够直接在 GPU 上创建新工作并与其同步。 在程序中任何需要的地方动态创建并行性都提供了令人兴奋的功能。 直接从 GPU 创建工作的能力可以减少在主机和设备之间传输执行控制和数据的需要&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023