案例三 BeautifulSoup之链家二手房

本案例用到列表,函数,字符串等知识点,知识点参考链接如下:
python基础知识(一)&输入输出函数
python基础知识(二)&基本命令
python基础知识(三)&常用的内置函数
python基础知识(四)&符串常用的方法
python基础知识(六)&字典
python基础知识(七)& 列表
python基础知识(八)&open函数
python基础知识(九)&函数

完整代码如下:

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import pandas as pd
import csvdef qingqiu(url):rq = requests.get(url, headers=headers)html = rq.textreturn htmldef paser_html(html):bs=BeautifulSoup(html,"lxml")price_all=[]price=bs.select('span[class=""]')for p in price:price_all.append(float(p.get_text()))danjia_all=[]danjia=bs.select('div[class="unitPrice"]')for d in danjia:danjia_all.append(d.get_text().replace("元/平",""))loupan_all=[]loupan=bs.select('a[data-el="region"]')for l in loupan:loupan_all.append(l.get_text())all=bs.select('div[class="houseInfo"]')all_data=[]for a in all:all_data.append(a.get_text().split('|'))huxing=[]size=[]fangxiang=[]zhuangxiu=[]louceng=[]for i in all_data:huxing.append(i[0])size.append(float(i[1].replace("平米","")))fangxiang.append(i[2])zhuangxiu.append(i[3])louceng.append(i[4])result=zip(loupan_all,danjia_all,price_all,huxing,size,fangxiang,zhuangxiu,louceng)return resultdef save(result):  # 保存with open('长沙二手房.csv', "a", newline='', encoding='utf-8') as f:wr = csv.writer(f)for a in result:wr.writerow(a)if __name__ == '__main__':T_head = ['楼盘', '单价', '总价', '户型', '面积', '方向', '装修','楼层']with open('长沙二手房.csv', "a", newline='', encoding='utf-8') as f:wr = csv.writer(f)wr.writerow(T_head)start_ye = int(input("请输入起始页:"))end_ye = int(input("请输入终止页:"))for y in range(start_ye, end_ye):url='https://cs.lianjia.com/ershoufang/pg{}/'.format(y)headers = {'User-Agent':'Mozilla/5.0'}html=qingqiu(url)result=paser_html(html)save(result)print("爬取第{}页".format(y))

运行后保存的数据如下表所示:

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/611136.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PairAug:增强图像-文本对对放射学有什么用?

论文链接 代码链接GitHub - YtongXie/PairAug: [CVPR2024] PairAug: What Can Augmented Image-Text Pairs Do for Radiology? 发表于CVPR2024 机构 1) 澳大利亚机器学习研究所(AIML),澳大利亚阿德莱德大学 2) 西北工业大学计算机科学与工程学院 3) 西北工业…

创作一首音乐需要多长时间?网易云音乐内测AI音乐生成工具『网易天音』

大家好,我是木易,一个持续关注AI领域的互联网技术产品经理,国内Top2本科,美国Top10 CS研究生,MBA。我坚信AI是普通人变强的“外挂”,所以创建了“AI信息Gap”这个公众号,专注于分享AI全维度知识…

​LeetCode解法汇总1026. 节点与其祖先之间的最大差值

目录链接: 力扣编程题-解法汇总_分享记录-CSDN博客 GitHub同步刷题项目: https://github.com/September26/java-algorithms 原题链接:. - 力扣(LeetCode) 描述: 给定二叉树的根节点 root,找出…

Handler——小白能懂的原理,老鸟需要的面经

1.机制学习 1.1Handler定义 发送并处理 与线程的消息队列关联的Message和Runnable 1.2基本用法 1、Message.obtain() 从消息池取得Message 2、Handler().sendMessage(msg) 发送消息 3、Handler().post 将Runnable包装成Message发送 以下提供一个结构代码 import android.os.H…

阿里云微调chatglm3-6b---只有一个python解释器但gradio要求版本不兼容怎么办

安装LLAMA参考博文http://t.csdnimg.cn/6yYwG 在用LLAMA微调大模型的时候总是出现connected error out并且出现这样的界面 这是由于LLMA所要求的gradio版本>4.0.0,<4.2.0&#xff0c;然而chatglm3-6b要求的gradio版本需要gradio3.39.0才能显示出web_demo_gradio.py渲染…

[SystemVerilog]常见设计模式/实践

常见设计模式/实践 RTL 设计&#xff08;尤其是 ASIC&#xff09;的最终目标是制作出最小、最快的电路。为此&#xff0c;我们需要了解综合工具如何分析和优化设计。此外&#xff0c;我们还关注仿真速度&#xff0c;因为等待测试运行实际上是在浪费工程精力。虽然综合和仿真工…

Android MTK 屏下指纹的调试过程记录

Demo链接 -----> https://download.csdn.net/download/u011694328/89118346 一些品牌手机都有了屏下指纹的功能&#xff0c;还算是个比较新颖的功能&#xff0c;最近有项目需要使用屏下指纹&#xff0c; 使用的是汇顶&#xff08;Goodix&#xff09;的指纹方案&#xff0c…

Ps 滤镜:表面模糊

Ps菜单&#xff1a;滤镜/模糊/表面模糊 Filter/Blur/Surface Blur 表面模糊 Surface Blur滤镜可在保留边缘清晰度的同时模糊图像&#xff0c;适用于需要在不损失重要细节的前提下减少图像杂色和噪点的场景。 ◆ ◆ ◆ 使用方法与技巧 1、可按以下步骤进行操作。 首先将“半径”…

前端和后端解决跨域问题的方法

目前很多java web开发都是采用前后端分离框架进行开发&#xff0c;相比于单体项目容易产生跨域问题。 一、跨域问题CORS 1.什么是跨域问题&#xff1f; 后端接收到请求并返回结果了&#xff0c;浏览器把这个响应拦截了。 2.跨域问题是怎么产生的&#xff1f; 浏览器基于同源…

Opentelemetry——Observability Primer

Observability Primer 可观测性入门 Core observability concepts. 可观测性核心概念。 What is Observability? 什么是可观测性&#xff1f; Observability lets us understand a system from the outside, by letting us ask questions about that system without know…

(2022级)成都工业学院数据库原理及应用实验三:数据定义语言DDL

唉&#xff0c;用爱发电连赞都没几个&#xff0c;博主感觉没有动力了 想要完整版的sql文件的同学们&#xff0c;点赞评论截图&#xff0c;发送到2923612607qq,com&#xff0c;我就会把sql文件以及如何导入sql文件到navicat的使用教程发给你的 基本上是无脑教程了&#xff0c;…

【Ubuntu】 Github Readme导入GIF

1.工具安装 我们使用 ffmpeg 软件来完成转换工作1.1 安装命令 sudo add-apt-repository ppa:jonathonf/ffmpeg-3sudo apt-get updatesudo apt-get install ffmpeg1.2 转换命令 &#xff08;1&#xff09;直接转换命令&#xff1a; ffmpeg -i out.mp4 out.gif(2) 带参数命令&…