【Python】编程练习的解密与实战（三）

​🌈个人主页：Sarapines Programmer
🔥 系列专栏：《Python | 编程解码》
⏰诗赋清音：云生高巅梦远游， 星光点缀碧海愁。 山川深邃情难晤， 剑气凌云志自修。

目录

🪐1. 初识Python

🪐2. 实验报告三

🌍实验目的

🌍实验要求

🌍实验代码

🌍实验结果

🌍实验体会

📝总结

🪐1. 初识Python

Python是一种高级、通用、解释型的编程语言，具有简洁而清晰的语法，被广泛应用于软件开发、数据科学、人工智能等领域。以下是Python技术的一些主要特点和应用领域：

  1. 易学易用： Python的语法设计简单，容易学习和理解。这使得它成为初学者和专业开发人员的首选语言之一。

  2. 开源： Python是开源的，任何人都可以查看、修改和分发其源代码。这为开发者提供了自由和灵活性。

  3. 跨平台： Python可在多个操作系统上运行，包括Windows、Linux和macOS，使其成为跨平台开发的理想选择。

  4. 强大的社区支持： Python拥有庞大的全球开发者社区，用户可以获得丰富的文档、库和工具，方便解决各类问题。

  5. 广泛应用领域： Python在多个领域都有应用，包括Web开发、数据科学、机器学习、人工智能、自动化测试、网络编程等。

  6. 丰富的第三方库： Python拥有丰富的第三方库和框架，如NumPy、Pandas、Django、Flask等，提供了强大的工具来简化开发流程。

  7. 动态类型： Python是一种动态类型语言，允许开发者更加灵活地进行变量和对象的操作。

  8. 面向对象编程： Python支持面向对象编程，使得代码结构更加模块化、可维护性更强。

总体而言，Python是一门功能强大、灵活易用的编程语言，适用于各种规模和类型的项目，从小型脚本到大型应用，都能够得心应手。

🪐2. 实验报告三

🌍实验目的

  • Jupyter Notebook编程工具基本用法：

    • 学习掌握Jupyter Notebook编程工具的基本用法。

  • Python读取CSV文件：

    • 理解并熟悉使用Python编程语言读取CSV文件的方法。

  • 学习使用爬虫：

    • 通过学习，熟悉爬虫技术的使用，掌握在Python环境下进行网络爬取的基本知识和技能。

🌍实验要求

  1. 操作书上第六章的内容： 在实际操作中，重点涉及书本的第六章内容，这可能包括特定主题或技术领域，需要深入学习和理解。

  2. 爬取并下载当当网某一本书的网页内容： 通过编写Python代码，实现对当当网上某一本书的网页内容进行爬取，并将其保存为HTML格式，这涉及到网络爬虫技术的应用。

  3. 在豆瓣网上爬取某本书的前50条短评内容并计算评分的平均值： 运用自学的正则表达式技能，爬取豆瓣网上某本书的前50条短评内容，并计算这些评分的平均值，为数据分析提供基础。

  4. 从长沙房产网爬取长沙某小区的二手房信息： 以名都花园为例，通过网络爬虫技术从长沙房产网（长沙链家网）上获取该小区的二手房信息，并将这些信息保存到EXCEL文件中，为房产数据的整理和分析提供便利。

🌍实验代码

1. 操作书上第六章的内容

import pandas as pd
df=pd.read_csv("wowo.csv")
dfpd.read_table("wowo.csv",sep=",")df=pd.read_csv("wowo.csv",header=None)
dfdf=pd.read_csv("wowo.csv",names=['a','b','c','d','message'])
df#cat用/而type用\
!type .\wowo.csvnames=['a','b','c','d','message']
df=pd.read_csv("wowo.csv",names=names,index_col='message')
dfdf=pd.read_csv("wowo.csv",names=names,skiprows=[0,2,3]) #跳过第一、三、四行
df

2. 爬取并下载当当网某一本书的网页内容

import urllib.request    
#做爬虫时要用到的库#定义百度函数  
def dangdang_shuji(url,begin_page,end_page):  #三个参数： 链接+开始页数+结束页数  for i in range(begin_page, end_page+1):  #从开始页数到结束页数，因为range性质所以要想到达end_page得到达end_page+1sName = str(i).zfill(5) + '.html'     #填充为.html文件名#zfill(5)表示数字前自动补0，加上字符转化的整型i一共占五位print ('正在下载第' + str(i) + '个网页，并将其存储为' + sName + '......')  #显示爬虫细节f = open(sName,'wb+')        #w+以纯文本方式读写，而wb+是以二进制方式进行读写              m = urllib.request.urlopen(url+str(i)) .read()  #urllib.request请求模块#urlopen实现对目标url的访问#可用参数#url:  需要打开的网址#data：Post提交的数据#timeout：设置网站的访问超时时间f.write(m)  f.close()#调用部分
bdurl = str(input('请输入您在当当网上搜索的关于某本书的网页地址：'))
# 注意输入网址 https://book.dangdang.com/
begin_page = int(input(u'请输入开始的页数：\n')) 
#将输入的字符串类型转化为整型
end_page = int(input(u'请输入终点的页数：\n'))  
#同上
dangdang_shuji(bdurl,begin_page,end_page)    
#调用函数

3. 在豆瓣网上爬取某本书的前50条短评内容并计算评分的平均值

import requests, re, time  
#获取响应时间与超时
count = 0
i = 0
sum, count_s = 0, 0
while(count < 50):#访问前50条记录if(i==0):#首页内容try:proxies = {'http': '120.236.128.201:8060','https': '120.236.128.201:8060'}headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER'}url = 'https://book.douban.com/subject/3674537/comments/?limit=20&status=P&sort=score'r = requests.get(url=url,headers=headers)except Exception as err:print(err)#打印输出错误信息break#其他页的内容else:start = i*20#url中start的值try:proxies = {'http': '120.236.128.201:8060','https': '120.236.128.201:8060'}headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER'}url='https://book.douban.com/subject/3674537/comments/?start='+str(start)+'&limit=20&status=P&sort=score'r = requests.get(url=url,headers=headers)# print('第'+str(i)+'页内容')except Exception as err:print(err)breaksoup = BeautifulSoup(r.text, 'lxml')# comments = soup.find_all('p', 'comment-content')#查找所有tag值为p，class标签为comment-content的内容comments = soup.find_all('span', class_='short')for item in comments:count = count + 1# print(count, item.string)print(count,item.get_text())#打印用户评论if count == 50:break pattern = re.compile('<span class="user-stars allstar(.*?) rating"')#以正则表达式匹配网页中的内容p = re.findall(pattern, r.text)for star in p:count_s = count_s + 1sum += int(star)time.sleep(5)# 停顿5秒再开始i += 1
if count == 50:print("\n平均分：",sum / count_s)import requests, re, time  
#获取响应时间与超时
from bs4 import BeautifulSoup 
#html的解析器，主要功能是解析和提取数据
def douBan():score_list=[]   #用于存储得分import urllib  #做爬虫时要用到的库count=0i=0while(count<50):  #求50条评价记录#首页内容if(i==0):try:headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER'}url = 'https://movie.douban.com/subject/35437938/comments?limit=20&status=P&sort=new_score'r = requests.get(url=url,headers=headers)except Exception as err:#返回报错的原因print(err)break#非首页内容else:start = i*20#url中start的值try:headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER'}url='https://movie.douban.com/subject/35437938/comments?start='+str(start)+'&limit=20&status=P&sort=new_score'r = requests.get(url=url,headers=headers)# requests.get表示向服务器请求数据，服务器返回的结果是个Response对象except Exception as err:print(err)breakreq=urllib.request.Request(url,headers=headers)#Request：构造一个基本的请求。headers可以模拟浏览器，url为目的网址#urllib.request 模块提供了最基本的构造 HTTP 请求的方法，利用它可以#模拟浏览器的一个请求发起过程，同时它还带有处理 authenticaton （授权验证），#redirections （重定向)， cookies (浏览器Cookies）以及其它内容response=urllib.request.urlopen(req)#urllib.request.urlopen(url, data=None, [timeout,]*, cafile=None, capath=None, cadefault=False, context=None)。#参数解释:#url:请求网址#data：请求时传送给指定url的数据，当给出该参数时，请求方式变为POST，未给出时为GET。#timeout:设定超时时间。如果在设定时间内未获取到响应，则抛出异常。#cafile, capath分别为CA证书及其路径html=response.read().decode("utf-8")#以utf-8方式读取爬取网页的内容bs=BeautifulSoup(html,"html.parser") #beautifulSoup：提取html对象中的内容items=bs.find_all("div",class_="comment-item")findScore=re.compile('<span class="allstar(.*?) rating"')#匹配星级findName=re.compile('<img alt="(.*?)"')#正则表达式的字符串形式匹配电影名字for item in items:item=str(item)#找出对应的五十个电影的得分score=re.findall(findScore,item)[0]score=float(score)score_list.append(score)#将得分存放在score_list列表中count+=1#计数器加1，当计数器大于等于50则结束循环if(count>=50):breaki+=1#下一页time.sleep(5) # 停顿5秒print("评分表  :  ",score_list)#计算平均分length=len(score_list)print("一共%d条信息"%length)sum_score=0#计算总和，然后求平均分for i in score_list:sum_score+=iavg=sum_score/lengthprint("豆瓣前50评价 总分为：",sum_score,"平均分：",avg)
#调用函数
douBan()

4. 从长沙房产网爬取长沙某小区的二手房信息

import requests as requ
import requests
#获取响应时间与超时
from bs4 import BeautifulSoup
#html的解析器，主要功能是解析和提取数据
import xlwt
#xlwt将数据和样式信息写入excel表格的库def getHouseList(url):"获取房源信息：标题、链接地址、户型、面积、朝向、总价、所属区域、套内面积"house =[]headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER'}   #解析内容res = requests.get(url,headers=headers)soup = BeautifulSoup(res.content,'html.parser')housename_divs = soup.find_all('div',class_='title')#查找该html网页中tag值为div、class值为title的部分#指定属性查找标签for housename_div in housename_divs:housename_as=housename_div.find_all('a')#参数解释：在原网页中，div标志下有一个叫"a"的超链接。所以次数找tag值为a的元素#返回值：对象数组，对象内容为a超链接中的属性)for housename_a in housename_as:housename=[]housename.append(housename_a.get_text())#得到超链接中的文字内容,放在housename列表中housename.append(housename_a.get('href'))house.append(housename)#获取超链接中的链接，放在house列表中huseinfo_divs = soup.find_all('div',class_='houseInfo')#参数解释：获取该网页中tag值为div，class值为houseInfofor i in range(len(huseinfo_divs)):info = huseinfo_divs[i].get_text()#获取houseInfo中的标题infos = info.split('|')#原网页以|符号分割的，这里以此做分割#小区名称house[i].append(infos[0])#户型house[i].append(infos[1])#平米house[i].append(infos[2])house_prices = soup.find_all('div',class_='totalPrice')#函数作用：获取网页中tag值为div，且class值为totalPrice的内容for i in range(len(house_prices)):price = house_prices[i].get_text()#获取文字内容house[i].append(price)return house#爬取房屋详细信息：所在区域、套内面积
def houseinfo(url):#为什么要分为两个函数？因为这个网页中，输入一个url只是得到一些基本信息#而详细信息需要到从基本信息中的链接再去提取headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER'}res = requests.get(url,headers=headers)soup = BeautifulSoup(res.content,'html.parser')#headers、res、soup与getHouseList()函数中一致。基本上可以作为固定不变的部分msg =[]#获取房源的所在区域areainfos = soup.find_all('span',class_='info')#获取网页中tag值为span，class为info的内容(以具体网页内容为准)for areainfo in areainfos:#只需要获取第一个a标签的内容即可area = areainfo.find('a')#找到tag值为a（超链接）的内容。返回一个对象数组#具体内容为：herf、target、textif(not area):#如果area为nullcontinue#如果没有这部分信息就跳过hrefStr = area['href']#提取该房源的链接if(hrefStr.startswith('javascript')):continuemsg.append(area.get_text())#获取房源所在的地区名称break#由于只需要获取第一个a标签的内容，所以此时就可以跳出循环#根据房屋户型计算套内面积infolist = soup.find_all('div',id='infoList')#获取tag值为div，id为infolist的内容#注意网站标注的总面积与实际的套内面积是不一样的，所以需要重新计算num = []for info in infolist:cols = info.find_all('div',class_='col')#网站中包含col列的有很多，包括面积、方位、名称等等#老师的方法是遍历所有的col，#我觉得更好的方法是将包含平米的col单独提取出来，这样就无需使用tryfor i in cols:pingmi = i.get_text()#获取标题（面积，即xxx平米）try:#尝试从string中提取数字a = float(pingmi[:-2])#从开头到距离尾部2个字符，即把"平米"汉字去掉了num.append(a)except ValueError:#如果出错就跳出continuemsg.append(sum(num))#计算各户型的总面积return msgdef writeExcel(excelPath,houses):"#将爬取数据写入excel文件"#excelPath：excel文件存储的路径,houses：包含房源基本信息的列表workbook = xlwt.Workbook()#函数作用：新建一个工作簿sheet = workbook.add_sheet('git')#添加一行row0=['标题','链接地址','户型','面积','朝向','总价','所属区域','套内面积']for i in range(0,len(row0)):sheet.write(0,i,row0[i])#作为excel表列索引for i in range(0,len(houses)):house = houses[i]print(house)for j in range(0,len(house)):sheet.write(i+1,j,house[j])#数据写完一行接上一行workbook.save(excelPath)#将excel工作簿保存到指定位置#主函数
def main():data = []for i in range(1,5):print('-----分隔符',i,'-------')#i从1到4if i==1:url ='https://cs.lianjia.com/ershoufang/c3511059937033rs%E5%90%8D%E9%83%BD%E8%8A%B1%E5%9B%AD/'#此时i=1时url指向该地址else:url='https://cs.lianjia.com/ershoufang/pg'+str(i)+'c3511059937033rs%E5%90%8D%E9%83%BD%E8%8A%B1%E5%9B%AD/'#i不等于1时url执行不同位置houses =getHouseList(url)for house in houses:link = house[1]if(not link or not link.startswith('http')):#无法连接或连接协议不是http，使用continue跳出循环continuemianji = houseinfo(link)house.extend(mianji)data.extend(houses)#将数据整合到daya里统一写入excel表writeExcel('d:/cs.xls',data)if __name__ == '__main__':main()#如果模块是被直接运行的，则代码块被运行，#如果模块是被导入的，则代码块不被运行

🌍实验结果

1.问题一

2.问题二

3.问题三

4.问题四

🌍实验体会

  1. 实验学习和爬虫指令使用

    • 通过实验首次接触了使用Python进行爬虫，学到了相关爬虫指令，并成功爬取了当当网和长沙二手房的信息。
    • 发现在Linux系统下使用cat语法访问.csv文件，而在Windows系统下要使用type，需要注意斜线的差异。

  2. 对Python库的认识和意识拓展

    • 在此实验中，通过社区查阅了相关资源，附上了详细注释，深化了对爬虫的理解。
    • 意识到Python语言的强大之处，不论是机器学习的scikit-learn库还是爬虫的requests库，都涉及到Python，并体会到其调用封装在不同的库中。

  3. 爬虫问题解决和环境疑惑

    • 遇到在Jupyter Notebook中出现‘int’ object is not callable的问题，通过重新创建文件解决，但对问题原因产生疑惑。
    • 怀疑问题可能与装了PyTorch导致与Python两个虚拟环境冲突，但并未做实质修改，问题自行解决，留下疑惑。

📝总结

Python领域就像一片未被勘探的信息大海，引领你勇敢踏入Python数据科学的神秘领域。这是一场独特的学习冒险，从基本概念到算法实现，逐步揭示更深层次的模式分析、匹配算法和智能模式识别的奥秘。

渴望挑战Python信息领域的技术？不妨点击下方链接，一同探讨更多Python数据科学的奇迹吧。我们推出了引领趋势的💻 Python数据科学专栏：《Python | 编程解码》，旨在深度探索Python模式匹配技术的实际应用和创新。🌐🔍

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/341774.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

工程机械比例阀电流采集方案——IPEhub2与IPEmotion APP

工程机械比例阀电流采集方案——IPEhub2与IPEmotion APP

自从国家实施一带一路和新基建计划以来&#xff0c;工程机械的需求量呈现出快速增长的趋势。而关于工程机械&#xff0c;其比例阀的控制问题不容忽视。比例阀是一种新型的液压控制装置——在普通压力阀、流量阀和方向阀上&#xff0c;用比例电磁铁替代原有的控制部分&#xff0…
阅读更多...
【漏洞复现】先锋WEB燃气收费系统文件上传漏洞 1day

【漏洞复现】先锋WEB燃气收费系统文件上传漏洞 1day

漏洞描述 /AjaxService/Upload.aspx 存在任意文件上传漏洞 免责声明 技术文章仅供参考，任何个人和组织使用网络应当遵守宪法法律，遵守公共秩序，尊重社会公德，不得利用网络从事危害国家安全、荣誉和利益，未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作…
阅读更多...
MySQL中datetime和timestamp的区别

MySQL中datetime和timestamp的区别

datetime和timestamp的区别 相同点: 存储格式相同 datetime和timestamp两者的时间格式都是YYYY-MM-DD HH:MM:SS 不同点: 存储范围不同. datetime的范围是1000-01-01到9999-12-31. 而timestamp是从1970-01-01到2038-01-19, 即后者的时间范围很小. 与时区关系. datetime是存储…
阅读更多...
虹科新闻丨LIBERO医药冷链PDF温度计完成2024年航空安全鉴定，可安全空运！

虹科新闻丨LIBERO医药冷链PDF温度计完成2024年航空安全鉴定，可安全空运！

来源&#xff1a;虹科环境监测技术 虹科新闻丨LIBERO医药冷链PDF温度计完成2024年航空安全鉴定&#xff0c;可安全空运&#xff01; 原文链接&#xff1a;https://mp.weixin.qq.com/s/XHT4kU27opeKJneYO0WqrA 欢迎关注虹科&#xff0c;为您提供最新资讯&#xff01; 虹科LIBE…
阅读更多...
1071: 分解质因子

1071: 分解质因子

题目描述 将一个正整数分解质因数&#xff0c;例如&#xff0c;输入90&#xff0c;输出2 3 3 5。 输入 输入一个正整数n&#xff08;2<n<2000&#xff09;。 输出 从小到大输出n的所有质因子&#xff0c;每两个数之间空一格。 样例输入 20 样例输出 2 2 5 提…
阅读更多...
Golang defer 使用及面试常见的坑

Golang defer 使用及面试常见的坑

前言 defer是Golang中一个常用的关键字&#xff0c;通常用来做一些收尾工作。比如开启了一个东西&#xff0c;就顺手defer中关闭。对于面试&#xff0c;defer也算一个高频考点&#xff0c;尤其是他的许多个坑&#xff0c;因此本文主要复习一下defer的用法。 多个defer的执行顺…
阅读更多...
查询分组功能：发布不同班级查询，支持独立分组链接和二维码

查询分组功能：发布不同班级查询，支持独立分组链接和二维码

期末考试已经陆续开始&#xff0c;老师如果负责多个班级或年级&#xff0c;如何在一个账号中实现不同班级单独一个查询页呢&#xff1f; 易查分的【查询分组功能】就可实现&#xff0c;本次就来介绍如何使用此功能。 &#x1f4d6;案例&#xff1a;负责相关工作的老师&#xff…
阅读更多...
如何选择最适合的采购付款 (P2P) 解决方案？

如何选择最适合的采购付款 (P2P) 解决方案？

无论企业的业务流程执行得如何&#xff0c;流程中始终存在改进空间。更好的管理系统是获得更好结果的关键&#xff0c;尤其是当企业处于增长阶段时。强大的采购到付款&#xff08;P2P&#xff09;系统是加快采购流程&#xff0c;同时保持采购支出可见性的最有效方法之一。 什么…
阅读更多...
YOLOv5改进 | 检测头篇 | ASFFHead自适应空间特征融合检测头（全网首发）

YOLOv5改进 | 检测头篇 | ASFFHead自适应空间特征融合检测头（全网首发）

一、本文介绍 本文给大家带来的改进机制是利用ASFF改进YOLOv5的检测头形成新的检测头Detect_ASFF，其主要创新是引入了一种自适应的空间特征融合方式，有效地过滤掉冲突信息，从而增强了尺度不变性。经过我的实验验证，修改后的检测头在所有的检测目标上均有大幅度的涨点效果，…
阅读更多...
Open CV 图像处理基础：（五）Java 使用 Open CV 的绘图函数

Open CV 图像处理基础：（五）Java 使用 Open CV 的绘图函数

Java 使用 Open CV 的绘图函数 使用 Open CV 在 Java 中对图片使用绘图函数&#xff0c;分别绘制矩形、斜线、圆形、椭圆形以及添加文本 Java 使用 Open CV 的绘图函数 Java 使用 Open CV 的绘图函数函数绘制矩形绘制线绘制圆形绘制椭圆添加文本 代码示例Open CV 专栏导航 函…
阅读更多...
12GoF之代理模式

12GoF之代理模式

解决问题的思维&#xff1a;AOP 解决问题技术&#xff1a;代理技术 代理技术太麻烦&#xff0c;因此使用框架 Spring AOP框架&#xff08;底层是代理技术&#xff1a;jdk动态daili&#xff0c;cglib&#xff09; 代理模式是GoF23种设计模式之一。属于结构型设计模式。 代理…
阅读更多...
网络层详解

网络层详解

目录 前言 一、IP协议 1、IP协议报头 2、协议字段理解 &#xff08;1&#xff09;4位版本 &#xff08;2&#xff09;4位首部长度 &#xff08;3&#xff09;8位服务类型 &#xff08;4&#xff09;16位总长度 &#xff08;5&#xff09;标识、标志与片偏移 &#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023