cookie是一种由网站创建并存储在用户计算机上的小型文本文件。访问该网站时由浏览器返回给服务器。cookie主要作用是帮助网站记住用户信息,包括但不限于:
- 会话管理,网站使用cookie识别用户的会话,以便用户在浏览网站时不需要重复登录。
- 个性化体验,通过存储用户的偏好设置,网站可以在用户下次访问时提供个性化的体验。
- 追踪分析,网站使用cookie追踪用户行为,用于网站分析,改善用户体验或广告定位。
cookie分为持久性cookie和会话cookie,持久性cookie在用户的硬盘上设定一个过期日期,即使关闭浏览器,cookie也会在设定日期前一直有效。会话cookie仅在浏览器会话期间有效,当用户关闭浏览器,这些cookie会被删除。用户可以根据自己的隐私偏好设置浏览器以接受或拒绝cookie。
爬虫使用cookie
爬取获得我的账号的当前积分,由于当前积分需要登录才能看到,所以在使用python请求时要加上cookie信息。
使用urllib添加cookie信息发送请求
from urllib.request import Request, urlopen
from fake_useragent import UserAgent
# 创建UserAgent实例
ua = UserAgent()
# 请求地址
url = 'http://www.sudokufans.org.cn/index.php'
# 封装请求头
headers = {'user-agent': ua.edge,'Cookie': 'PHPSESSID=psiobkeevlmndr5uditvbk9k25; Hm_lvt_50ddc2ed1dbffd1c3932e52d4ee20aaf=1726558072; HMACCOUNT=61ABCD75DE58F875; c_userid=45340; c_username=%B1%F9%D5%F2%CE%F7%B9%CF%D6%AD; ips4_IPSSessionFront=ehbdh8s6dq95cjvr3oglkhbr92; Hm_lpvt_50ddc2ed1dbffd1c3932e52d4ee20aaf=1726560351'}
# 创建Request对象
req = Request(url, headers=headers)
# 发送请求
resp = urlopen(req)