Python爬取数据插入mysql(简易记录)

import mysql.connector
import requests
from lxml import html# 连接 MySQL 数据库
db = mysql.connector.connect(host="？",user="？",       password="？",database="？"
)cursor = db.cursor()company_url = "网址"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}# 发送请求
response = requests.get(company_url, headers=headers)if response.status_code == 200:# 使用 lxml 解析 HTML 内容tree = html.fromstring(response.content)# 使用 XPath 查找公司名称company_name_element = tree.xpath('/html/body/div[1]/div/div[3]/div/div[1]/div[1]/div[2]/div[1]/div[1]/div[2]/div[1]/div[1]/h1/span/text()')if company_name_element:company_name = company_name_element[0].strip()  # 获取 XPath 返回的第一个结果并去除多余空白 print(f"公司名称: {company_name}")# 插入数据到 MySQL 数据库cursor.execute("INSERT INTO companies (company_name) VALUES (%s)", (company_name,))db.commit()  # 提交事务print("公司名称已保存到数据库")else:print("未找到公司名称")
else:print("请求失败，状态码:", response.status_code)# 关闭数据库连接
cursor.close()
db.close()

 

 

注：仅供学习交流