数据采集第三次作业

代码链接：第三次数据采集实践作业码云链接

1 作业1

1.1 作业要求

• 指定一个网站，爬取这个网站中的所有的所有图片，例如：中国气象网（http://www.weather.com.cn）。使用scrapy框架分别实现单线程和多线程的方式爬取。

• 务必控制总页数（学号尾数2位）、总下载的图片数量（尾数后3位）等限制爬取的措施。

• 输出信息: 将下载的Url信息在控制台输出，并将下载的图片存储在images子文件中，并给出截图。

• 本次作业爬取了4399游戏中的图片（https://www.4399.com/flash/）

1.2 作业1 Gitee文件夹链接

1.3 代码思路和关键代码展示

1.3.1 items.py程序

• 定义Item

class Work1Item(scrapy.Item):image_urls = scrapy.Field()image_index = scrapy.Field()

1.3.2 game.py程序

• 限制域

• 很重要!!!由于图片的url和要爬取的页面的url的域并不一样，所以要把图片的域也加上去，否则在爬取时就会报错，血的教训！！！

    allowed_domains = ["4399.com","5054399.com"]

• 限制爬取数目，爬取149张（学号后三位）

    def __init__(self):self.image_count = 0  # 初始化已爬取Item计数器MAX_IMAGES = 149

• 爬取页面中的url

 def parse(self, response):# 提取图片链接# 使用正则表达式匹配所有以.jpg或.png结尾的图片链接img_pattern = re.compile(r'src="([^"]+\.(jpg))"')image_urls = img_pattern.findall(response.text)for url in image_urls:if self.image_count < self.MAX_IMAGES:url = 'https:'+str(url[0])self.image_count += 1print(self.image_count,url)item = Work1Item()item['image_urls'] = urlitem['image_index'] = self.image_countyield item

• 翻页处理,当达到限制数目或没有下一页时停止翻页

 #获取下一页的链接next_page = response.xpath('//div[@class="pag"]/a[contains(text(), "下一页")]/@href').extract_first()if next_page is not None and self.image_count < self.MAX_IMAGES:next_page="https://www.4399.com"+str(next_page)yield response.follow(next_page, callback=self.parse)

1.3.3 pipelines.py程序

• 将图片下载至根目录的文件夹images中

           def item_completed(self, results, item, info):# 检查图像是否成功下载if not results:raise DropItem("Image download failed for {}".format(item['image_urls']))# 确定保存路径image_path = 'images'  # 本地目录if not os.path.exists(image_path):os.makedirs(image_path)# 将下载的图片保存到指定路径image_url = item['image_urls']image_name = image_url.split("/")[-1]  # 获取文件名image_save_path = os.path.join(image_path, image_name)# 将图片写入本地文件with open(image_save_path, 'wb') as f:response = requests.get(image_url)f.write(response.content)return item

1.3.4 settings.py设置

• 设置多线程爬取

• 设置图片存储目录

• 开启管道

LOG_LEVEL = "WARNING"
# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# Configure maximum concurrent requests performed by Scrapy (default: 16)
CONCURRENT_REQUESTS = 32
# 设置图片存储目录
IMAGES_STORY = './images'
DOWNLOAD_DELAY = 3
ITEM_PIPELINES = {"work_1.pipelines.Work1Pipeline": 1,
}

1.4 结果展示

• 控制台输出：

• 持久化存储：

1.5 总结体会

• 爬取图片最麻烦的地方就是需要注意爬取图片时图片url的域，在爬取时要注意在限制域里进行添加，有多个不同的域就都要添加

• 翻页处理时，会发现直接使用xpth爬取下来的并不一定是直接下一页的url，需要进行一定的处理

2 作业2

2.1 作业要求

• 熟练掌握 scrapy 中 Item、Pipeline 数据的序列化输出方法；使用scrapy框架+Xpath+MySQL数据库存储技术路线爬取股票相关信息。

• 候选网站：东方财富网（https://www.eastmoney.com/）

• 输出信息：Gitee文件夹链接

2.2 作业2 Gitee文件夹链接

2.3 代码思路和关键代码展示

2.3.1 items.py程序

• 定义item

class Work2Item(scrapy.Item):stock_code = scrapy.Field()  # 股票代码stock_name = scrapy.Field()  # 股票名称latest_price = scrapy.Field()  # 最新价price_change_percent = scrapy.Field()  # 涨跌幅price_change = scrapy.Field()  # 涨跌额transaction_volume = scrapy.Field()  # 成交量transaction_amount = scrapy.Field()  # 成交额amplitude = scrapy.Field()        # 振幅highest_price = scrapy.Field()  # 最高lowest_price = scrapy.Field()  # 最低opening_price = scrapy.Field()  # 今开previous_close = scrapy.Field()  # 昨收

2.3.2 middlewares.py程序

• 使用selenium来处理数据

    def __init__(self, driver_name='chrome', driver_executable_path=None, driver_arguments=None):self.driver = Noneself.chrome_options = webdriver.ChromeOptions()self.chrome_options.add_argument('--headless')self.chrome_options.add_argument('--disable-gpu')if driver_arguments:for argument in driver_arguments:self.chrome_options.add_argument(argument)service = Service(executable_path=driver_executable_path)self.driver = webdriver.Chrome(service=service, options=self.chrome_options)

2.3.3 eastmoney.py程序

• 设置 ChromeOptions

    def __init__(self):# 设置 ChromeOptionsoptions = Options()options.add_argument('--headless')  # 无头模式options.add_argument('--no-sandbox')options.add_argument('--disable-dev-shm-usage')# 初始化 WebDriverself.driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)self.page = 0  # 设置页面数

• 获取页面信息

# 使用 Selenium 获取页面self.driver.get(response.url)time.sleep(3)  # 等待页面加载# 获取页面内容sel = Selector(text=self.driver.page_source)table = sel.xpath('//table[@id="table_wrapper-table"]/tbody/tr')for tr in table:stock_code = tr.xpath('./td[position()=2]/a/text()').extract_first()stock_name = tr.xpath('./td[position()=3]/a/text()').extract_first()latest_price = tr.xpath('./td[position()=5]/span/text()').extract_first()price_change_percent = tr.xpath('./td[position()=6]/span/text()').extract_first()price_change = tr.xpath('./td[position()=7]/span/text()').extract_first()transaction_volume = tr.xpath('./td[position()=8]/text()').extract_first()transaction_amount = tr.xpath('./td[position()=9]/text()').extract_first()amplitude = tr.xpath('./td[position()=10]/text()').extract_first()highest_price = tr.xpath('./td[position()=11]/span/text()').extract_first()lowest_price = tr.xpath('./td[position()=12]/span/text()').extract_first()opening_price = tr.xpath('./td[position()=13]/span/text()').extract_first()previous_close = tr.xpath('./td[position()=14]/text()').extract_first()

• 翻页处理

            try:next_button = self.driver.find_element("xpath", '//*[@id="main-table_paginate"]/a[2]')if "disabled" not in next_button.get_attribute("class"):next_button.click()  # 点击下一页# 使用 WebDriverWait 等待下一页加载WebDriverWait(self.driver, 10).until(EC.presence_of_element_located(("xpath", '//table[@id="table_wrapper-table"]/tbody/tr')))yield scrapy.Request(self.driver.current_url, callback=self.parse)else:break  # 如果“下一页”按钮不可用，停止翻页except Exception as e:break  # 如果发生异常，停止翻页

2.3.4 pipelines.py程序

• 链接mysql，并插入到数据库中

    def process_item(self, item, spider):"""处理爬取到的项并插入数据库"""sql = """INSERT INTO stocks (stock_code, stock_name, latest_price, price_change_percent, price_change,transaction_volume, transaction_amount, amplitude, highest_price,lowest_price, opening_price, previous_close)VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)"""values = (item['stock_code'],item['stock_name'],item['latest_price'],item['price_change_percent'],item['price_change'],item['transaction_volume'],item['transaction_amount'],item['amplitude'],item['highest_price'],item['lowest_price'],item['opening_price'],item['previous_close'])self.cursor.execute(sql, values)self.connection.commit()  # 提交事务return item

2.4 结果展示

• 控制台输出：

• 持久化存储：

2.5 总结体会

• 使用selenium和scrapy框架进行爬取，可以处理一些动态数据。

• 由于该网站在翻页处理时，本身的url并没有发生变化，原来处理翻页的方法不在奏效，但使用selenium的鼠标点击可以处理该类情况。

• pipelines1爬取后的数据与数据库进行连接并存储，方便数据的保存和可视化。

3 作业3

3.1、作业要求

• 熟练掌握 scrapy 中 Item、Pipeline 数据的序列化输出方法；使用scrapy框架+Xpath+MySQL数据库存储技术路线爬取外汇网站数据。

• 候选网站：中国银行网：https://www.boc.cn/sourcedb/whpj/

• 输出信息：Gitee文件夹链接

Currency	TBP	CBP	TSP	CSP	Time
阿联酋迪拉姆	198.58	192.31	199.98	206.59	11:27:14

3.2 作业3 Gitee文件夹链接

3.3 代码思路和关键代码展示

3.3.1 items.py程序

• 定义item

class Work3Item(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()Currency = scrapy.Field()TBP = scrapy.Field()CBP = scrapy.Field()TSP = scrapy.Field()CSP = scrapy.Field()Time = scrapy.Field()

3.3.2 middlewares.py程序

• 使用selenium处理数据

    def __init__(self, driver_name='chrome', driver_executable_path=None, driver_arguments=None):self.driver = Noneself.chrome_options = webdriver.ChromeOptions()self.chrome_options.add_argument('--headless')self.chrome_options.add_argument('--disable-gpu')if driver_arguments:for argument in driver_arguments:self.chrome_options.add_argument(argument)service = Service(executable_path=driver_executable_path)self.driver = webdriver.Chrome(service=service, options=self.chrome_options)

3.3.3 boc.py程序

• 数据处理

    def parse(self, response):table = response.xpath('//div/table/tbody/tr')for tr in table[2:-1]:Currency = tr.xpath('./td[position()=1]/text()').extract_first()TBP = tr.xpath('./td[position()=2]/text()').extract_first()CBP = tr.xpath('./td[position()=3]/text()').extract_first()TSP = tr.xpath('./td[position()=4]/text()').extract_first()CSP = tr.xpath('./td[position()=5]/text()').extract_first()Time = tr.xpath('./td[position()=8]/text()').extract_first()print(Currency,TBP,CBP,TSP,CSP,Time)

• 翻页处理

  # 翻页处理next_page = response.xpath('//div[@class="turn_page"]/ol/li[@class="turn_next"]/a/@href').extract_first()next_page = "https://www.boc.cn/sourcedb/whpj/" + str(next_page)print(next_page)self.page +=1if next_page is not None and self.page < 11:  # 直到页面没有或超过10页next_page = response.urljoin(next_page)yield scrapy.Request(next_page, callback=self.parse)else:self.logger.info(f'Reached maximum page limit: {self.page}')

3.3.4 pipelines.py程序

• 将数据存储到mysql中

    def process_item(self, item, spider):sql = """INSERT INTO work3_data (currency, tbp, cbp, tsp, csp, time)VALUES (%s, %s, %s, %s, %s, %s)"""try:self.cursor.execute(sql, (item['Currency'],item['TBP'],item['CBP'],item['TSP'],item['CSP'],item['Time']))self.connection.commit()except mysql.connector.Error as e:self.connection.rollback()raise DropItem(f"Error processing item {item!r} - {e}")return item

3.5 结果展示

• 控制台输出

• 持久化存储

3.6 总结体会

• 与作业2相差不大，在翻页处理上比作业二更加简单