系统功能设计
技术栈:springboot,jdk8,vue3,element-plus,mybatis-plus
1.java后端系统
首先需要学生通过前端注册页面和java后端系统将个人信息写入数据库,包含学号、姓名、班级以及需要爬取网站的相关信息(例如AtCoder账号信息)。
对爬虫系统获取到的数据完成CRUD接口,并生成接口文档(knife4j框架)。
可使用mybatis-plus框架根据数据库表自动生成entity、service、mapper层以及实现数据库增删改查。
数据返回应实现分页功能,项目在新环境中运行时应实现自动创建数据库表功能。
2.爬虫系统
系统从数据库中读取学生信息,拿到爬虫所需要的信息,以java webmagic框架为例,拿到目标网站的页面,通过实现PageProcessor接口完成页面解析并将数据传递给pipeline,通过实现Pipeline接口对爬取的数据存储至数据库。
爬虫系统应实现定时执行,(java springboot定时任务可采用@Scheduled标签实现,定时任务线程池系统默认为1,根据实际需要修改大小)
3. vue前端系统
实现学生注册信息页面,采集学生基本信息和比赛所用的账号信息
学生的比赛信息以表格以及echarts各类图表形式展示。
4.页面展示
5.前后端代码结构
6.有需要的请联系作者扣扣:2455232431