计算机毕业设计Python+Spark知识图谱课程推荐系统课程预测系统课程大数据课程数据分析课程大屏 mooc慕课推荐系统大数据毕业设计-编程知识

1 绪论

1.1 课题研究背景

在线教育学习平台是学生用来进行校内或校外拓展课程学习的平台，平台需要具备在线视频观看，作业提交，形成性考核等功能。在学生学习的过程中，学校的管理者或负责教师需要了解学生的学习情况和学习状态，因此必须要通过学生的学习行为数据进行数据分析，将学生的学习情况直观的展现给用户，方便教师进行学生管理和评测。

现阶段在线教育学习平台，一般会提供两种方向，一种是对普通用户，社会上的各种人员都可以来学习这个课程，学习完以后拿到一些证书认证，另一种是面向是院校，比如说大学里的学生可以在线选一门课，选完这门课以后，通过这个在线教育学习平台，让学生去学习这门课，最终得到他的学习成绩，那么通过学习他可以拿到他自己的学分，不需要在线下来去进行课程学习，这是整个在线教育学习平台这里面提供的功能，那么学生在学习这门课程的过程中，那肯定会产生很多的这种学习的数据，就比如说学生观看视频观看了多长时间，什么时候来的这个平台这些相关的数据，那么基于这些数据，我们就需要进行数据分析。

通过分析的结果，可以了解学生学习情况，学习状态，根据这些内容，我们好去了解这门课程设置是不是有问题，学生在学习过程中会有哪些习惯和行为，根据这个反馈过来的数据进行灵活的调整，或者让老师重新去调整这个课程内容，或者去改变这一部分的学生学习方式，这是我们最终做这个数据分析的目的。

1.2 课题研究意义

本次课题主要通过使用ECharts图形可视化开发技术，从而在项目中反馈自己的学习成果，提升自己技术水平和能力，让自己在设计方面也能得到更多锻炼，思维模式得到扩展。通过在线教育平台的数据，利用所学知识去分析数据，得出学生在学习过程中学习情况，以及利用课程平台中的健康度和用户活跃度来反哺提升课程质量。

2相关技术介绍和分析

2.1 JAVA语言

JAVA是一种跨平台的程序设计语言，它属于面向对象型，有着显著的优点。

2.2 Idea开发环境

IDEA 全称IntelliJ IDEA，是java语言开发的集成环境，idea是目前最好的开发工具之一，尤其在代码只能助手、自动代码提示等方面是有突出成就的。

2.3 Hadoop生态圈技术

HDFS: 一种分布式文件系统，提供对应用程序数据的高吞吐量访问。

MapReduce: 基于YARN的系统，用于并行处理大型数据集。

HBase: 可扩展的分布式数据库，支持大型表的结构化数据存储。

Sqoop: 采集RDBMS（关系型数据库）。

2.4 ECharts

ECharts，一个功能强大的交互式图表和浏览器可视化库。

3系统调研

3.1经济可行性分析

系统使用大数据组件开源技术，组建单节点Hadoop集群,使用MapReduce数据分析，考虑到市面上大屏可视化系统需要收费，所以用ECharts技术实现数据可视化图表功能。

3.2技术可行性分析

通过servlet和json进行数据交互，以及CAS做单点登录和注销，调整好系统结构，可以很好实现页面数据传输和展示的功能

3.3系统性能可行性分析

WEB端产品，性能主要基于服务端的响应，此处通过设置虚拟机内存、优化代码结构等手段，保证正确运行。

4概要设计

4.1功能设计

根据系统的需要，列出所需要的功能，与解决的方法，并以此为参考，设计数据库等后台内容。

4.1.1 登陆注册功能

用户通过浏览器访问后可以登录，没有注册的用户可以进行注册，然后将用户信息存入数据库中，通过Spring Security框架做登录拦截，并可以获取已登录用户登录名，点击注销可以实现用户退出登录。

4.1.2 数据预功能

将数据通过Sqoop导入Hadoop中的HDFS，使用MapReduce进行数据处理，并将处理好的数据，保存到HBase中。

4.1.3 每日登陆人数分析

读取HBase中登录数据，页面显示不同月份的登录人数比，并可以显示每月登录人数，可以切换不同的月份。

4.1.4 平均学习时长和学习行为次数分析

读取HBase中相关数据，页面显示不同日期对应的学习时长和学习次数。

4.1.5 每日活跃情况分析

柱状图显示每日活跃学生人数的统计分析，这里设定每日至少进行3次学习行为的用户为活跃用户

4.1.6 分时段学习人数分析

热力图展示学生在什么时间段爱学习，横坐标为小时，纵坐标为星期。

柱状图展示在不同时间段中用户登录人数。

4.2数据库表结构设计

表与功能相匹，设计时尽量减少冗余数据的存储，多考虑多表查询的可能与简单程度

4.3后台结构设计

主要使用servlet接受请求，MVC将代码分层。

4.4前台UI设计

JS使用AngularJS的双向数据绑定方便的操作，展示更多有用的信息，UI使用ECharts自带的图形效果显示。

5 系统运行示例与测试

5.1 系统测试概述

项目完成后，测试时保证系统稳定运行的关键所在，不同的点击事件向后台请求数据，前端接受数据，避免数据传输错误引起的界面不显示或报错问题以及界面的排版问题。

5.2 运行测试

进入到系统界面，依此进行试用

6 结论

本章主要对本次设计进行总结，总结系统的优点和存在的不足，并且作出相应的改进等。

参考文献

致谢

核心算法代码分享如下：

package com.sqlimport org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types._
import org.junit.Testimport java.util.Propertiesclass MoocSpark2024_FixBug {val spark = SparkSession.builder().master("local[6]").appName("在线教育课程数据实时计算V1.0").getOrCreate()//课程数仓CSV 模式val ods_courses_Schema = StructType(List(StructField("kw", StringType),StructField("cid", StringType),StructField("url", StringType),StructField("title",StringType),StructField("img", StringType),StructField("tag", StringType),StructField("school",StringType),StructField("teacher", StringType),StructField("mans", IntegerType),StructField("brief", StringType),StructField("status", StringType),StructField("price", StringType),StructField("chapters", StringType),StructField("comments_score", FloatType),StructField("comments", StringType)))val ods_courses_Df = spark.read.option("header", "false").schema(ods_courses_Schema).csv("hdfs://192.168.227.166:9000/mooc2024/ods_courses/edu_course.csv")//网评数仓CSV 模式val ods_comments_Schema = StructType(List(StructField("kw", StringType),StructField("cid", StringType),StructField("title", StringType),StructField("nickname",StringType),StructField("ctime", StringType),StructField("csv_txt", StringType),StructField("ke",IntegerType),StructField("star", IntegerType),StructField("url2", StringType),StructField("sentiments", FloatType),StructField("province", StringType)))val ods_comments_Df = spark.read.option("header", "false").schema(ods_comments_Schema).csv("hdfs://192.168.227.166:9000/mooc2024/ods_comments/edu_comments.csv")@Testdef init(): Unit = {//school_province_score_Df.show()//ods_courses_Df.show()ods_comments_Df.show()//school_special_score_Df.show()//school_Df.show()//ruanke_rank_Df.show()//qs_world_Df.show()}//  ----剩余使用spark_sql完成
//    ---指标8：课程特色占比@Testdef tables08(): Unit = {ods_courses_Df.createOrReplaceTempView("ods_courses")val df2 = spark.sql("""select tag ,count(1) numfrom ods_coursesgroup by tag""")df2
//      .show(50).coalesce(1).write.mode("overwrite").option("driver", "com.mysql.cj.jdbc.Driver").option("user", "root").option("password", "123456").jdbc("jdbc:mysql://bigdata:3306/hive_mooc2024?useSSL=false","table08",new Properties())}// ---指标9：网络水军词云预警(黑名单)@Testdef tables09(): Unit = {ods_comments_Df.createOrReplaceTempView("ods_comments")val df2 = spark.sql("""select nickname,count(1) numfrom ods_commentswhere sentiments <0.5group by nicknameorder by num desclimit 20""")df2//      .show(50).coalesce(1).write.mode("overwrite").option("driver", "com.mysql.cj.jdbc.Driver").option("user", "root").option("password", "123456").jdbc("jdbc:mysql://bigdata:3306/hive_mooc2024?useSSL=false","table09",new Properties())}}