简易搜索引擎SEWeibo-编程知识

简易搜索引擎SEWeibo

背景

有一组微博事件数据，之前做了一些数据分析与挖掘的工作。想着用C++做一个简单的搜索引擎玩玩。

亮点：

搜索支持关系关键字作为搜索条件，以文本情感极性作为初筛条件，以TF-IDF为搜索排序依据
以Reactor模式为基础，实现C++后台，支持线程池、支持epoll实现I/O多路复用
实现一个简单的前端，搭载在apache上
引入redis实现缓存，引入日志系统

详细代码请到github：https://github.com/li-car-fei/SEWeibo

求求点个star~~

搜索关键步骤实现

预处理阶段：

使用cppjieba对每个微博事件进行分词
分词后计算每个事件的词频，并且根据情感词典计算每个事件的情感倾向分
根据TF-IDF计算每个词在其出现的事件中的影响权重

实际搜索阶段：

解析出搜索语句中的关键字：AND，OR，NOT
按照搜索关键字分割搜索语句，并进行搜索，三个关键字分别对应搜索结果求交集、并集、非集
将搜索语句视为一个事件，对其进行分词，计算词频、情感得分
初筛：筛选出拥有搜索语句中所有词语的事件，并选出情感倾向与搜索语句相同的事件
再筛：根据搜索语句的每个词语的权重值构成向量，再计算与备选集的余弦相似度，选取最相似的前k个返回
根据搜索结果的事件ID，生成摘要并返回结果
redis 缓存

结果示例

Log 日志：

2023-11-10 17:06:15,951: INFO rootCategory : Log init success
2023-11-10 17:06:17,226: INFO rootCategory : cppjieba init!
2023-11-10 17:06:21,692: INFO rootCategory : 停词库，情感词表，网页库，偏移库，倒排索引库，情感得分表 读取数据成功!
2023-11-10 17:06:28,979: INFO rootCategory : >>client has connected 127.0.0.1:9006 >> 127.0.0.1:34133
2023-11-10 17:06:28,979: INFO rootCategory : search event: 蔡徐坤
2023-11-10 17:06:28,980: INFO rootCategory : redis key exists: 蔡徐坤
2023-11-10 17:06:28,980: INFO rootCategory : >>client has broken up 127.0.0.1:9006 >> 127.0.0.1:34133
...

细节

前端

前端简单写的页面，用apache搭载，详见frontend文件夹
后端返回json数据，前端用jquery进行解析渲染

单 Reactor 多线程模式

net 中实现 Reactor 相关、TCPConnection 相关；由 Acceptor 负责主线程连接相关，监听新的连接请求；回调函数挂载到 TCPConnection 上，由 EventLoop 从 epoll 中取出可操作的 socket 句柄，再调用 TCPConnection 中的回调函数进行处理；
threadpool 实现线程池，由回调函数中将业务处理函数添加到线程池的任务队列中，是和 Server 分离开的，不影响 Server 主线程监听连接；
using Task = function<void()>; 定义了添加到线程池任务队列的数据类型，是一个可调用对象（函数、函数指针、lambda表达式等皆可）

redis 缓存

单例模式实现，将搜索语句与结果的JSON语句存储到缓存中
在计算搜索匹配结果、词频、情感前先从缓存中查找有没有相应的key（即搜索语句文本），有则直接返回
用于搜索运算消耗较大，使用缓存可以很好提高性能

log 日志

基于log4cpp实现日志，单例模式
在头文件中定义相应的宏，以实现简单调用日志接口

搜索细节

关键字分割搜索语句，不同关键字对应不同的搜索结果合并
首先搜索出包含搜索文本每个词的事件，并依据情感得分去除情感倾向不同的结果
根据搜索规则匹配，合并得到搜索结果
根据搜索语句的TF-IDF向量与搜索结果事件的向量计算余弦相似度并排序
最终生成摘要并返回结果

// 执行查询void WordQuery::doQuery(RedisClient& redisClient, const string &s, const TcpConnectionPtr &ptr){// 先查询缓存auto redisResult = redisClient.get(s);if (redisResult.first){ptr->sendInEventLoop(redisResult.second);return;}// 提取关键字和搜索文本auto parseSearchTextResult = parseSearch(s);/*** 构建返回结果所需：*  （1）set<int> eventIds：事件id*  （2）map<int, map<string, int>> wordsMap : 词频记录（当前搜索语句所构建的event的） *  （3）map<int, vector<pair<string, double>>> vec ：每个词与其权重（当前搜索语句所构建的event的） */set<int> eventIds;map<int, map<string, int>> wordsMaps;map<int, vector<pair<string, double>>> vecs;// 循环遍历关键字和搜索文本，构建结果searchThrough(eventIds, wordsMaps, vecs, parseSearchTextResult.first, parseSearchTextResult.second);// 根据第一个搜索map和搜索文本的vec 计算余弦排序，形成摘要string message = doReturn(eventIds, wordsMaps.begin()->second, vecs.begin()->second, ptr);// 设置缓存redisClient.set(s, message);}