Solr框架 01 Solr框架简介，安装，配置（Analysis，Dataimport）-编程知识

Solr简介：
Solr是一个高性能，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

Solr本质就是一个Java web 项目，且内嵌了Jetty服务器，所以安装起来非常方便。客户端操作Solr的过程和平时我们所写项目一样，就是请求Solr中控制器，处理完数据后把结果响应给客户端。

一.正向索引和反向索引
只要讨论搜索就不得不提的两个概念：正向索引（forward index）和反向索引(inverted index)。
正向索引：从文档内容到词组的过程。每次搜索的时候需要搜索所有文档，每个文档比较搜索条件和词组。
在这里插入图片描述
反向索引：是正向索引的逆向。建立词组和文档的映射关系。通过找到词组就能找到文档内容。（和新华字典找字很像）

二.Solr搜索原理
Solr的搜索原理
Solr能够提升检索效率的主要原因就是分词和索引（反向索引）。
分词：会对搜索条件/存储内容进行分词，分成日常所使用的词语。
索引：存储在Solr中内容会按照程序员的要求来是否建立索引。如果要求建立索引会把存储内容中关键字（分词）建立索引。
在这里插入图片描述

三.Solr中数据存储说明
Solr为了给内容建立索引，所以Solr就必须具备数据存储能力。所有需要被搜索的内容都需要存储在Solr中，在开发中需要把数据库中数据添加到Solr中进行初始化，每次修改数据库中数据还需要同步Solr中的数据。
Solr中数据存储是存储在Document对象中，对象中可以包含的属性和属性类型都定义在schema.xml中。

Solr单机版安装

Solr是使用Java编写，所以必选先安装JDK。
1.1上传并解压
上传压缩包solr-8.2.0.tgz到/usr/local/tmp中。
解压

# cd /usr/local/tmp
# tar zxf solr-8.2.0.tgz

1.2复制到/usr/local中

# cp -r solr-8.2.0 ../solr

1.3Solr常用目录简介
在这里插入图片描述
bin目录：可执行文件所在目录。
dist目录：Solr对外提供的核心、扩展、插件等代码jar文件。
server目录：Solr搜索应用服务器核心目录。
server/solr：Solr的索引库所在位置
server/solr-webapp：Solr的WAR核心应用
server/etc：Solr的核心配置

1.4修改启动参数
修改启动参数，否则启动时报警告。提示设置SOLR_ULIMIT_CHECKS=false

# cd /usr/local/solr/bin
# vim solr.in.sh

在这里插入图片描述
1.5启动Solr
Solr内嵌Jetty，直接启动即可。默认监听8983端口。
Solr默认不推荐root账户启动，如果是root账户启动需要添加-force参数。

# ./solr start -force

四.Solr可视化管理界面（web界面）
在关闭防火墙的前提下，可以在windows的浏览器中访问Solr。
输入: http://192.168.32.133:8983 就可以访问Solr的可视化管理界面。
左侧有5个菜单。分别是：
（1）Dashboard：面板显示Solr的总体信息。
（2）Logging：日志
（3）Core Admin：Solr的核心。类似于数据的Database
（4）Java Perperties：所有Java相关属性。
（5）Thread Dump：线程相关信息。
（6）如果有Core，将显示在此处。
在这里插入图片描述
Solr配置：
五.Solr新建核心（索引库的创建）
Solr安装完成后默认是没有核心的。需要手动配置。
需要在solr/server/solr下新建文件夹，并给定配置文件，否则无法建立。

1.1新建目录
在/usr/local/solr/server/solr中新建自定义名称目录。此处示例名称为testcore。一般一张表对应一个文件夹

# cd /usr/local/solr/server/solr
# mkdir testcore

1.2复制配置文件
在configsets里面包含了_default和sample_techproducts_configs。里面都是配置文件示例。_default属于默认配置，较纯净。sample_techproducts_configs是带有了一些配置示例。

# cp -r configsets/_default/conf/  testcore/

1.3填写Core信息
在可视化管理界面中Core Admin中编写信息后点击Add Core后，短暂延迟后testcore就会创建成功。schema处不用更改。
在这里插入图片描述
1.4出现testcore
在客户端管理界面中，选择新建的Core后，就可以按照自己项目的需求进行操作了。
六.分词Analysis
在Solr可视化管理界面中，Core的管理菜单项中都会有Analysis。表示根据Scheme.xml(managed-schema)中配置要求进行解析。
对英文解析就比较简单了，只要按照空格把英文语句拆分成英文单词即可。
在这里插入图片描述
但是如果条件是中文时，把一句话按照字进行拆分就不是很合理了。正确的方式是按照合理的词组进行拆分。

1.1中文分词器安装及配置步骤
上传ik-analyzer.jar到webapps中。
去https://search.maven.org/search?q=com.github.magese下载对应版本的ik-analyzer。
1.2修改配置文件
修改/usr/local/solr/server/solr/testcore/conf/managed-schema

# vim /usr/local/solr/server/solr/testcore/conf/managed-schema

添加下面内容。
排版：Esc 退出编辑状态下：gg=G

<field name="myfield" type="text_ik" indexed="true" stored="true" /><fieldType name="text_ik" class="solr.TextField"><analyzer type="index"><tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/><filter class="solr.LowerCaseFilterFactory"/></analyzer><analyzer type="query"><tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/><filter class="solr.LowerCaseFilterFactory"/></analyzer></fieldType>

1.3重启

# cd /usr/local/solr/bin
# ./solr stop -all
# ./solr start -force

1.4验证
可以在可视化管理界面中找到myfield属性进行验证。
在这里插入图片描述
2managed-schema配置说明
2.1 <fieldType/>
表示定义一个属性类型。在Solr中属性类型都是自定义的。在上面配置中name="text_ik"为自定义类型。当某个属性取值为text_ik时IK Analyzer才能生效。

2.2<field/>
表示向Document中添加一个属性。
常用属性：
name: 属性名
type:属性类型。所有类型都是solr使用<fieldType>配置的
indexed: 是否建立索引
stored: solr是否把该属性值响应给搜索用户。
required：该属性是否是必须的。默认id是必须的。
multiValued：如果为true，表示该属性为复合属性，此属性中包含了多个其他的
属性。常用在多个列作为搜索条件时，把这些列定义定义成一个新的复合属性，通过搜索一个复合属性就可以实现搜索多个列。当设置为true时与<copyField source="" dest=""/>结合使用

2.3<uniqueKey>
唯一主键，Solr中默认定义id属性为唯一主键。ID的值是不允许重复的。

2.4<dynamicField>
名称中允许*进行通配。代表满足特定名称要求的一组属性。

七、Dataimport（数据库中的数据导入）
可以使用Solr自带的Dataimport功能把数据库中数据快速导入到solr中.
必须保证managed-schema和数据库中表的列对应。
1修改配置文件
修改solrconfig.xml，添加下面内容

 <!-- 配置数据导入的处理器 --><requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"><lst name="defaults"><!--  加载data-config.xml  --><str name="config">data-config.xml</str></lst></requestHandler>

2.新建data-config.xml
和solrconfig.xml同一目录下新建data-config.xml

<?xml version="1.0" encoding="UTF-8"?>
<dataConfig><dataSource type="JdbcDataSource"   driver="com.mysql.cj.jdbc.Driver"   url="jdbc:mysql://192.168.51.241:3306/maven?serverTimezone=Asia/Shanghai"   user="root"   password="root"/><document><entity name="product" query="SELECT id,name,price from product"><!-- 实现数据库的列和索引库的字段的映射column 指定数据库的列表name  指定索引库的字段名字，必须和schema.xml中定义的一样--><field column="id" name="id"/><field column="name" name="name"/>
<field column="price" name="price"/></entity></document></dataConfig>

3.添加jar
向solr-webapp中添加三个jar。在dist中两个还有一个数据库驱动。
在这里插入图片描述
4.操作
重启solr后，在可视化管理页面中进行数据导入。
注意：
点击导入按钮后，要记得点击刷新按钮。