企业架构NOSQL数据库之MongoDB

目录

一、背景描述及其方案设计

(一)业务背景描述

(二)模拟运维设计方案

二、Mongodb介绍

(一)nosql介绍

(二)产品特点

1、存储性

2、 效率性

3、结构

 三、安装和配置

(一)安装方式介绍

(二)二进制可执行安装

1、上传安装包到服务器目录

2、 解压到安装目录 并移动

 3、创建数据存储目录和日志目录

4、启动mongod服务

 (三)命令行客户端操作

 四、数据结构类型操作 CURD

(一)添加数据

1、mongodb里存储数据的格式文档形式,以bson格式的文档形式。

2、 语法:db.集合名称.insert(bson格式数据)

3、普通数据添加

4、多维数据对象添加

 5、数组信息添加

 (二)查询数据

1、语法:

2、笼统方式查询

 3、条件限制查询

 4、范围条件查询

5、多个条件查询

6、多维字段查询

7、数组条件查询

(1)查询满足其中之一即可显示

 (2)满足查询条件所有的才可显示

8、限制查询字段

 9、$or查询

10、count 语法

 11、limit语法 skip语法

 (三)修改数据

 1、语法:

2、有$set的修改

3、 没有$set的修改

 (四)删除数据

1、删除记录

2、删除字段

 五、安全设置

(一)限制登录

1、使用另外一台虚拟机,使用mongo命令行端进行测试

​编辑 2、关闭mongodb

3、 添加启动的脚本,启动mongod

 4、使用远程登录mongod服务

(二) 用户权限管理

1、需求

2、语法:

3、实现步骤:

①切换admin库,进行用户创建

②关闭mongod服务,重启添加权限参数并启动

​编辑 ③测试使用

​编辑 六、业务实例

 (一)PHP扩展安装

1、上传php扩展包

2、解压编译安装

3、添加php.ini匹配

4、重启php-fpm查看phpinfo

 (二)桌面管理使用

 1、软件是绿色版本,直接解压,点击使用即可

2、填写相关参数

 ​编辑

 3、测试是否可以正常连接

4、点击连接

 5、查看数据

 (三)日志统计展示

1、很多网站需要统计某个页面或者某个功能访问量,如果访问量比较大,需要记录的组件具有很快的读写效率。可以使用功能性更多的mongodb来完成此业务。mongodb具有更多的数据灵活性。

2、网站访问日志记录的信息:

3、使用服务器

4、Tip:nginx负载均衡服务器解决后端服务获取不到真实用户IP的方式

①在负载均衡nginx服务器,填写真实用户IP的转发

②web服务器的nginx需要配置接收真实的用户IP,需要使用到模块--with-http_realip_module,在编译安装nginx时需要加入

③配置语法

​编辑 ④操作实现步骤:

 (1)删除原来的文件

(2)上传修改好的文件

(3)访问页面之后,可以查看到访问已经被记录


一、背景描述及其方案设计

(一)业务背景描述

⽤户数量: 10000-12000(⽤户量猛增)
PV : 1000000-5000000(24小时访问次数总和)
QPS: 50-100*(每秒访问次数)  300
DAU: 2000~*000(每日活跃用户数)

根据业务需求:

用户访问日志是在web服务器access.log存储

统计每日访问量,峰值访问量

把每次访问存储到mongodb中,mongodb用来筛选日志

(二)模拟运维设计方案

根据以上业务需求,采用mongodb数据库存储用户的访问日志,使用单台服务器

①访问日志存储

②在mongo中筛选查看信息

二、Mongodb介绍

(一)nosql介绍

数据库排名:https://db-engines.com/en/ranking

关系数据库 RDBMS   设计表结构,通过SQL语句进行操作。连表关系

常见的关系型数据库:mysql oracle(商业) DB2(IBM) sqlserver(微软) access(微软) sqlite3(小型 嵌入到APP中) postgresql(加州伯克利大学)

nosql 泛指非关系数据库 存储格式key=>value   

memcached   redis 内存缓存数据库  

mongodb  具有更多的功能,可以适用于大部分的mysql场景 document store  文档型数据库

(二)产品特点

1、存储性

比较适合存储大量的没有规则无序的数据。

存储量大:单表实现存储PB级别的数据

1KB = 1024B

1MB = 1024KB

1GB = 1024MB

1TB = 1024GB

1PB = 1024TB

1EB (Exabyte 百亿亿字节 艾字节)=1024PB,

1ZB (Zettabyte 十万亿亿字节 泽字节)= 1024EB,

1YB (Yottabyte 一亿亿亿字节 尧字节)= 1024ZB,

2、 效率性

数据的效率,就是指存储和读写速度。

 

3、结构

 三、安装和配置

(一)安装方式介绍

yum方式安装:Install MongoDB Community Edition on Red Hat or CentOS — MongoDB Manual

手动通用安装:Install MongoDB Community Edition on Linux — MongoDB Manual

(二)二进制可执行安装

1、上传安装包到服务器目录

2、 解压到安装目录 并移动

shell > tar xvf mongodb-linux-x86_64-rhel62-3.6.5.tgz
shell > mv mongodb-linux-x86_64-rhel62-3.6.5 /usr/local/mongodb

 3、创建数据存储目录和日志目录

shell > cd /usr/local/mongodb

shell > mkdir data

shell > mkdir logs

4、启动mongod服务

shell > cd /usr/local/mongodb/bin

shell > ./mongod --dbpath=/usr/local/mongodb/data --logpath=/usr/local/mongodb/logs/log.txt --fork

参数介绍:

dbpath 数据存储路径

logpath 日志存储路径

fork  后台启动

auth  权限开启

bind_ip  指定绑定网卡ip

 (三)命令行客户端操作

 四、数据结构类型操作 CURD

(一)添加数据

1、mongodb里存储数据的格式文档形式,以bson格式的文档形式。

在mongodb中,可有无需创建数据库和集合,使用的时候会自动创建 

创建一个库devops

2、 语法:db.集合名称.insert(bson格式数据)

3、普通数据添加

db.goods.insert({name:'huawei01',price:1000,weight:135,number:35})

4、多维数据对象添加

db.goods.insert({name:'xiaomi5',price:1999,weight:156,number:45,area:{province:'beijing',city:'beijing'}})

 5、数组信息添加

db.goods.insert({name:'xiaomimax',price:2000,weight:180,number:100,area:{province:'henan',city:'zhengzhou'},color:['black','white','red']})

 (二)查询数据

1、语法:

db.集合名称.find(查询条件)

db.集合名称.findOne(查询条件)

2、笼统方式查询

不进行条件限制,全部取出来。

findOne会取出符合结果的第一条信息,并且以格式化形式返回

 3、条件限制查询

条件格式,所见及所得
db.goods.find({name:'xiaomimax'})
db.goods.findOne({name:'xiaomimax'})

 4、范围条件查询

mysql   <     <=   >   >=    !=

mongo  $lt    $lte  $gt  $gte  $ne

db.goods.find({price:{'$lte':1999}})

db.goods.find({price:{'$lt':1999}})

5、多个条件查询

类似mysql中的AND语法

db.goods.find({price:{'$lte':1999},number:{'$gte':40}})

6、多维字段查询

通过多维字段的值进行查询

db.goods.find({'area.city':'zhengzhou'});

注意:多维字段需要用引号包含起来

7、数组条件查询

(1)查询满足其中之一即可显示

db.goods.find({color:'black'})

 (2)满足查询条件所有的才可显示

db.集合名称.find({字段(数组):{‘$all’:[v1,v2]}})

db.goods.insert({name:'iphonex',price:8398,weight:100,number:200,area:{province:'jiangsu',city:'nanjing'},color:['gray','black','white','gold']})

db.goods.find({color:{'$all':['black','gold']}})

8、限制查询字段

在实际使用环境,不需要查询并显示太多的字段。可以选择设定显示。

语法:db.集合名称.find({查询条件},{筛选条件})

显示为1,不显示为0   要是1都是1,要是0都是0  _id除外

db.goods.find({color:{'$all':['black','gold']}},{name:1,_id:0})

 注意采用合适的方式,显示出查询字段值内容

_id是mongodb数据库里的集合中,默认的主键id,具有索引内容,通过主键查询,会很快的查询速度。不要随意修改此值,使用默认即可。

 9、$or查询

满足其中之一的条件就可以显示,类似mysql的中的or条件语法
select * from goods where price > 5000 or number >= 100

db.goods.find({'$or':[{price:{'$gt':5000}},{number:{'$gte':100}}]})

10、count 语法

返回结果的数量统计

链式操作

db.goods.count()
db.goods.find({price:{'$gt':5000}}).count()
db.goods.count({price:{'$gt':5000}})

 

 11、limit语法 skip语法

类似于mysql中的limit(skip,length)语法
limit()  取几个
skip()   跳过几个
db.goods.find().limit(1);

db.goods.find().skip(1).limit(1);

mongodb语法和SQL语句的对比

 

 (三)修改数据

 1、语法:

db.集合名称.update({查询条件},{修改条件})
db.集合名称.updateOne()  修改匹配的第一条
db.集合名称.updateMany()  修改匹配所有条

2、有$set的修改

db.goods.update({name:'iphonex'},{'$set':{price:8500}})
   

db.没有$set的修改goods.updateOne({name:'xiaomi5'},{'$set':{price:1500}})

3、 没有$set的修改

没有$set关键字语法,把设置的字段进行修改,没有设置的就会被删除掉

db.goods.update({name:'iphonex'},{price:8550})

 (四)删除数据

1、删除记录

db.集合名称.remove({查询条件})

db.集合名称.deleteOne()  删除匹配的第一条

db.集合名称.deleteMany()  删除匹配的多条

db.goods.remove({price:8550})

db.goods.deleteMany({price:{'$lte':2000}})

 

2、删除字段

可以删除某个字段的操作,使用的是update语法的$unset

db.goods.update({name:'huawei01'},{'$unset':{weight:0}})

值给一个就可以删除了

真实业务当中,一般不做物理删除,会使用一个标识,来确认是否已经被删除的数据

 五、安全设置

https://docs.mongodb.com/manual/tutorial/create-users/       

mongodb安全事件:https://www.jianshu.com/p/48d17a69e190

(一)限制登录

1、使用另外一台虚拟机,使用mongo命令行端进行测试

远程登录方法

2、关闭mongodb

正常情况下不要kill -9 mongod,使用mongo命令客户端里的关机命令

3、 添加启动的脚本,启动mongod

shell > vim /etc/init.d/mongodb

 

bind绑定是外网通讯的网卡   --bind_ip_all表示绑定0.0.0.0这个任意地址

 4、使用远程登录mongod服务

(二) 用户权限管理

1、需求

设置一个超级管理员账户,对于所有库具有读写权限

2、语法:

db.createUser({user:"root",pwd:"root",roles:["root"]})

3、实现步骤:

①切换admin库,进行用户创建

②关闭mongod服务,重启添加权限参数并启动

关闭

在启动脚本中加入--auth参数

 ③测试使用

 添加用户,限制用的库的权限,只读

 六、业务实例

 (一)PHP扩展安装

1、上传php扩展包

如果没有phpize这个命令,需要yum安装php-devel

2、解压编译安装

shell > yum -y install php-devel  #安装phpize
shell > tar xvf mongodb-1.5.3.tgz
shell > cd mongodb-1.5.3
shell > phpize
shell > ./configure && make && make install

3、添加php.ini匹配

shell > vim /usr/local/php/etc/php.ini

4、重启php-fpm查看phpinfo

shell > service php-fpm restart

 (二)桌面管理使用

 1、软件是绿色版本,直接解压,点击使用即可

 

2、填写相关参数

 

 

 3、测试是否可以正常连接

 

4、点击连接

 5、查看数据

 (三)日志统计展示

1、很多网站需要统计某个页面或者某个功能访问量,如果访问量比较大,需要记录的组件具有很快的读写效率。可以使用功能性更多的mongodb来完成此业务。mongodb具有更多的数据灵活性。

2、网站访问日志记录的信息:

ip 用户访问的来源ip
url  用户访问的地址  功能模块页面地址
time  访问时间  记录用户访问的时间值
user_agent 用户访问的客户端信息

3、使用服务器

web1(server01)->mycat(server07)->master(server02)->slave(server06)->cache(server08)->mongodb(server10)

4、Tip:nginx负载均衡服务器解决后端服务获取不到真实用户IP的方式

①在负载均衡nginx服务器,填写真实用户IP的转发

注意如果使用负载均衡,后端获取的IP为负载均衡代理的IP。

如果后端需要获取到真是的IP,负载均衡服务器,必须要配置参数,把真实IP进行传输 

②web服务器的nginx需要配置接收真实的用户IP,需要使用到模块--with-http_realip_module,在编译安装nginx时需要加入

③配置语法

④操作实现步骤:

 (1)删除原来的文件

(2)上传修改好的文件

(3)访问页面之后,可以查看到访问已经被记录

php中获取代理的真实IP的方式,但是一定要注意必须是代理服务器有传真实IP

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/60483.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python-flask项目入门

一、flask对于简单搭建一个基于python语言-的web项目非常简单 二、项目目录 示例代码 git路径 三、代码介绍 1、安装pip依赖 通过pip插入数据驱动依赖pip install flask-sqlalchemy 和 pip install pymysql 2.配置数据源 config.py DIALECT mysql DRIVER pymysql USERN…

百度资深PMO阚洁受邀为第十二届中国PMO大会演讲嘉宾

百度在线网络技术&#xff08;北京&#xff09;有限公司资深PMO阚洁女士受邀为由PMO评论主办的2023第十二届中国PMO大会演讲嘉宾&#xff0c;演讲议题&#xff1a;运筹于股掌之间&#xff0c;决胜于千里之外 —— 360斡旋项目干系人。大会将于8月12-13日在北京举办&#xff0c;…

直播招聘小程序解决方案

项目开发愿景 介绍工作拿佣金&#xff0c;Boss直播现真身。做为直播招聘的新平台&#xff0c;让求职和招聘变得更简单&#xff01;企业发布招聘视频&#xff0c;展现公司环境与实力&#xff0c;开通会员可以直播招聘、在线面试功能&#xff1b;求职者刷视频可以刷到工作…

html实现商品图片放大镜,html图片放大镜预览

效果 实现 复制粘贴&#xff0c;修改图片路径即可使用 <!DOCTYPE html> <html><head><meta charset"UTF-8"><title>商品图片放大镜</title></head><style>body {margin: 0;padding: 0;}#app {padding: 10px;posit…

TartanVO: A Generalizable Learning-based VO 论文阅读

论文信息 题目:TartanVO: A Generalizable Learning-based VO 作者&#xff1a;Wenshan Wang&#xff0c; Yaoyu Hu 来源&#xff1a;ICRL 时间&#xff1a;2021 代码地址&#xff1a;https://github.com/castacks/tartanvo Abstract 我们提出了第一个基于学习的视觉里程计&…

携程验证码

今日话题&#xff1a;凑字数水文章。大表哥们感兴趣可以看看。 携程验证类型总共有3种。无感&#xff0c;滑块&#xff0c;点选。 process_type&#xff1a;None为无感 验证接口&#xff1a;https://ic.ctrip.com/captcha/v4/risk_inspect process_type&#xff1a;JIGSAW为…

苹果正在测试新款Mac mini:搭载M3芯片 配备24GB大内存

据悉苹果目前正在测试新的Mac机型&#xff0c;亮点是采用最新的M3芯片。 据报道&#xff0c;首款搭载M3芯片的设备应该是13英寸的MacBook Pro和重新设计的MacBook Air&#xff0c;Mac mini机型并不在名单上。 M3和M2同样拥有最多8个核心&#xff0c;分别为4个性能核和4个能效核…

ArcGIS Pro实践技术应用——暨基础入门、制图、空间分析、影像分析、三维建模、空间统计分析与建模、python融合、案例应用全流程科研能力提升

查看原文>>>ArcGIS Pro实践技术应用——暨基础入门、制图、空间分析、影像分析、三维建模、空间统计分析与建模、python融合能力 本文将利用ArcGIS Pro 将您的 GIS 工作组织到工程中&#xff0c;您可以使用 ArcGIS Pro 映射 2D 和 3D 数据。借助 ArcGIS Pro&#xff…

14.3.4 【Linux】使用 LVM thin Volume 让 LVM 动态自动调整磁盘使用率

想像一个情况&#xff0c;你有个目录未来会使用到大约 5T 的容量&#xff0c;但是目前你的磁盘仅有 3T&#xff0c;问题是&#xff0c;接下来的两个月你的系统都还不会超过 3T 的容量&#xff0c; 不过你想要让用户知道&#xff0c;就是他最多有 5T 可以使用就是了&#xff01;…

ElasticSearch:全文检索及倒排索引原理

1.从全文检索说起 首先介绍一下结构化与非结构化数据&#xff1a; 结构化数据将数据具有的特征事先以结构化的形式定义好&#xff0c;数据有固定的格式或有限的长度。典型的结构化数据就是传统关系型数据库的表结构&#xff0c;数据特征直接体现在表结构的字段上&#xff0c;…

SD-MTSP:杨氏双缝实验优化算法YDSE求解单仓库多旅行商问题MATLAB(可更改数据集,旅行商的数量和起点)

一、杨氏双缝实验优化算法YDSE 杨氏双缝实验优化算法&#xff08;Young’s double-slit experiment optimizer&#xff0c;YDSE&#xff09;由Mohamed Abdel-Basset等人于2023年提出。 参考文献&#xff1a; [1]Mohamed Abdel-Basset, Doaa El-Shahat, Mohammed Jameel, Moha…

kubeadm安装

master&#xff08;2C/4G&#xff0c;cpu核心数要求大于2&#xff09; 192.168.223.71 node01&#xff08;2C/2G&#xff09; 192.168.223.72 node02&#xff08;2C/2G&#xff09; 192.168.223.73…