向量数据库和异常数据

news/2024/11/15 0:27:53/文章来源:https://www.cnblogs.com/k4n5ha0/p/18355705

书接上文:https://www.cnblogs.com/k4n5ha0/p/18314781

最近学习机器学习期间,了解到了向量数据库:

1)可以将文本向量化存储(如上图,将不同语句向量化)

2)在 检索向量的时间复杂  和  对比向量相似度的时间复杂度(例如余弦相似度)充分调优

3)可以调用TPU、GPU等硬件加速运算

4)高度适配向量所以性能明显好于某些插件化支持向量的数据库

 

所以对上文的设计可以进一步的优化:

1)构建一组安全正则表达式,用户可以根据业务场景选择匹配业务且安全的正则表达式,此类业务数据不再进行存储以及自学习

2)可以对输入值选择“向量判断”选项,选择此选项后网关对该值不再进行正则判定,而进行向量化判定

3)定期搜集、维护、构造各类攻击代码并进行预处理(降噪):

  2.1)例如SQL注入需要进行语义处理,去掉注释、异常ASCII、多余的空白字符等并进行格式化后再存储为向量

  2.2)XSS进行语义处理,分析html标签、标签属性等进行格式化后存储为向量

  2.3)其他log4j、spring4shell、fastjson等恶意poc也进行单独向量化存储

  2.4)此类向量记录为denyVector

4)在网关1~2周学习期间:

  3.1)启动waf产品将业务数据先过滤

  3.2)降噪(上一条(2)中的预处理过程)

  3.3)去重

  3.4)最后向量化存储,此类向量记录为allowVector

5)学习结束后,对“向量判断”的业务输入进行判断,向量相似性通过计算与 denyVector 和 allowVector 的距离判断是否为恶意请求

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/782917.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

二维差分学习备忘录

二维差分为什么我为OI泪目?因为我菜得离谱......引入 一维差分用来O(1)修改区间,配合上一维前缀和就是O(N)的查询区间和。 差分为前缀和的逆运算。 二维差分同理。 接下来这道题就用二维差分来解决。 \(例题:地毯>>\) 地毯 题目描述 在 \(n\times n\) 的格子上有 \(m\…

4.自定义的信号和槽

自定义信号 1.写到signal下 2.返回void 3.需要声明,不需要实现 4.可以有参数,可以重载 自定义槽函数 1.返回void 2.需要声明,也需要实现 3.可以有参数,可以重载 4.写到pulic slot下或者pulic或者全局函数 触发自定义的信号 1.emit 自定义信号 案例:下课后,老师触发饿了信…

Windows日志致盲与绕过

前言 在渗透测试过程中,Windows日志往往会记录系统上的敏感操作,如添加用户、写计划任务、远程登录执行等操作,对于会审计的安全运维人员或者网络管理员来说,简直就是脱掉衣服走路,被看的一清二楚。对于比较高阶的渗透操作中,要讲究的是动作无感化,来无影去无踪。而对于…

java maven项目配置及IDEA配置

一:maven作用项目管理:编译、测试、打包、部署、运行,这一套流程都可以用maven来管理。管理jar包:也就是上述提到的问题。管理插件:开发过程中会需要使用各种插件。3maven环境变量配置和Java一样,也需要配置maven环境变量。环境变量的作用在于: 可以让该程序在任何路径下…

Go并发原语之SingleFlight

引入 如下图所示,可能存在来自桌面端和移动端的用户有 1000 的并发请求,同一时刻来访问的获取文章列表的接口,获取前 20 条信息,如果这时服务直接去访问 redis 出现 cache miss, 那就会去请求 1000 次数据库,这时可能会给数据库带来较大的压力(这里的1000 只是一个例子,…

词向量的转换理解以及与真实的关系

实际上就是去除该矩阵的某一行。该矩阵实际上就是一个有N个词的300维向量,或者说该矩阵就是一个完整的词向量词汇表。而这个词汇表是通过交叉熵损失最小来构造的。 即归根到底是“在特定语料库中(包含context中共现概率),以数学方法计算输入产生哪些输出”最复合“实际情况…

盘点国内外有哪些软件测试认证

在软件测试行业,技术实力固然重要,但手握权威认证更能为职业发展增添砝码。无论你是刚入行的新人,还是经验丰富的测试工程师,获取一张含金量高的软件测试认证都能让你的职场之路更加平坦。那么,国内外有哪些值得考取的软件测试认证呢?让我们一起来盘点。 你是否正在为选择…

用友金蝶怎么选

财务知识——用友和金蝶选择谁?

概率论沉思录:合情推理

最近蔻享学术主办了每周一次的《概率论沉思录》读书会活动,恰好我也正在读该书中译版,通过该活动我了解到了不同学科的老师(数学/物理/统计/计算机)对这本书的不同理解,而我自己对该书的理解也在这个过程中逐渐深入了。于是准备每周都持续更新一下我的读书笔记。本书作者是…

八重终结 Phase 4 狱火焚天

Ending Time Octet 【八重终结】 Phase 4 Inferno Combusts 【狱火焚天】 PV on Bilibili Part 1 联合动画 Part 1 Part 2 完整音乐 涉及 AU Murder Time Trio Former Time Trio Karmatic Time Trio Chaotic Time Trio Phase 3 Chaotic Time Trio Phase 4 归冢余妄个人曲 传说之…

【grpcurl】使用grpcurl测试GRPC服务

一、场景由于我们需要访问GRPC服务的方法,便于我们进行测试,所以我们开启了grpc服务的反射机制二、安装grpcurlhttps://github.com/fullstorydev/grpcurlhttps://github.com/fullstorydev/grpcurl/releases 下载对应环境的包即可sudo dpkg -i grpcurl_1.9.1_linux_amd64.debu…

windbg 搭建双机调试环境

当我们搭建好驱动开发环境后,就可以设置双机调试了,虚拟机的安装可以参考网上其他教程,比较简单,我们直接来讲设置双击调试需要注意的一些地方。 1.设置被调试的虚拟机 首先,将虚拟机关机,如果此时已经有了串行端口存在首先移除,管道名字输入 \\.\pipe\com_1,并选择“该…