隐私计算实训营学习八：隐语SCQL的开发实践

文章目录

  • 一、SCQL使用集成最佳实践
    • 1.1 SCQL使用流程
    • 1.2 SCQL部署
    • 1.3 SCQL使用示例
  • 二、SCQL工作原理
  • 三、使用SecretNote上手体验SCQL

一、SCQL使用集成最佳实践

1.1 SCQL使用流程

SCQL使用： SCQL 开放 API 供⽤户使⽤/集成。可以使⽤SCDBClient上⼿体验(类似与Mysql Client的命令行工具)；也可以基于 SCQL API 开发封装⽩屏产品，或集成到业务链路中。
在这里插入图片描述
对于SCQL来说，所有的请求都是以Query的形式去表达的，提供了同步与异步接口：

  • 用户异步提交Query，再轮询结果；
  • 同步同步提交Query，等待Query结束之后返回结果。

对于时间执行比较短的QueryDDL、DCL及小规模DQL，推荐使用SubmitAndGet()接口。对于耗时长，规模大的DQL查询，推荐使用异步接口。
在这里插入图片描述

使用流程： 系统部署、项目设置、联合分析。

项目设置：

  1. 先创建用户与项目；
  2. 给用户授权加入项目，用户可以在该项目创建表，设置CCL。
    在这里插入图片描述

1.2 SCQL部署

SCQL部署： 实际生产由多个参与方配合完成。

环境准备：

​ 机器配置：CPU/MEM 最低 8C16G

​ 机构之间的⽹络互通

镜像： secretflow/scql

SCDB(部署在可信第三方，使用其DB存储原数据)： 启动：/home/admin/bin/scdbserver -config=/path/to/config.yml

SCQLEngine(部署在数据参与方，需要能够访问到用于联合数据分析的数据源)： 启动：/home/admin/bin/scqlengine --flagfile=/path/to/gflags.conf
在这里插入图片描述

1.3 SCQL使用示例

SCQL使用示例：《SCQL 快速开始》⽂档：https://www.secretflow.org.cn/docs/scql/latest/zh-Hans/getting_started/quickstart

SCQL基础概念：

Project: 多个参与⽅在协商⼀致后加⼊到同⼀个项⽬中进⾏多⽅安全数据分析

参与方身份认证： 参与⽅执⾏ query 时需要进⾏身份认证

数据表管理： 管理参与分析的数据表的 schema 信息

权限信息管理： 表字段的权限信息，特别是 CCL 信息

⽤户在每次执⾏query 的时候，均需要提供上述信息，上⼿成本较⾼，因此提供了SCDB。
 

SCDB(SCQL as a Database)： SCDB 遵循传统DBMS概念，将DBMS概念映射到SQCL中。

1、创建项目：CREATE DATEBASE xxx；
2、SCQL中每个用户隶属于一个参与方，目前每个参与方只允许创建一个用户，PRATY_CODE哪个参与方。
3、Table：物理表在DB里的一个映射。
4、Privilege进行授权。
在这里插入图片描述
假设有该场景：⾦融机构 Alice 想联合电商平台 Bob 做联合⽤户画像分析，Alice 希望统计不同信⽤等级，年龄在 20 岁到 30 岁之间且为电商平台 Bob 的活跃⽤户的⼈数，以及平均收⼊和平均交易额。
在这里插入图片描述
1、创建用户：建立用户和机构的绑定关系。

SCDB 内置了⼀个权限受限的 root ⽤户，⽅便系统 bootstrap：
1、root ⽤户只能做 CREATE database/user 等操作。
2、root ⽤户⽆法修改普通⽤户设置的 CCL，⽆法发起查询(DQL)。
3、root ⽤户滥⽤不会导致数据泄露。
在这里插入图片描述
Alice 和 Bob 分别创建所属⾃⼰机构的⽤户：
1、⽅式⼀：若指导root账号密码，可直接通过 root 账号创建。
2、⽅式⼆：委托可信第三方用 root 账号管理者(持有者)创建。
在这里插入图片描述
为什么创建⽤户的时候需要公钥和签名？ ⽬的是防⽌伪造身份攻击，加入Alice创建用户用私钥签名create user请求，将公钥告诉SCDB，SCDB会将该公钥信息与Alice关联。此时有恶意用户Mallory冒充Bob，但不知道Bob的公私钥，只能用伪造的公私钥签名，SCDB指导公私钥是成对的，但无法识别是否为冒充的。Mallory冒充Bob发起联合查询，SCDB将其下发给SCQL Engine并带上参与方的公钥，此时比对不匹配便会拒绝执行。

通过如下程序保证伪造身份攻击⽆法导致数据泄露：

  1. 前提条件：每个参与⽅在部署SCQLEngine 节点时，需要⽣成(或提供)公私钥，并和合作⽅交换公钥，配置到引擎侧的 authorized_profile ⽂件中；
  2. SCDB 在处理 create user 请求时，会校验签名，确保请求者有对应的私钥；
  3. SCDB 在处理请求者的 DQL 时，会把请求者和查询涉及参与⽅的公钥信息⼀起下发给 SCQLEngine。SCQLEngine会先校验⾃⼰和合作⽅的公钥，如果不匹配，就拒绝执⾏。
    在这里插入图片描述2、创建项目：将参与合作方添加到项目。
    在这里插入图片描述
    3、创建表：将参与方导入联合分析的数据表。
    在这里插入图片描述
    4、设置CCL：
    在这里插入图片描述
    5、发起联合查询DQL：
    在这里插入图片描述

二、SCQL工作原理

SCDB将用户的Query翻译成执行图下发给SQCL Engine执行时，SCQL Engine如何完成执行，与SPU有什么关系？
SCQL x SPU： SCQL Engine集成SPU是将SPU当作lib用，当作C++API。
SPU前端为Tensorflow、JAX、PyTorch可以将Python的机器学习应用程序变成一个安全多方计算的AI程序去执行，SQCL直接用pphloC++的API接入的，并且使用ColocatedIO模式(数据拥有方同时作为数据计算方)。
在这里插入图片描述
以Aggregation w/group by看SCQL如何实现：
在这里插入图片描述
在明文下的基于排序的思路方案：
1、实现一张数据表k和v，k为GROUP BY k，v为要聚合的类；
2、按照k进行排序，将相同的k排序在一起进行分组，相邻在一起方便后期计算；
3、再进行分组聚合，b[i]为1表锁位置i的元素是该分组的最后一个元素，再对v进行聚合；
4、只保留b[i]为1的结果，最后进行过滤得到结果。
在这里插入图片描述
在密文下SCQL的实现方案：有4种实现，会考虑数据状态、数据分布和CLL设置选择最佳执行协议。Private groupby明文计算：性能最高，适用范围最低，要求group by的k与聚合类都属于同一个数据参与方；随后还有HESum groupby、Vertical groupby、Oblivious groupby性能越来越差而适用范围越来越广。
在这里插入图片描述
以HESum GroupBy实现举例SCQL的实现：k在Alice方，v在Bob方，序号为一一对应的。
1、Alice将数据提前分组，每个组哈希到一个gid上；此时Bob将v加密后得到密文，将密文发送给Alice；
2、Alice将属于同一个分组的加起来，如第0组，E(3)+E(10)=E(13)；
3、Alice进行过滤每组只保留一个元素，同时将得到的密文发送给Bob，Bob进行解密得到结果。
在这里插入图片描述

三、使用SecretNote上手体验SCQL

使用SecretNote体验SCQL：以UI 界面的方式，上手体验 P2P 模式的 SCQL，流程与之前一致。
1、部署系统：需要先部署SCQL P2P节点部署，再安装启动SecretNote，SecretNote需要指导SCQL P2P节点端口的地址。
2、项目设置：ALICE创建项目，邀请BOB加入，两方导入各自数据表，进行CCL授权。
3、联合分析：最终进行联合分析。
在这里插入图片描述
安装部署：
在这里插入图片描述
1、部署 SCQL P2P节点

​ 单机 P2P 部署模式：https://www.secretflow.org.cn/zh-CN/docs/scql/0.5.0b2/intro/p2p-tutorial

​ 多节点 P2P 部署模式：https://www.secretflow.org.cn/zh-CN/docs/scql/0.5.0b2/topics/deployment/how-to-deploy-p2p-cluster

2、部署启动 SecretNote
在这里插入图片描述
使用示例：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/596680.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

51单片机ESP8266WiFi模块简介

51单片机ESP8266WiFi模块简介

乐鑫与安信可关系 乐鑫是生产esp8266芯片的厂家，安信可是基于esp8266芯片生产模组的厂家，所谓模组是基于芯片制作的套件。 波特率 ESP8266系列模组出厂使用的是AT固件，默认波特率是115200。实际上，模组在上电过程中首先是在748…
阅读更多...
4月6号排序算法（2）

4月6号排序算法（2）

堆排序 讲堆排序之前我们需要了解几个定义 什么叫做最大堆，父亲节点，以及孩子节点 将根节点最大的堆叫做最大堆或大根堆，根节点最小的堆叫做最小堆或小根堆。 每个节点都是它的子树的根节点的父亲 。 反过来每个节点都是它父亲的孩子 。 …
阅读更多...
二维相位解包理论算法和软件【全文翻译- 质量分布图（3.3）】

二维相位解包理论算法和软件【全文翻译- 质量分布图（3.3）】

在本节中，我们将定义几个在相位解包中非常有用的质量映射。质量图是定义给定相位数据中每个像素质量或好坏的数值数组。它们对于指导第 4 章将要介绍的几种路径跟踪算法是必要的，对于第 5 章将要介绍的一些加权 L^P-norm 算法也是必要的。 我们要讨论的第一个质量图是相关图，…
阅读更多...
UART设计

UART设计

一、UART通信简介 通用异步收发器， 特点：串行、异步、全双工通信 优点：通信线路简单，传输距离远 缺点：传输速度慢 数据传输速率：波特率（单位：baud，波特） …
阅读更多...
4、双指针-移动零

4、双指针-移动零

首先不能复制，只能在原数组是哪个操作，那么很多集合的方式就不行了。当然在现实开发中肯定是可以的。目前按照题目来说是不可以的。所以我们可以思考下，是否可以通过交换来实现。 初始化一个变量 to 为 0。这个变量的目的是跟踪非零元素应该…
阅读更多...
云计算存在的安全隐患

云计算存在的安全隐患

目录 一、概述 二、ENISA云安全漏洞分析 三、云计算相关系统漏洞 3.1 概述 3.2 漏洞分析 3.2.1 Hypervisor漏洞 3.2.1.1 CVE-2018-16882 3.2.1.2 CVE-2017-17563 3.2.1.3 CVE-2010-1225 3.2.2 虚拟机漏洞 3.2.2.1 CVE-2019-14835 3.2.2.2 CVE-2019-5514 3.2.2.3 CV…
阅读更多...
观测线程的工具——jconsole

观测线程的工具——jconsole

joconsole的简单使用 joncole位置在jdk/bin路径中，在进入路径后可以查找到jconsole.exe的应用程序。如图： 双击创建jconsole进程，可以在里面选择所要观测的java文件。 以我的代码为例： class MyThread extends Thread {Overrid…
阅读更多...
(一)基于IDEA的JAVA基础11

(一)基于IDEA的JAVA基础11

为什么使用多重循环 有时单独一个循环不能满足我们的要求，我们就要使用多重循环，这不废话吗。 多重循环的使用: 一般我们使用多重循环都是双重for循环， 语法: for(循环条件){ 循环操作1； for(循环条件2){ 循环操作2&#x…
阅读更多...
Struts2的入门：新建项目——》导入jar包——》jsp，action，struts.xml，web.xml——》在项目运行

Struts2的入门：新建项目——》导入jar包——》jsp，action，struts.xml，web.xml——》在项目运行

文章目录 配置环境tomcat 新建项目导入jar包新建jsp界面新建action类新建struts.xml,用来配置action文件配置Struts2的核心过滤器：web.xml 启动测试给一个返回界面在struts.xml中配置以实现页面的跳转：result再写个success.jsp最后在项目运行 配置环境 …
阅读更多...
post请求搜索功能爬虫

post请求搜索功能爬虫

<!--爬虫仅支持1.8版本的jdk--> <!-- 爬虫需要的依赖--> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency>…
阅读更多...
HTTP 摘要认证

HTTP 摘要认证

文章目录 一、什么是摘要认证二、工作流程三、实例演示 一、什么是摘要认证 摘要认证&#xff0c;即 Digest Access Authentication&#xff0c;是一种HTTP身份验证机制&#xff0c;用于验证用户的身份。相较于基本认证&#xff08;Basic Authentication&#xff09;使用用户名…
阅读更多...
相机标定——四个坐标系介绍

相机标定——四个坐标系介绍

世界坐标系(Xw,Yw,Zw) 世界坐标系是一个用于描述和定位三维空间中物体位置的坐标系&#xff0c;通常反映真实世界下物体的位置和方向。它是一个惯性坐标系&#xff0c;被用作整个场景或系统的参考框架。在很多情况下&#xff0c;世界坐标系被认为是固定不变的&#xff0c;即它…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023