一个ETL流程搞定数据脱敏

数据脱敏是什么?

数据脱敏是指在数据处理过程中,通过一系列的技术手段去除或者替换敏感信息,以保护个人隐私和敏感信息的安全的过程。数据脱敏通常在数据共享、数据分析和软件测试等场景下使用,它旨在降低数据泄露和滥用的风险。

image

常见的数据脱敏方法包括:

  • 匿名化/泛化:通过对数据进行聚合、概括或者模糊处理,例如将具体的数值转换成范围值,以减少数据的精确性,从而保护个人隐私。

  • 删除:直接删除数据中的敏感信息,确保敏感字段完全不可见。

  • 加密:使用加密算法对数据进行加密处理,只有授权的用户才能解密获取原始信息。

  • 替换:用虚拟的、无意义的数据替代真实的敏感信息,例如使用通用的标识符或者随机生成的数据。

  • 脱敏工具:利用专门的脱敏工具或软件对数据进行处理,保证操作的规范性和可追溯性。

image

为什么会出现数据脱敏需求?

数据脱敏是指对敏感数据进行处理,以达到进行数据传输而不会泄露个人或机密信息的目的。出现数据脱敏的主要原因包括以下几个方面:

  • 法律规定:个人隐私保护法日益完善,企业在接受并处理用户数据时需要遵守相应的法律规定,要求企业对用户数据进行匿名化,以保护用户隐私,避免泄露敏感信息。

  • 数据安全意识增强:随着用户的信息安全意识的提高,企业越来越重视数据的安全性,为了避免敏感信息外泄,对数据进行脱敏处理成为必要的举措。

  • 业务需求:随着数据驱动决策的重要性日益增加,企业需要在非生产环境中使用真实的数据来进行分析、测试和开发工作。数据脱敏可以满足这一需求,既能保障数据的真实性,又能保护数据的安全性。

  • 避免数据泄露风险:在实际操作中,企业的用户数据可能会被员工或黑客通过各种途径获取,对数据进行脱敏处理可以减少风险。

综上所述,出现数据脱敏是由于对个人隐私保护的法律法规要求、数据安全意识的增强、业务需求以及避免数据泄露风险等多种因素的综合作用。

image
企业对该技术的需求度

脱敏方式是很多文章都有讲的一个话题,针对特定类型数据应该采用什么脱敏形式的建议也不少。但是,对于一个企业安全人员来讲,当我们去推动产研部门进行合理脱敏的时候,遇到的困难并不是业务研发不知道应该用什么脱敏,而是类似安全要求带来的改造成本以及对用户的影响。比如,脱敏了这些问题该如何解决:

  • 系统庞大复杂,有很多个页面,不知道多少个接口涉及敏感数据,对代码要改造到什么时候?

  • 系统不停地在迭代上新功能,业务研发要增加安全研发内容,正常产品迭代周期会加长多少?

  • 系统如果是购买第三方的,没有源代码,想改也改不了,怎么办?

  • 用户在某些情况下需要看到这些敏感数据,否则没法工作了,怎么办?

所以企业对数据进行脱敏处理前,要选择合适的方案和规划。

实践案例

以ETLCloud社区版为例,新建流程拉取Mysql表中用户数据进行手机号脱敏处理:

库表输入

image

输入字段

image

日志输出打印效果

image

字段绑定规则

image

再次运行打印

image

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/209753.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

卫星信号监测可靠性提升10倍,移动性提升30倍!这家广播公司是这样做到的

来源:德思特测试测量 德思特案例 | 卫星信号监测可靠性提升10倍,移动性提升30倍!这家广播公司是这样做到的 欢迎关注虹科,为您提供最新资讯! 1 广播卫星频谱监测背景 频率的测量结果能够充分反映出节目播出的质量&am…

OpenGL YUV 和 RGB 图像相互转换出现的偏色问题怎么解决?

未经作者(微信ID:Byte-Flow)允许,禁止转载 文章首发于公众号:字节流动 早上知识星球里的一位同学,遇到 yuv2rgb 偏色问题,这个问题比较典型,今天展开说一下。 省流版 首先 yuv2rgb 和 rgb2yuv 之间的转换要基于相同的标准,转换使用不同的标准肯定会引起偏色,常见的…

kubernetes 部署 spinnaker

spinnaker简介 Spinnaker 是一个开源、多云持续交付平台,它将强大而灵活的管道管理系统与主要云提供商的集成相结合。Spinnaker 提供应用程序管理和部署,帮助您快速、自信地发布软件变更。 Spinnaker 提供了两组核心的功能: 应用管理与应用程…

第十一章 docker swarm集群部署

文章目录 前言一、安装docker1.1 解压1.2 配置docker 存储目录和dns1.3 添加docker.service文件1.4 docker 启动验证 二、docker swarm 集群配置2.1 关闭selinux2.2 设置主机名称并加入/etc/hosts2.3 修改各个服务器名称(uname -a 进行验证)2.4 初始化sw…

redis的集群,主从复制,哨兵

redis的高可用 在Redis中,实现高可用的技术主要包括持久化、主从复制、哨兵和集群,下面分别说明它们的作用,以及解决了什么样的问题。 持久化: 持久化是最简单的高可用方法(有时甚至不被归为高可用的手段)…

【Flask使用】全知识md文档,4大部分60页第3篇:Flask模板使用和案例

本文的主要内容:flask视图&路由、虚拟环境安装、路由各种定义、状态保持、cookie、session、模板基本使用、过滤器&自定义过滤器、模板代码复用:宏、继承/包含、模板中特有变量和函数、Flask-WTF 表单、CSRF、数据库操作、ORM、Flask-SQLAlchemy…

企业微信身份验证

本篇主要是在上一篇获取第三方凭证基础上,用户通过三方网站自定义授权登录后获取用户信息,以实现用户绑定登录功能。 构造第三方应用授权链接 如果第三方应用需要在打开的网页里面携带用户的身份信息, 第一步需要构造如下的链接来获取授权c…

单片机调试技巧--栈回溯

在启动文件中修改 IMPORT rt_hw_hard_fault_exceptionEXPORT HardFault_Handler HardFault_Handler PROC; get current contextTST lr, #0x04 ; if(!EXC_RETURN[2])ITE EQMRSEQ r0, msp ; [2]0 > Z1, get fault context from h…

9.华为OD技术面手撕代码实录:旋转矩阵

旋转矩阵 给你一幅由 N N 矩阵表示的图像,其中每个像素的大小为 4 字节。请你设计一种算法,将图像旋转 90 度。 示例 1: 给定 matrix = [[1,2,3],[4,5,6],[7,8,9] ],原地旋转输入矩阵,使其变为: [[7,4,1],[8,5,2],[9,6,3] ]示例 2: 给定 matrix = [[ 5, 1, 9,11],[ 2, 4…

VSCode 使用

目录 文章目录 目录插件配置设置代码不显示 git 提示 "xxx months ago | 1 author"设置打开项目不自动选择 CMakeLists 插件 以下插件为 C 开发偏好设置。 C/CCMakeCMake ToolsGitLensRemote DevelopmentRemote Explorer 配置 设置代码不显示 git 提示 “xxx mon…

【项目管理】甘特图(1)——认识甘特图

哈喽,大家好,我是雷工! 今天学习下甘特图的绘制,以下为学习笔记。 一、什么是甘特图 甘特图是可以直观展示项目进展随时间走势和联系的条状图。是一种常见的项目管理工具。 项目的时间用横轴表示,项目的进度用纵轴表…

Dubbo框架

1:简介 Dubbo 是阿里巴巴公司开源的一个Java高性能优秀的服务框架 Apache Dubbo 是一款 RPC 服务开发框架,用于解决微服务架构下的服务治理与通信问题 这是Dubbo官网的介绍,下面是我对这dubbo的理解 首先介绍下什么是RPC: 常…