CSDN个性化推荐系统-负反馈测试

文章目录

  • 前言
  • 一、uc不感兴趣标签过滤测试
    • 1.uc不感兴趣标签获取(uc_unlike_tag_list)
      • 1.1个人中心界面
      • 1.2从标签中可以发现什么？
      • 1.3与研发确认点
      • 1.4设计开发
      • 1.5接口获取结果
    • 2.推荐流文章标签获取(tag_list)
      • 2.1部分代码
      • 2.2基本标签校验
      • 2.3基本标签校验结果
    • 3.推荐流uc不感兴趣标签过滤验证
      • 3.1校验方法
      • 3.2部分代码
      • 3.3校验结果
      • 3.4结果分析
    • 4.用户场景回归
  • 二、用户推荐流负反馈过滤测试
    • 1.内容负反馈
      • 1.1提交API校验
      • 1.2获取API校验
      • 1.3过滤验证
        • 1.3.1获取内容负反馈资源列表(negative_item_list)
        • 1.3.2获取推荐流资源列表(item_list)
        • 1.3.3求item_list和negative_item_list交集
        • 1.3.4交集结果
        • 1.3.5结果分析
    • 2.标签负反馈
      • 2.1提交API校验
      • 2.2获取API校验
      • 2.3过滤验证
        • 2.3.1获取标签负反馈标签列表(negative_tag_list)
        • 2.3.2获取推荐流标签列表(tag_list)
        • 2.3.3求tag_list和negative_tag_list交集
        • 2.3.4交集结果
        • 2.3.5结果分析
    • 3.作者负反馈
      • 3.1提交API校验
      • 3.2获取API校验
      • 3.3过滤验证
        • 3.3.1获取作者负反馈作者列表(negative_user_list)
        • 3.3.2获取推荐流作者列表(user_list)
        • 3.3.3求user_list和negative_user_list交集
        • 3.3.4交集结果
        • 3.3.5结果分析
  • 三、未登录用户负反馈过滤测试
    • 1.提交API校验
    • 2.获取API校验
    • 3.过滤验证
  • 四、整体回归
  • 五、新老负反馈写入hbase对比

前言

大家好，我是空空star，本篇给大家分享一下《CSDN个性化推荐系统-负反馈测试》。

一、uc不感兴趣标签过滤测试

用户：weixin_38093452

1.uc不感兴趣标签获取(uc_unlike_tag_list)

1.1个人中心界面

1.2从标签中可以发现什么？

  • 标签有一级标签、二级标签
  • 标签并不都是全小写，也有一些字母大写
  • 同一个标签在感兴趣和不感兴趣里都出现

1.3与研发确认点

  • 一级标签和二级标签在过滤侧会拆开用到还是只用了二级标签？
  • 获取到的uc标签与推荐流文章标签匹配时有无统一转小写或大写后才去匹配？
  • 当同一个标签在感兴趣和不感兴趣里都出现时，屏蔽的优先级是不是高于增强的优先级？
  • uc标签维护好后，在推荐流的生效时间？

1.4设计开发

def get_uc_tag_list(username, interest_type):uc_tag_list = []# 获取uc不感兴趣标签url = f'http://xxx.csdn.net/user_csdn_tag/get_tag_list?username={username}&type={interest_type}'response = requests.get(url)res = response.json()for i in res['data']:name = i['name']for tag in i['tags']:if tag['select']:# 添加小写后的一级标签uc_tag_list.append(name.lower())# 添加小写后的二级标签uc_tag_list.append(tag['name'].lower())return uc_tag_list

1.5接口获取结果

unlike_uc_tag_list = get_uc_tag_list('weixin_38093452', 1)
print(unlike_uc_tag_list)

[‘python’, ‘pillow’, ‘java’, ‘java’, ‘编程语言’, ‘php’, ‘大数据’, ‘odps’, ‘大数据’, ‘大数据’, ‘人工智能’, ‘人工智能’, ‘aigc’, ‘chatgpt’]

2.推荐流文章标签获取(tag_list)

用户：weixin_38093452
请求推荐接口50次

2.1部分代码

    items = result['data']['items']for data in items:# 过滤掉npsif 'username' in data:tags = data["tags"]temp_tag = []for tag in tags:# 用来判断一个item中返回的标签是否重复(ml和title合并，只保留ml)temp_tag.append(tag['name'])# 多次请求后，用来跟uc的不感兴趣标签/负反馈标签做对比tag_list.append(tag['name'])# 多次请求后，用来判断ml标签和title标签是否有返回tag_type_list.append(tag['type'])if tag['name'] == '':print(f"存在空标签,博客:{data['product_id']},标签类型:{tag['type']},标签名称:{tag['name']}")if len(temp_tag) != len(set(temp_tag)):print(f"同一篇博客{data['product_id']}存在重复标签:{temp_tag}")

if len(set(tag_type_list)) == 2:print(f'返回文章标签类型:{set(tag_type_list)}')

2.2基本标签校验

  • ml标签和title标签是否都有返回；
  • 是否有空标签结构返回；
  • 同一篇博客是否返回重复标签；

2.3基本标签校验结果

返回文章标签类型:{‘ml’, ‘title’}

3.推荐流uc不感兴趣标签过滤验证

3.1校验方法

  1. 获取用户的uc不感兴趣标签列表(uc_unlike_tag_list)；
  2. 获取用户50次请求推荐流返回文章的标签列表(tag_list)；
  3. 求uc_unlike_tag_list和tag_list的交集。

3.2部分代码

    print(f'【推荐返回的标签】：{set(tag_list)}')unlike_uc_tag_list = get_uc_tag_list(username, '1')print(f'【uc-不感兴趣标签】：{set(unlike_uc_tag_list)}')intersection_tag = list(set(tag_list).intersection(set(unlike_uc_tag_list)))print(f'【uc-不感兴趣标签过滤】验证结果，标签交集：{intersection_tag}')

3.3校验结果

3.4结果分析

标签交集为空，说明没有badcase；
将【推荐返回的标签】中的高频标签维护到uc不感兴趣标签中，再次执行我们的脚本观察校验结果，结合服务端uc不感兴趣过滤日志，多次执行标签交集仍为空，说明uc不感兴趣标签在推荐流过滤生效。

4.用户场景回归

确保推荐接口有返回数据和返回数据正常。

  • 登录用户(未维护uc不感兴趣标签)
  • 未登录用户

二、用户推荐流负反馈过滤测试

1.内容负反馈

1.1提交API校验

负反馈项(directive)：

  • duplicate:内容重复推荐
  • content poor quality:内容质量较低
  • advertising:内容夸张、涉及广告等

资源类型(type)：

  • blog
  • ask
  • blink
  • live
  • …

1.2获取API校验

  • last_unlike_time:负反馈操作时间戳记录是否正确；
  • num:负反馈提交次数记录是否正确；
  • directive:负反馈项记录是否正确；
  • 是否以type和item_id两个字段作为唯一键。

1.3过滤验证

1.3.1获取内容负反馈资源列表(negative_item_list)

def get_negative_item_list(username):negative_item_list = []url = f'http://xxx.csdn.net/api/v2/recommend/insight/negative/items/by/{username}'response = requests.get(url)res = response.json()pprint.pprint(res)for i in res['result']['duplicate']:if 'object_id' in i.keys():negative_item_list.append(i['type']+':'+i['object_id'])for j in res['result']['content poor quality']:if 'object_id' in j.keys():negative_item_list.append(j['type']+':'+j['object_id'])for k in res['result']['advertising']:if 'object_id' in k.keys():negative_item_list.append(k['type']+':'+k['object_id'])return negative_item_list

1.3.2获取推荐流资源列表(item_list)

item_list.append(data['product_type']+':'+data['product_id'])

1.3.3求item_list和negative_item_list交集

    print(f'【推荐返回的item】：{set(item_list)}')negative_item_list = get_negative_item_list(username)print(f'【内容负反馈】：{set(negative_item_list)}')negative_intersection_item = list(set(item_list).intersection(set(negative_item_list)))print(f'【内容负反馈过滤】验证结果，item交集：{negative_intersection_item}')

1.3.4交集结果

1.3.5结果分析

交集为空，说明没有badcase；
将推荐结果返回的部分资源列表通过提交API写入内容负反馈，再求交集，多次执行交集为空，说明内容负反馈在推荐流过滤生效。

2.标签负反馈

2.1提交API校验

directive：

  • reduce:减少
  • block:屏蔽

2.2获取API校验

  • tag:标签是否统一转小写；
  • last_unlike_time:负反馈操作时间戳记录是否正确；
  • num:负反馈提交次数记录是否正确。

2.3过滤验证

2.3.1获取标签负反馈标签列表(negative_tag_list)

def get_negative_tag_list(username):negative_tag_list = []url = f'http://xxx.csdn.net/api/v2/recommend/insight/negative/tags/by/{username}'response = requests.get(url)res = response.json()for i in res['result']:negative_tag_list.append(i['tag'].lower())return negative_tag_list

2.3.2获取推荐流标签列表(tag_list)

tag_list.append(tag['name'])

2.3.3求tag_list和negative_tag_list交集

    negative_tag_list = get_negative_tag_list(username)print(f'【减少xx相似内容推荐】：{set(negative_tag_list)}')negative_intersection_tag = list(set(tag_list).intersection(set(negative_tag_list)))print(f'【减少xx相似内容推荐过滤】验证结果，标签交集：{negative_intersection_tag}')

2.3.4交集结果

2.3.5结果分析

交集为空，说明没有badcase；
将推荐结果返回的标签列表通过提交API写入标签负反馈，再求交集，多次执行交集为空，说明标签负反馈在推荐流过滤生效。

3.作者负反馈

3.1提交API校验

  • unlike_user_id大小写场景

3.2获取API校验

  • 作者是否转小写处理；
  • last_unlike_time:负反馈操作时间戳记录是否正确；
  • num:负反馈提交次数记录是否正确。

3.3过滤验证

3.3.1获取作者负反馈作者列表(negative_user_list)

def get_negative_user_list(username):negative_user_list = []url = f'http://xxx.csdn.net/api/v2/recommend/insight/negative/users/by/{username}'response = requests.get(url)res = response.json()for i in res['result']:negative_user_list.append(i.lower())return negative_user_list

3.3.2获取推荐流作者列表(user_list)

user_list.append(data['username'])

3.3.3求user_list和negative_user_list交集

    print(f'【推荐返回的作者】：{set(user_list)}')negative_user_list = get_negative_user_list(username)print(f'【不看此作者】：{set(negative_user_list)}')negative_intersection_user = list(set(user_list).intersection(set(negative_user_list)))print(f'【不看此作者过滤】验证结果，作者交集：{negative_intersection_user}')

3.3.4交集结果

3.3.5结果分析

交集为空，说明没有badcase；
将推荐结果返回的作者列表通过提交API写入作者负反馈，再求交集，多次执行交集为空，说明作者负反馈在推荐流过滤生效。

三、未登录用户负反馈过滤测试

1.提交API校验

pc传uuid，app传device_id

2.获取API校验

  • imei字段值不做大小写处理；
  • 根据imei字段值可以正确获取到负反馈的数据。

3.过滤验证

类似登录用户的校验流程，只是请求推荐接口的入参有调整。

四、整体回归

  • 召回策略验证；
  • 召回资源类型验证；
  • 未登录用户/登录用户(是否维护uc兴趣标签/是否维护身份标签)场景验证；
  • 单次请求结果中资源类型分布情况验证；
  • 单次请求结果中出现重复作者占比验证；
  • 单次请求结果中出现重复资源验证；
  • 单次请求结果中连续出现同作者资源验证；
  • 其他渠道数据验证(关注流、同城流、blink热门流、推荐用户列表等)
  • 多端验证(app/wap/pc/小程序等)

五、新老负反馈写入hbase对比

旧负反馈新负反馈
流程用户提交负反馈->上报到sls->flink消费sls->udf处理写入hbase用户提交负反馈->通过API直接写入hbase
响应flink任务时常延迟/迁移华为云等因素，需要重构实时
文案文案不统一，如wap端【内容重复推荐】叫【旧闻，重复】，【内容质量较低】叫【内容质量差】，【不看此作者】叫【不喜欢该作者】各端文案已统一
数据非blog资源的负反馈数据未正常解析，导致没有正确写入hbase已兼容不同资源类型

引用
[1] 《如何支持研发对CSDN个性化推荐系统重构》
[2] 《CSDN 个性化推荐系统的设计和演进》
[3] 《CSDN 个性化推荐的数据治理》

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/116.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Midjourney推出5.2版本，更新zoom out功能

Midjourney推出5.2版本，更新zoom out功能

Midjourney是一款专业的图像处理软件，它可以让用户轻松地创造出高质量的图像。它最近宣布推出了5.2版本，这是一个重大的更新，其中最亮眼的功能就是zoom out功能。 zoom out功能可以让用户无限地缩小原始图像，同时保持图像的清晰度…
阅读更多...
centos 安装 nginx

centos 安装 nginx

1.下载nginx安装包 wget -c https://nginx.org/download/nginx-1.24.0.tar.gz 下载到了当前目录下 2.解压安装包 解压后的结果 3.安装依赖 yum -y install gcc gcc-c make libtool zlib zlib-devel openssl openssl-devel pcre pcre-devel 4. ./configure --prefix/usr/lo…
阅读更多...
【TCP/IP】多播 - 定义、原理及编程实现 (TTL、多播组、多播消息)

【TCP/IP】多播 - 定义、原理及编程实现 (TTL、多播组、多播消息)

目录 多播 多播的原理 多播的数据传输时的特点 TTL 的概念 TTL 和 多播组的配置方法 多播的编程与实现 发送者 接收者 多播 多播是一种介于单播和广播通信之间的技术方式，可以将发送者所需要发送的数据包分别发送给分散在不同子网中的一组接收者。 多播的原…
阅读更多...
Pytorch数据类型Tensor张量操作(操作比较全)

Pytorch数据类型Tensor张量操作(操作比较全)

文章目录 Pytorch数据类型Tensor张量操作一.创建张量的方式1.创建无初始化张量2.创建随机张量3.创建初值为指定数值的张量4.从数据创建张量5.生成等差数列张量 二.改变张量形状三.索引四.维度变换1.维度增加unsqueeze2.维度扩展expand3.维度减少squeeze4.维度扩展repeat 五.维度…
阅读更多...
8.6 socket套接字及TCP的实现框架

8.6 socket套接字及TCP的实现框架

socket套接字 目录 socket套接字 体系结构的两种形式 几种常见的网络编程接口 socket套接字 socket常用API介绍 socket套接字 三元组【IP地址，端口，协议】 地址族结构体 套接字类型 TCP通信的实现过程 体系结构的两种形式 网络的体系结构 (N…
阅读更多...
Vue3：计算属性、监听器

Vue3：计算属性、监听器

computed 计算属性 计算属性是指 基于现有状态派生 (演变) 出新的状态，现有状态发生变化，派生状态重新计算。 computed 接收回调函数作为参数，基于回调函数中使用的响应式数据进行计算属性的创建，回调函数的返回值就是基于现有状态…
阅读更多...
C/C++内存管理

C/C++内存管理

Lesson5–C/C内存管理 【本节目标】 1.C/C内存分布 2.C语言中动态内存管理方式 3.C中动态内存管理方式 4.operator new与operator delete函数 5.new和delete的实现原理 6.定位new表达式 7.常见面试题 C/C内存分布 先看一段C语言代码和相关问题 int globalVar 1; static in…
阅读更多...
Spring Boot 如何使用 Log4j2 进行日志记录

Spring Boot 如何使用 Log4j2 进行日志记录

Spring Boot 如何使用 Log4j2 进行日志记录 在开发 Java 应用程序时，日志记录是非常重要的一环。Spring Boot 提供了多种日志输出方式，其中 Log4j2 是一种比较常用的日志框架。本文将介绍如何在 Spring Boot 应用程序中使用 Log4j2 进行日志记录。 为什…
阅读更多...
解决Tomcat控制台窗口输出乱码问题

解决Tomcat控制台窗口输出乱码问题

由于编码的问题，tomcat的控制台窗口输出的都是中文乱码，这明显是编码格式导致的，只要找到对应的编码格式修改一下就好了， 由于我的服务器编码是GBK，所有只需把输出的编码修改为GBK就行了。 936就是GBK编码。找到tomca…
阅读更多...
相机去畸变

相机去畸变

1. 背景 在做图像感知工作过程中会遇到需要处理相机畸变的情况，如SLAM、3D重建等，则需要了解一些常见相机模型的成像过程，以及依据成像过程实现去除相机成像的畸变。 注意：这篇文章并不涉及太多相机参数畸变原理，更多…
阅读更多...
使用亮数据Bright Data解决出境电商问题

使用亮数据Bright Data解决出境电商问题

目录 一、出境电商的困境和问题1、困境一：获取准确的市场数据（1）数据的时效性和可靠性（2）数据的全面性和多样性（3）数据的实时更新和持续监测 2、困境二：克服地域限制和语言障碍&…
阅读更多...
我准备蓝桥杯的这一年

我准备蓝桥杯的这一年

我准备蓝桥杯的这一年 文章目录 我准备蓝桥杯的这一年起步和目标确定渐入佳境焦虑疲惫，一天又一天国赛我来力总结 我将我这段 流水账分为四个阶段。谨以此文，祭奠我这一年来的焦虑、白发~ ，最终也取得了预期的成绩。不知未来再看此章会作何感…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023