The Vendi Score: A Diversity Evaluation Metric for Machine Learning 论文笔记

news/2025/3/7 1:41:40/文章来源:https://www.cnblogs.com/mianmaner/p/18756861

介绍

我们基于生态学和量子统计力学的思想,提出了 Vendi 分数用来解决多样性评估问题

Vendi 分数不需要参考数据集或样本或标签的分布,因此它是通用的,适用于任何可以定义相似性的领域的生成模型、解码算法和数据集

创新

之前的多样性指标的适用性可能受到限制,因为它们需要参考数据集或预定义标签,或者是特定于领域的并且适用于一类模型。没有这些适用性限制的现有指标在捕获多样性方面存在缺陷

与这些方法相比,Vendi 分数是一种无参考指标,衡量一组的内在多样性,而不是与参考分布的关系。这意味着 Vendi 分数应与质量指标一起使用,但可以应用于没有参考分布的设置。它考虑了特征之间的相关性,并且能够捕捉由于组成不同的相似性函数而增加的多样性

定义

image-20240522130122132
image-20240522130138108

核函数
核函数(kernel function)是一种用于度量两个样本之间相似性的函数。用于将数据映射到高维空间中进行分类或回归。(数据在更高的维度更容易分类)

给定两个输入样本 xi 和 xj,它们的核函数值 K(xi,xj) 表示这两个样本在高维特征空间中的相似性或相关性(如用内积表示相关性)。这样避免了显式地对高维特征空间进行计算,核函数可以直接利用原数据计算升维度后的相关性。

常用的核函数有高斯函数等。

核矩阵
需要注意的是,虽然核函数本身不是矩阵,但在SVM等算法中,我们通常会构造一个基于核函数的核矩阵(kernel matrix),用于表示输入数据样本之间的相似性。核矩阵是一个 n×n 的对称矩阵,其中第 (i,j) 个元素 Kij 表示样本 xi 和 xj 之间的核函数值。通过构造核矩阵,我们可以在支持向量机等算法中方便地使用核函数进行计算和优化。

可解释性

有效性

要理解 Vendi Score 作为数学对象的有效性,请注意 K /n 的特征值是非负的(因为 k 是半正定的)并且总和为 1(因为 K /n 的对角线项等于 1/n) 。因此,香农熵是明确定义的,Vendi 分数也是明确定义的。在这种形式中,Vendi Score 也可以看作是核矩阵 K 的有效秩

有效秩由 Roy 和 Vetterli (2007) 在信号处理的背景下引入;矩阵的有效秩定义为归一化奇异值的熵的指数。有效秩之前也已用于机器学习中

引理

Vendi 分数可以转化成右式:
image-20240522143107182

该引理明确了 Vendi 分数与量子统计力学的联系:Vendi 分数等于与 K /n 相关的冯诺依曼熵的指数

在量子统计力学中,量子系统的状态由密度矩阵(通常表示为 ρ)来描述。 ρ 的冯诺依曼熵量化了系统状态的不确定性(Wilde,2013)。这里的归一化相似度矩阵 \(K/n\) 起到了密度矩阵 ρ的作用

限制

与其他基于相似性的指标一样,vs 取决于相似性函数的选择。如果相似度函数太敏感,所有集合都会显得非常多样化,而如果不够敏感,所有集合都会具有较低的多样性

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/894906.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MM-LLMs: Recent Advances in MultiModal Large Language Models 论文笔记

介绍 这是一篇多模态大模型的综述 MM-LLM面临的核心挑战是如何有效地将LLM与其他模式的模型连接起来以实现协作推理 建立了一个网站(https://mm-llms.github.io)来跟踪MM-LLM的最新进展并方便大家更新 模型架构冻结部分不可训练,未冻结部分是可训练的Modality Encoder:对不…

Root cause detection in a service-oriented architecture 论文笔记

背景 MonitorRank 是最早使用随机游走的策略定位故障根因服务的方法,MonitorRank 把系统的服务分成三类:前端服务:负责接收用户的请求以及进一步调用下游请求以完成用户的请求。 应用服务:负责真正处理用户请求的逻辑。 数据服务:负责提供经过包装的数据。(应用服务和数据…

MM-LLMS 论文笔记

介绍 这是一篇多模态大模型的综述 MM-LLM面临的核心挑战是如何有效地将LLM与其他模式的模型连接起来以实现协作推理 建立了一个网站(https://mm-llms.github.io)来跟踪MM-LLM的最新进展并方便大家更新 模型架构冻结部分不可训练,未冻结部分是可训练的Modality Encoder:对不…

MonitorRank 论文笔记

背景 MonitorRank 是最早使用随机游走的策略定位故障根因服务的方法,MonitorRank 把系统的服务分成三类:前端服务:负责接收用户的请求以及进一步调用下游请求以完成用户的请求。 应用服务:负责真正处理用户请求的逻辑。 数据服务:负责提供经过包装的数据。(应用服务和数据…

MicroRank 论文笔记

任务 异常检测->根因定位(服务实例级别)(针对延迟问题) 贡献MicroRank 是第一种通过正常和异常trace提取信息来对微服务应用程序进行根本原因定位的方法 我们提出了一种基于扩展频谱分析的微服务环境中新颖的根本原因定位方法 我们将 OpenTelemetry trace API 纳入 Goog…

Log3T 论文笔记

挑战 ① 基于可用日志先验知识设计的日志解析器性能有限,且不具有泛化性 ② 一些日志解析器在日志本身差异性大时无法正常工作 ③ 劳动密集型模型调整 框架离线训练 使用 WordPiece 进行 Tokenization(子词模型),然后输入到 Transformer 中进行上下文特征集成,然后输入 si…

软件工程-作业2:第一次个人编程作业

这个作业属于哪个课程 https://edu.cnblogs.com/campus/gdgy/SoftwareEngineeringClassof2023这个作业在哪里 https://edu.cnblogs.com/campus/gdgy/SoftwareEngineeringClassof2023/homework/13324这个作业的目标 系统化流程地完成软件开发,使用性能测试工具和单元测试以优化…

LLaVA 论文笔记

介绍 提出了 visual instruction-tuning,这是将指令微调扩展到多模态的首次尝试 相关工作 多模态的指令微调 Agent、指令微调 数据 使用 ChatGPT/GPT-4 来将数据转化为 multimodel instrustion-following data 为每一个图像生成三种 mulmodal instruction-following data,对于…

FastAPI 请求体参数与 Pydantic 模型完全指南:从基础到嵌套模型实战

title: FastAPI 请求体参数与 Pydantic 模型完全指南:从基础到嵌套模型实战 🚀 date: 2025/3/7 updated: 2025/3/7 author: cmdragon excerpt: 本教程深入探讨 FastAPI 请求体参数与 Pydantic 模型的核心机制,涵盖从基础模型定义到嵌套模型的高级用法。通过详细的代码示例…

主机、主机中的Ubuntu虚拟机、与ixm6ull开发板三者互ping且均能联网个人流程记录

1.0 设备连接要求笔记本通过网线连接到开发板,且笔记本通过 usb转type-c线连接到开发板的对应位置(USB TTL那个)。 笔记本需要连接WIFI。 笔记本、开发板、Ubuntu虚拟机启动且能够正常运行。2.0 打开WIFI的网络共享 控制面板 -> 网络和 Internet -> 网络和共享中心,选…

基于PID控制器的六自由度串联机器人控制系统的simulink建模与仿真

1.课题概述 基于PID控制器的六自由度串联机器人控制系统的simulink建模与仿真。2.系统仿真结果 (完整程序运行后无水印) 3.核心程序与模型 版本:MATLAB2022a 4.系统原理简介六自由度串联机器人控制系统是机器人学中的一个核心问题,其中PID控制器因其简单、实用和易于调整…

Windows快捷方式文件相对路径

前言全局说明Windows快捷方式相对路径 通常情况下创建快捷方式,使用的都是绝对路径,如果文件目录迁移到别的地方,不同路径下,那么这个快捷方式就失效了,如果使用相对路径,只要父文件夹不变,那么子文件夹中的快捷方式就能一直有效。一、说明 1.1 环境: Windows 11 家庭版…