快手MARM 文章理解

news/2024/12/25 21:38:34/文章来源:https://www.cnblogs.com/bregman/p/18628565

阅读了快手的论文 MARM，论文中的算法 符号看起来不容易理解。 对照图自己研究了下， 理解了。

  • 需要知道为什么(b) 和(c) 中 的中间结果是相同的。需要知道 masked-self-attention

  • 缓存是怎么处理，看箭头

  • 快手 MARM: Unlocking the Future of Recommendation Systems through Memory Augmentation and Scalable Complexity

image

  • masked-self-attention 参考这个 https://stackoverflow.blog/2024/09/26/masked-self-attention-how-llms-learn-relationships-between-tokens/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/858296.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

NSSCTF--Crypto--[CISCN 2023 初赛]badkey

NSSCTF--Crypto--[CISCN 2023 初赛]badkey

NSSCTF Crypto [CISCN 2023 初赛]badkey[CISCN 2023 初赛]badkey task: from Crypto.Util.number import * from Crypto.PublicKey import RSA from hashlib import sha256 import random, os, signal, stringdef proof_of_work():random.seed(os.urandom(8))proof = .join([ra…
阅读更多...
deque容器/构造函数/赋值操作/大小操作/插入和删除/数据存取/排序

deque容器/构造函数/赋值操作/大小操作/插入和删除/数据存取/排序

deque容器基本概念 功能： 双端数组，可以对头端进行插入删除操作 deque与vector区别： vector对于头部的插入删除效率低，数据量越大，效率越低 deque相对而言，对头部的插入删除速度会比vector块 vector访问元素时的速度会比deque快，这和两者内部实现有关deque内部工作原理：…
阅读更多...
CSS基础-长度单位

CSS基础-长度单位

💖简介 在CSS中，长度单位分为绝对长度单位和相对长度单位。这些单位用于定义元素的尺寸、边距、填充、字体大小等属性值 vmin和vmax是CSS中的相对长度单位，它们基于视口（viewport）尺寸来定义元素的宽度或高度。这些单位使得元素的尺寸可以根据视口的大小进行缩放，从而有…
阅读更多...
基于GRNN广义回归网络和MFCC的语音情绪识别matlab仿真,对比SVM和KNN

基于GRNN广义回归网络和MFCC的语音情绪识别matlab仿真,对比SVM和KNN

1.算法运行效果图预览 (完整程序运行后无水印) filePath =Test_data\悲伤1.wav类型：悲伤 识别置信度Vmax =0.9559 2.算法运行软件版本 matlab2022a3.部分核心程序 （完整版代码包含详细中文注释和操作步骤视频）Labsn = []; % 遍历每种情绪 for i = 1:length(Em_kind)Labs0…
阅读更多...
学习高校课程-软件设计模式-访客模式（lec13）

学习高校课程-软件设计模式-访客模式（lec13）

Visitor: Problem Example: exporting the graph into XML format 示例：将图表导出为 XML 格式Visitor: Solution Place the new behavior into a separate class called visitor The original object passed to the visitor’s method as an argument
阅读更多...
[学习笔记] 线性筛与欧拉函数

[学习笔记] 线性筛与欧拉函数

一 线性筛主要讲下思想，埃氏筛法就是用所有质数标记所有倍数，这样的时间复杂度是 \(O(n\log n\log n)\)，有两只 \(\log\)。可是我不想要 \(\log\)，于是欧拉筛： 改进：存下质数表。对于每一个数，只标记自己与不超过自己最小质因子的数的乘积，对于质数表 \(2,3,5\)，循环到…
阅读更多...
低空经济的地理信息支撑：构建安全、高效的飞行管理体系

低空经济的地理信息支撑：构建安全、高效的飞行管理体系

随着无人机等低空飞行器的广泛应用，低空空域管理的重要性日益凸显。地理信息技术作为低空空域管理的重要支撑，对于保障低空经济的健康发展具有不可替代的作用。 地理信息技术在低空空域管理中的作用地理信息技术在低空空域管理中扮演着关键角色，主要体现在以下几个方面：空域…
阅读更多...
【Nginx应用】Windows下使用Nginx反向代理访问MySQL数据库

【Nginx应用】Windows下使用Nginx反向代理访问MySQL数据库

环境说明1和2互通，2和3互通，1和3不通，想要在1上访问3上的msyql服务。实现步骤如下： 一、安装nginx 1.1 下载nginx 下载地址 https://nginx.org/download/nginx-1.26.2.zip 1.2 将下载的安装包上传到192.168.221.134运维跳板机，并解压1.3 nginx常用操作 1.3.1 启动nginx…
阅读更多...
Hume 语音模型 OCTAVE：实现情感语音合成、声音克隆和多角色对话生成；通义开源多模态说话人识别项目 3D-Speaker

Hume 语音模型 OCTAVE：实现情感语音合成、声音克隆和多角色对话生成；通义开源多模态说话人识别项目 3D-Speaker

开发者朋友们大家好：这里是 「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。 我们的社区编辑团队会整理分享 RTE（Real-Time Engagement） 领域内「有话题的 新闻 」、「有态度的 观点 」、「有意思的 数据 」、「有思考的 文章 」、「有看点的 会议 」，但内容仅代表编…
阅读更多...
[学习笔记] 网络流

[学习笔记] 网络流

网络流，梳理一下然后看下 trick。 网络流主要难点在于建模，网络流很多 trick 现在已经很难有新意了。很多很好想的都是紫题，没啥含金量啊。 最大流 在残量网络中找到一条路径，设边集为 \(u\)，要求满足 \(\min_{ x\in u} C_x ≠ 0\)，即每条边残量皆不为 \(0\)。此时将这条…
阅读更多...
FTP（windows版）

FTP（windows版）

一、windows server搭建FTP 准备工作 手动搭建FTP站点，ECS实例必须满足以下条件：实例已分配公网IP地址或绑定弹性公网IP（EIP）。具体操作，请参见​绑定EIP​ 。 操作系统：Windows Server 2008及以上系统。系统自建即可。 步骤一：添加IIS以及FTP服务角色 在创建FTP站点前，…
阅读更多...
BUU

BUU

BUU LSB 010看了一下没发现有什么问题 丢到stegsolve，rgb调到0的时候，是张二维码被嗅探的流量 找就完了rarqr镜子里面的世界key就是flag..无语 一开始没看到Hey I think we can write safely in this file without any one seeing it. Anyway, the secret key is: st3g0_saur…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023