训练情况赛后反思
组合数学还得加练,J题奇妙的乘法逆元预处理,开个unordered_map记忆化就过了?!,E题太头铁了,异或不算就直接交,F题又是急到没取模就直接交。
A题
字符串 Tomori 后面补上 Haruhikage。
#include <bits/stdc++.h>
// #define int long long
#defin…
模型并行与数据并行
Parameter Server
同步更新:
在 work 比较多的情况下,parameter server 承受的压力会比较大,网络开销也大
异步更新:
1参数和更新用的梯度并不来自同一个迭代。用来更新的梯度可能是几步更新前的参数算出来的。
2参数的读取并没有加锁。这导致 worker 可…