式\((11.47)\)应该有误,不等号左边还应该有一个项\(-E[||x_T-x^{*}||^2]\),之所以没写估计是因为认为\(x_T\)非常接近\(x^{*}\),所以可以忽略;另外不等号右边的括号打错了,应该是
\[2\underset{t=1}{\overset{T}{\sum}}\eta_tE[R(x_t)]-2S_1R^*-S_2L^2
\]
,其中\(S_1=\underset{t=1}{\overset{T}{\sum}}\eta_t,S_2=\underset{t=1}{\overset{T}{\sum}}\eta_t^2\).错误的纠正主要就是想说\(\eta_tE[R(x_t)]\)是一个整体
式\((11.49)\)的第二个等号是错误的,原因同上
解释一下\(R\)的凸性:简单来说就是凸函数的期望也是凸函数,具体见下
不是\(E[R(x_t)]\geq E[R(\bar{x})]\),而是\(\underset{t=1}{\overset{T}{\sum}}\eta_tE[R(x_t)]\geq E[R(\bar{x})]\),原因同上。按照此式化简可以化简出来式\((11.50)\)
式\((11.51)\)不等号左边应该写错了,应该是\(E[R(\bar{x})]-R^*\)
这个小节的一大推推导最后为什么跟收敛性分析有关?实际上这里是用平均损失的期望来近似,如下