11.2 练习

\((2)\)
证明一下为什么范数满足三角不等式：

\[||x+y||_p=\sqrt[p]{\underset{i=1}{\overset{d}{\sum}}|x_i+y_i|^p}=\sqrt[p]{\underset{i=1}{\overset{d}{\sum}}2^p|\frac{1}{2}x_i+\frac{1}{2}y_i|^p} \]

\[=2\sqrt[p]{\underset{i=1}{\overset{d}{\sum}}|\frac{1}{2}x_i+\frac{1}{2}y_i|^p} \]

\[\leq 2\sqrt[p]{\underset{i=1}{\overset{d}{\sum}}\frac{1}{2}|x_i|^p+\underset{i=1}{\overset{d}{\sum}}\frac{1}{2}|y_i|^p}（\text{Jensen's inequality}） \]

\[= 2\sqrt[p]{\frac{1}{2}||x||_p^p+\frac{1}{2}||y||_p^p} \]

\[\leq ||x||_p+||y||_p \]

\((3)\)
要证明两个凸函数 $ f $ 和 $ g $ 的最大值 $ \max(f, g) $ 是凸函数，而最小值 $ \min(f, g) $ 是非凸函数，可以通过以下步骤进行：

---

1. 证明 $ \max(f, g) $ 是凸函数

已知条件：
$ f $ 和 $ g $ 是凸函数。

目标：
证明 $ h(x) = \max{f(x), g(x)} $ 是凸函数。

证明步骤：
根据凸函数的定义，对任意 $ x, y \in \mathbb{R}^n $ 和 $ t \in [0, 1] $，需要验证：

\[h(tx + (1-t)y) \leq t h(x) + (1-t) h(y). \]

1. 展开 $ h(tx + (1-t)y) $：

   \[h(tx + (1-t)y) = \max\{f(tx + (1-t)y), g(tx + (1-t)y)\}. \]

2. 利用 $ f $ 和 $ g $ 的凸性：
   因为 $ f $ 是凸函数，有：

   \[f(tx + (1-t)y) \leq t f(x) + (1-t) f(y). \]

   同理，$ g $ 的凸性给出：

   \[g(tx + (1-t)y) \leq t g(x) + (1-t) g(y). \]

3. 取最大值：
   因此，

   \[\max\{f(tx + (1-t)y), g(tx + (1-t)y)\} \leq \max\{t f(x) + (1-t) f(y), t g(x) + (1-t) g(y)\}. \]

4. 比较两边的表达式：
   注意到：

   \[\max\{t f(x) + (1-t) f(y), t g(x) + (1-t) g(y)\} \leq t \max\{f(x), g(x)\} + (1-t) \max\{f(y), g(y)\}. \]

   这是因为：

   • $ t f(x) + (1-t) f(y) \leq t \max{f(x), g(x)} + (1-t) \max{f(y), g(y)} $，
     因为 $ f(x) \leq \max{f(x), g(x)} $ 且 $ f(y) \leq \max{f(y), g(y)} $。
   • 同理，$ t g(x) + (1-t) g(y) \leq t \max{f(x), g(x)} + (1-t) \max{f(y), g(y)} $。

5. 综合以上不等式：

   \[h(tx + (1-t)y) \leq t h(x) + (1-t) h(y). \]

   因此，$ h(x) = \max{f(x), g(x)} $ 是凸函数。

---

2. 证明 $ \min(f, g) $ 是非凸函数

目标：
通过反例说明 $ \min(f, g) $ 不是凸函数。

构造反例：
考虑两个简单的凸函数：

• $ f(x) = x $（显然凸），
• $ g(x) = -x $（显然凸）。

则 $ \min(f, g)(x) = \min{x, -x} $，其图像为：

\[\min\{x, -x\} = \begin{cases} -x & \text{如果 } x \geq 0, \\ x & \text{如果 } x < 0. \end{cases} \]

这是一个典型的凹函数（开口向下的V型），而非凸函数。

\((8)\)
好的！我将详细解释这个不等式 \(\| \mathbf{x} - \mathbf{y} \| \geq \| \text{Proj}_X(\mathbf{x}) - \text{Proj}_X(\mathbf{y}) \|\) 的核心思想和推导过程。以下是分步解释：

---

1. 问题背景

给定一个凸集 $ X \subseteq \mathbb{R}^n $，以及两个点 $ \mathbf{x} $ 和 $ \mathbf{y} $，它们的投影 $ \text{Proj}_X(\mathbf{x}) $ 和 $ \text{Proj}_X(\mathbf{y}) $ 分别是 $ X $ 中离 $ \mathbf{x} $ 和 $ \mathbf{y} $ 最近的点。我们需要证明：

\[\| \mathbf{x} - \mathbf{y} \| \geq \| \text{Proj}_X(\mathbf{x}) - \text{Proj}_X(\mathbf{y}) \|. \]

即投影后的点之间的距离不会超过原点之间的距离。

---

2. 关键概念：投影的几何性质

投影的核心性质是正交性条件（Orthogonality Condition）。对于任意点 $ \mathbf{z} $，其投影 $ \mathbf{p} = \text{Proj}_X(\mathbf{z}) $ 满足：

\[(\mathbf{z} - \mathbf{p}) \cdot (\mathbf{q} - \mathbf{p}) \leq 0, \quad \forall \mathbf{q} \in X. \]

这表示向量 $ \mathbf{z} - \mathbf{p} $ 与 $ X $ 中任何方向的向量 $ \mathbf{q} - \mathbf{p} $ 的夹角大于或等于 $ 90^\circ $。

---

3. 分步证明

步骤1：定义投影点

设：

• $ \mathbf{p}_x = \text{Proj}_X(\mathbf{x}) $，即 $ X $ 中离 $ \mathbf{x} $ 最近的点，
• $ \mathbf{p}_y = \text{Proj}_X(\mathbf{y}) $，即 $ X $ 中离 $ \mathbf{y} $ 最近的点。

需要证明：

\[\| \mathbf{x} - \mathbf{y} \| \geq \| \mathbf{p}_x - \mathbf{p}_y \|. \]

步骤2：应用正交性条件

对于 $ \mathbf{x} $ 和 $ \mathbf{p}_x $，取 $ \mathbf{q} = \mathbf{p}_y \in X $，则：

\[(\mathbf{x} - \mathbf{p}_x) \cdot (\mathbf{p}_y - \mathbf{p}_x) \leq 0. \quad \text{(式1)} \]

同理，对于 $ \mathbf{y} $ 和 $ \mathbf{p}_y $，取 $ \mathbf{q} = \mathbf{p}_x \in X $，则：

\[(\mathbf{y} - \mathbf{p}_y) \cdot (\mathbf{p}_x - \mathbf{p}_y) \leq 0. \quad \text{(式2)} \]

步骤3：构造向量关系

考虑向量 $ \mathbf{x} - \mathbf{y} $，将其分解为三部分：

\[\mathbf{x} - \mathbf{y} = (\mathbf{x} - \mathbf{p}_x) + (\mathbf{p}_x - \mathbf{p}_y) + (\mathbf{p}_y - \mathbf{y}). \]

注意到：

• $ \mathbf{x} - \mathbf{p}_x $ 是 $ \mathbf{x} $ 到投影点 $ \mathbf{p}_x $ 的向量，
• $ \mathbf{p}_y - \mathbf{y} $ 是 $ \mathbf{y} $ 到投影点 $ \mathbf{p}_y $ 的向量（方向相反）。

步骤4：利用内积不等式

将式1和式2展开：

• 式1：
  \[(\mathbf{x} - \mathbf{p}_x) \cdot (\mathbf{p}_y - \mathbf{p}_x) \leq 0 \quad \Rightarrow \quad (\mathbf{x} - \mathbf{p}_x) \cdot (\mathbf{p}_y - \mathbf{p}_x) \leq 0. \]

• 式2：
  \[(\mathbf{y} - \mathbf{p}_y) \cdot (\mathbf{p}_x - \mathbf{p}_y) \leq 0 \quad \Rightarrow \quad (\mathbf{y} - \mathbf{p}_y) \cdot (\mathbf{p}_x - \mathbf{p}_y) \leq 0. \]

步骤5：计算平方范数

计算 $ |\mathbf{x} - \mathbf{y}|^2 $：

\[\|\mathbf{x} - \mathbf{y}\|^2 = \|\mathbf{x} - \mathbf{p}_x + \mathbf{p}_x - \mathbf{p}_y + \mathbf{p}_y - \mathbf{y}\|^2. \]

展开平方：

\[\|\mathbf{x} - \mathbf{y}\|^2 = \|\mathbf{x} - \mathbf{p}_x\|^2 + \|\mathbf{p}_x - \mathbf{p}_y\|^2 + \|\mathbf{p}_y - \mathbf{y}\|^2 + 2(\mathbf{x} - \mathbf{p}_x)\cdot(\mathbf{p}_x - \mathbf{p}_y) + 2(\mathbf{x} - \mathbf{p}_x)\cdot(\mathbf{p}_y - \mathbf{y}) + 2(\mathbf{p}_x - \mathbf{p}_y)\cdot(\mathbf{p}_y - \mathbf{y}). \]

步骤6：利用正交性简化

根据正交性条件（式1和式2）：

• 项 \((\mathbf{x} - \mathbf{p}_x) \cdot (\mathbf{p}_x - \mathbf{p}_y)\)：
  由式1可知，$ (\mathbf{x} - \mathbf{p}_x) \cdot (\mathbf{p}_y - \mathbf{p}_x) \leq 0 $，因此：
  \[(\mathbf{x} - \mathbf{p}_x) \cdot (\mathbf{p}_x - \mathbf{p}_y) = -(\mathbf{x} - \mathbf{p}_x) \cdot (\mathbf{p}_y - \mathbf{p}_x) \geq 0. \]

• 项\((\mathbf{p}_x - \mathbf{p}_y) \cdot (\mathbf{p}_y - \mathbf{y})\)：
  由式2可知，$ (\mathbf{y} - \mathbf{p}_y) \cdot (\mathbf{p}_x - \mathbf{p}_y) \leq 0 $，因此：
  \[(\mathbf{p}_x - \mathbf{p}_y) \cdot (\mathbf{p}_y - \mathbf{y}) = -(\mathbf{y} - \mathbf{p}_y) \cdot (\mathbf{p}_x - \mathbf{p}_y) \geq 0. \]

步骤7：合并所有项

注意到所有交叉项（如 $ 2(\mathbf{x} - \mathbf{p}_x) \cdot (\mathbf{p}_x - \mathbf{p}_y) $ 等）的符号为非负，因此：

\[\|\mathbf{x} - \mathbf{y}\|^2 \geq \|\mathbf{p}_x - \mathbf{p}_y\|^2. \]

取平方根后得到：

\[\|\mathbf{x} - \mathbf{y}\| \geq \|\mathbf{p}_x - \mathbf{p}_y\|. \]