聚类

问题描述

训练数据： D = { x 1 , x 2 , ⋯ , x m } D=\lbrace x_1,x_2,\cdots,x_m\rbrace D={x1​,x2​,⋯,xm​}，其中每个数据为 $n$ 维向量 $x_i=(x_{i1},x_{i2},\cdots ,x_{in})$；
任务：将 $D$ 划分为 $k$ 个互不相交的簇。

样本相似性的度量

有序属性的度量

闵可夫斯基距离：
$$\mathrm{dis}{\mathrm{t}}_{\mathrm{mk}}(x_i,x_j)=(\sum _{u=1}^n|x_{iu}-x_{ju}{|}^p{)}^{1/p},p\ge 1$$

余弦相似度：
$$s_{ij}(x_i,x_j)=\frac{x_i^T{x}_j}{||x_i||\cdot ||x_j||}$$

马氏距离：
$$D_M(x)=\sqrt{(x-\mu {)}^T{\Sigma }^{-}1(x-\mu )}$$
其中 $\Sigma$ 为样本集协方差矩阵。

为啥不用相关系数呢？

无序属性的度量

VDM距离：
$${\mathrm{VDM}}_p(a,b)=\sum _{i=1}^k|\frac{m_{u,a,i}}{m_{u,a}}-\frac{m_{u,b,i}}{m_{u,b}}{|}^p$$
其中，$m_{u,a}$ 表示在属性 $u$ 上取 $a$ 的样本数，$m_{u,a,i}$ 表示在 $i$ 簇中属性 $u$ 上取 $a$ 的样本数。

直观上理解，如果两个取值越像，则其在每个簇的差异应该也越小

混合属性的度量

$${\mathrm{MinkoVDM}}_p(x_i,x_j)=(\sum _{u=1}^{n_c}|x_{iu}-x_{ju}{|}^p+\sum _{u=n_c+1}^n{\mathrm{VDM}}_p(x_{iu},x_{ju}){)}^{\frac{1}{p}}$$

聚类方法

划分聚类——K-Means

关于 K-Means 只适用于“团状”数据的问题，感觉换一种距离度量方式就能解决了吧？

层次聚类

自底向上：先将每个样本看作独立的簇，然后按照相似度进行合并，如 AGNES 算法。

自顶向下：将所有样本看作一个簇，然后逐渐细分，如 DIANA 算法。

密度聚类

DBSCAN 算法：

模型聚类

$n$ 维随机变量的高斯分布：

上式可以简记为 $p(x|u,\Sigma )$

高斯混合模型：

由 $k$ 个高斯分布混合而成，${\alpha }_i$为权重。

关联分析

问题描述

挖掘形如 $x\to y$的蕴含式（简单关联：无先后顺序、序列关联：有先后顺序）

支持度：
$$\mathrm{Support}(A\cap B)=\frac{\mathrm{Freq}(A\cap B)}{N}$$
置信度：
$$\mathrm{Confidence}=\frac{\mathrm{Freq}(A\cap B)}{\mathrm{Freq}(A)}$$

Apriori 算法

如果事件 A 包含 $k$ 个元素，则称其为 $k$ 项集，若 A 的最小支持度超过阈值，则进一步称其为频繁 $k$ 项集。