测试环境：Mac

Hexo

SVM，Support Vector Mechines，支持向量机

1. 线性可分SVM

1.1. 问题引出

有样本集 \(D=\{(\boldsymbol{x_1}，y_1)，(\boldsymbol{x_2}，y_2)，\ldots，(\boldsymbol{x_m}，y_m)\}\)。其中， \(\boldsymbol{x_i}\)是一个样本，列向量；标签\(y_i\in\{-1， 1\}\)且\(D\)是线性可分的。 找到一个最优超平面\(\boldsymbol{w}^T\boldsymbol{x} + b = 0\)(\(\boldsymbol{w}\)为是超平面系数，列向量；\(b\)为截距；\(\boldsymbol{x}\)为列向量)，使得在保证正确分类的情况下，样本点到超平面的最小距离最大化

• 最小距离：所以样本点到超平面的距离
• 支持向量：每个类别中到超平面距离最小的点
• 最大化：使得两类支持向量到超平面最小距离最大化，即两类支持向量点到超平面的距离相等

如上图: \(\boldsymbol{w}^T\boldsymbol{x} + b = 0\): 分离超平面 \(\boldsymbol{w}^T\boldsymbol{x} + b = 1\): 正例支撑超平面 \(\boldsymbol{w}^T\boldsymbol{x} + b = -1\): 负例支撑超平面

Convex Optimization，凸优化

SVM中的凸优化中的KKT

Python2.7编程中遇到的一些编码问题小结