机器学习¶
支持向量机软间隔最大化的对偶函数及其 KKT 条件
推导软间隔下的 SVM 的对偶函数及其 KKT 条件，得到最优分类超平面的参数求解公式。
使用 Keras 绘制神经网络结构图
使用keras模块的plot_model绘制神经网络结构图，将神经网络可视化能够帮助理解模型是如何运行的。
卷积神经网络 CNN 对 fer2013 数据集进行人脸表情识别
使用 Keras 构建卷积神经网络，对 Block 数量、卷积核大小、Dropout rate 进行参数调优，使用数据增强方法生成模型数据缓解过拟合问题。最优模型在测试集上的分类准确率、精确率和召回率均为 63%，比基准模型的分类效果提高了约 10%。
基于 EM 算法的多元高斯混合模型聚类及其 Python 实现
基于 EM 算法，推导多元高斯混合模型聚类的参数迭代公式，并使用 Python 对数据集进行聚类和各类别的参数求解。
在编写代码的过程中，遇到了一个非常简单但一直没发现的 Bug。
定义数组用
all_density = np.array([0]*K)，再用all_density[k] = k_density并不会让all_density的第k个元素改变。这是因为all_density是介于 0 到 1 之间的，而在定义all_density的时候没有指定数组内部的数据类型，默认是不支持小数的，因此赋值之后all_density的第k个元素仍然是 0。解决方法：定义数组的时候一定要指定元素的数据类型，指定为
dtype=flout64就可以存储高精度的浮点数。
手写基于 ID3 算法的决策树模型
不借助现成的机器学习框架，使用 NumPy 实现基于 ID3 算法的决策树模型。
使用 sklearn 实现决策树分类算法
基于 Information Value 对类别特征进行初步筛选，使用 sklearn 实现决策树分类算法，对客户流失情况进行分类预测，汇报 Accuracy、Presicion、Recall、F1、AUC 等评价指标。
牛顿法和拟牛顿 BFGS 法实现 Logistic 回归
推导二元 Logistic 回归的 Hessian 矩阵，利用牛顿法和拟牛顿 BFGS 法求回归系数的极大似然估计。所得模型在训练样本的预测准确度为 78%。
最小二乘法的矩阵形式推导
利用必要的矩阵求导法则，推导最小二乘法的矩阵形式。
\[
\begin{aligned}
{\color{red}{\boldsymbol{\beta}}}&\color{red}{=(\boldsymbol{X}^{\top} \boldsymbol{X})^{-1} \boldsymbol{X}^{\top} \boldsymbol{y}}
\end{aligned}
\]