所有文章
手写基于 ID3 算法的决策树模型
不借助现成的机器学习框架，使用 NumPy 实现基于 ID3 算法的决策树模型。
使用 sklearn 实现决策树分类算法
基于 Information Value 对类别特征进行初步筛选，使用 sklearn 实现决策树分类算法，对客户流失情况进行分类预测，汇报 Accuracy、Presicion、Recall、F1、AUC 等评价指标。
有约束的优化问题之 Lagrangian 乘子法、投影梯度算法和罚函数法
使用 Lagrangian 乘子法、投影梯度算法、罚函数法求解有约束的优化问题。
Lagrangian 乘子法
Lagrangian 乘子的具体形式
\[
L(x, y, \lambda) = x^2 + 5y^2 + xy + \lambda(x^2 + y^2 - 1)
\]
对偶问题
\[
\max_{\lambda} g(\lambda)\\\
\text{ s.t. } \lambda \geq 0
\]
\[
\text{where } g(\lambda) = \min_{x, y} L(x, y, \lambda)
\]
牛顿法和拟牛顿 BFGS 法实现 Logistic 回归
推导二元 Logistic 回归的 Hessian 矩阵，利用牛顿法和拟牛顿 BFGS 法求回归系数的极大似然估计。所得模型在训练样本的预测准确度为 78%。
SQL 刷题
记录遇到的SQL题，夯实使用数据库的技能。
最小二乘法的矩阵形式推导
利用必要的矩阵求导法则，推导最小二乘法的矩阵形式。
\[
\begin{aligned}
{\color{red}{\boldsymbol{\beta}}}&\color{red}{=(\boldsymbol{X}^{\top} \boldsymbol{X})^{-1} \boldsymbol{X}^{\top} \boldsymbol{y}}
\end{aligned}
\]
梯度下降法及其 Python 实现
用数值近似法求函数在某点的梯度，用回溯线搜索法控制步长，应用梯度下降法求函数极值。
梯度下降的思想是：对某一初始值，不断改变这一初始值，且每一步都朝着能使函数值减小的方向改变，最终函数值几乎不再变小，我们就认为达到了极小值点。
