吴恩达机器学习笔记

下一步做什么?

为了提高预测函数的准确率,可能采取的办法有:

  • 更多样本
  • 尝试去除一些特征
  • 尝试增加一些特征
  • 尝试提高特征的幂
  • 增大或减小/(/lamda/)

如果只凭感觉来决定下一步做什么可能会浪费许多时间。

1 训练集、测试集

按照7:3的方式将已有样本分为训练集和测试集。对训练集进行训练得到预测函数后,计算该预测函数在测试机中的代价函数。

对于线性回归,

对于逻辑回归,

$$err(h_\Theta(x),y) = \begin{matrix} 1 & \mbox{if } h_\Theta(x) \geq 0.5\ and\ y = 0\ or\ h_\Theta(x) < 0.5\ and\ y = 1\newline 0 & \mbox otherwise \end{matrix}$$

在测试集中的代价函数可以反映预测函数的优劣,但它还不能帮助我们选取一个好的预测函数。

2 训练集、交叉验证集、测试集

按照6:2:2的比例将已有样本分为训练集、交叉验证集和测试集,使用训练集求出多个模型下的预测函数,再分别计算这些预测函数用于交叉验证集中的代价函数,选取在交叉验证集中最小代价函数的那个预测函数,再用测试集进行测试。

这章还有一些内容,懒得笔记了,以及支持向量机的内容。

特征数量n,样本数量m
n大于m,用逻辑回归或线性核函数的SVM
n小,m不是特别大,用高斯核函数的SVM
n小,m特别大,增加特征数量,再使用逻辑回归或线性核函数SVM
以上都可以用神经网络,但有时会比SVM慢

发表评论

电子邮件地址不会被公开。

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据