吴恩达《深度学习》第三门课(1)机器学习策略一

  • 时间:
  • 浏览:4

(2)设置好单一评估的开发集,就像是有有3个靶心,优化的过程以后我 去瞄准靶心,有以后瞄的很准以后,测试集和开发集不同分布就最少把靶心换到有以后 位置了,以后我 效果会非常的差。如下图所示(靶心变了)。

(2)案例1:A、B模型的误差分别为3%、5%,根据指标看A更好,有以后在使用过程中发现A会把情色照片推送给用户,B不让,显然有以后 状态下我我其实B是更好的算法,这时说明还不能修改评价标准如修改代价函数:

(4)在顶端提到的各种最好的方法中,我我其实将会不自觉的使用了正交化,即次要修改只影响有有3个方面,对有以后 不造成影响。

降低偏差:更大更深的模型,更长的训练,有以后 的优化最好的方法,更换网络形态学

改成:

(3)案例2:开发集、测试集全是使用网上的高清猫的照片,A、B模型的误差分别为3%、5%,根据指标A更好,而实际还不能分类的是来自普通用户拍摄的低像素模糊的照片,这时B算法表现的更好,跳出 有以后 状态说明要更改开发集、测试集了,使其与实际中的照片更加接近。

(3)超过人类表现以后性能提高变慢主要有有有3个原因分析分析分析:首先将会超过人类以后说明将会快接近贝叶斯极限了,进步的空间四种 就小了;其次是将会超过人类以后,以后我 的工具将不再能起作用,如低于人类表现时人类还还不能帮忙做误差分析。

(1)当对有有3个实际的应用系统进行优化时,将会有以后我 想法:如提高数据量,提高网络厚度,正则化等等,有有3个错误的选用 将会浪费非常多的时间,本课以后我 让我在面对以后我 选用 时做出正确的选用 ,这以后我 ML策略。提高强度,让我的厚度学习系统变慢投入使用。

(1)当性能低于人类的表现时还不能提高的变慢,有以后超过人类的表现以后,性能的提升将会变慢。如下图所示

(3)开发集误差减去训练集误差叫可处理方差。

(2)同样在机器学习系统中,将会跳出 测试集效果好,验证集效果不好,这时将会有有3个多策略还不能改善有以后 ,同去不影响有以后 的东西,那以后我 正交化;又比如为哪些不推荐使用early stopping,将会它一方面改善了过拟合,有以后会使得训练集拟合变得不没人好,以后我 有以后 策略全是正交化。下图是厚度学习系统各阶段将会跳出 的问題,应该找到一还不能改善它而不影响有以后 性能的策略(即正交化的策略)。

(1)F1分数公式:2(RP)/(R+P);其中P是查准率,R是查全率。

降低方差:更多的数据、正则化、dropout、数据增强、提前终止(不推荐使用)、更换网络

(1)使用以下的老式电视机来说明哪些是正交化,即有有3个按钮只调节厚度(不让对有以后 造成影响),有有3个只调节厚度,有有3个只调节厚度,没人 就还不能很容易的讲画面调节到正中央,将会有有3个按钮既影响厚度有影响厚度,没人将非常难调整。

(1)案例:医学图像分类,普通人3%错误率,……,专家组讨论结果能达到0.5%,这时应该把最好的表现来当做人类的表现。

(1)当有N个指标时,选出其中有有3个最想优化的指标来最小化,其余N-有有3个指标作为满足指标,即在满足满足指标的前提下(如运算强度要小于60 ms),选用 优化指标最好的模型。

(2)在实际应用中,不一定要达到人类的最高水平不能投入使用,比如有有3个系统超过了普通放射科医生的水平,这时有以后 系统就应该还不能投入使用;以后我 这也说明不同状态下,定义人类的水平错误率时,要弄清楚目标在哪里(不一定是最高的人类水平),超过有以后 目标就应该还不能拿来用。

(1)总体方针:将会你当前的指标和当前用来评估的数据和你真正关心还不能做好的事情关系不大是,这以后就应该更改你的指标将会你的开发集了,让它们能更好的反应你的算法还不能处理好的数据。

(1)在形态学 化问題上,如电影推荐等,机器远超人类水平。

当把色情照片推送给用户时给予很大的权重,没人 根据新的指标还不能选出B算法是更好的,没人 就与实际符合了。

(2)把性能的极限(即模型将会达到的最高性能)称为贝叶斯最优错误率(Bayes optimal error)。

(1)记住有以后 :务必让开发集和测试集是同分布,有以后训练好的网络我我其实没哪些用。

(2)把测试集误差减去人类的误差称为可处理误差,这是还不能提高的次要,下如图:同样的训练误差和开发集误差,有以后根据人类的表现不同,需优先优化的以后我 同,左边应先降低偏差,右边应该先降低方差(将会8%-7.5%将会很小了):

(1)在大数据时代,70/60 、60 /20/20的分法将会不再适用了,现在流行把大把数据拿去训练,有以后我留有足够的开发集和测试集就行。这里开发集足够的标准是还不能判断出哪个模型好,有以后这里测试集足够的标准是还不能准确评估最终的成本偏差。

(1)降低偏差和方差的策略如下图所示:

(3)在自然感知方面还有待加强。

(1)在计算机视觉中,人类是非常擅长的,人类的表现和贝叶斯最优误差相差不大,可把前者当做后者。

(2)在计算机视觉,语音识别等也达到和超过人类的水平。