neural networks for machine learning 机器学习ML视频教程英国机器学习宗师级导师Hinton悉心讲解英文带字幕(74课)

  [复制链接]
查看: 1776|回复: 41

该用户从未签到

0

好友

479

主题

12

精华

管理员

Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20

积分
1352
经验
35
学豆
99118

灌水之王分享达人至尊VIP荣耀VIP论坛元老

发表于 2017-6-12 20:01:06 | 显示全部楼层 |阅读模式
先就业后付费

QQ截图20170612200119.png

课程学习心得(转载)

如何在神经网络中加入先验知识:就是通过设计网络结构来加入

  • 网络的连接性
  • 权重进行约束
  • 激活函数的选择
    也可以通过先验,来加入一些人工造的数据Hofman 93年的炼钢炉模型

Mcnemar检测

Dropout用来阻止同一层网络之间的合作作用,这些合作作用在拟合的时候是非常有效的,但是会有可能过拟合,如果用来测试的话,就会发现效果不是那么好

slashing across a ravine山涧跳,学习速率选太大的时候,会发生的情况用
min_batch算法来做的时候,要保证每个类别的样本尽量均衡
共轭梯度法,是用来优化,full batch梯度的计算过程的。

动态调整学习速率的方法:
一开始初始设置一个值,然后当error持续波动或者持续上升的时候,调低学习速率,当其持续下降且下降比较慢的时候,调高学习速率
调低学习速率的两个时机:

  • 如果误差率不再下降的话,判断误差不在下降用独立的valid数据集
  • 当一轮批梯度下降进行结束的时候

权值的初始化要random,因为这是为了打破 symmetry,如果都初始化为同一个值的化,如果输入向量再一样,会导致后续的结果都相同,不能够学习到不同的特征。
四种加快SGD算法的方法:

  • 动量法momentum
  • 对于每个参数采用独立的学习速率
  • rms prop 【相当于批梯度版的R prop
  • 利用曲线本身的信息

使用动量法的好处:

  • 跟之前相同部分得到加速
  • 扰动部分得到阻尼
  • 允许我们使用更大的学习速率

RNN难以训练的原因:
当有许多层的的神经网络的时候,会有梯度消失或者梯度爆炸的问题
因为反向传播的过程中,越靠前的layer,积累了之后所有层的乘积,所以这是一个非常不稳定的状态,尤其是用sigmoid函数的倒数是在(0,0.25)之间的数,所以会越乘越小,如果把权值初始为非常大的数,又会导致越乘越大。
有效训练RNN的方法:

  • LSTM
  • Hessian Free Optimization,用更好优化函数
QQ截图20170612200142.png

目录
QQ截图20170612200403.png


QQ截图20170612200419.png

课程大小
QQ截图20170612200202.png

下载地址
回复可查看课程下载链接&提取码
游客,如果您要查看本帖隐藏内容请回复

学豆不足请充值:充值  开通VIP全站课程免学豆下载:开通VIP  QQ:2659147209

回复

使用道具 举报

  • TA的每日心情
    开心
    2020-2-10 22:35
  • 签到天数: 214 天

    连续签到: 2 天

    [LV.7]常住居民III

    0

    好友

    4

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    5705
    经验
    5071
    学豆
    30

    荣耀VIP

    发表于 2017-6-13 14:05:41 | 显示全部楼层
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    0

    好友

    0

    主题

    0

    精华

    至尊VIP

    Rank: 10Rank: 10Rank: 10

    积分
    12
    经验
    0
    学豆
    5

    至尊VIP

    发表于 2017-6-18 21:21:34 | 显示全部楼层
    回复

    使用道具 举报

    该用户从未签到

    0

    好友

    0

    主题

    0

    精华

    至尊VIP

    Rank: 10Rank: 10Rank: 10

    积分
    35
    经验
    0
    学豆
    5

    至尊VIP

    发表于 2017-6-25 19:13:53 | 显示全部楼层
    ,越靠前的layer,积累了之后所有层的乘积,所以这是一个非常不稳定的状态,尤其是用sigmoid函数的倒数是在(0,0.25)之间的数,所以会越乘越小,如果把权值初始为非常大的数,又会导致越乘越大
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    7 天前
  • 签到天数: 290 天

    连续签到: 1 天

    [LV.8]以坛为家I

    0

    好友

    3

    主题

    0

    精华

    至尊VIP

    Rank: 10Rank: 10Rank: 10

    积分
    10960
    经验
    10463
    学豆
    841

    至尊VIP

    发表于 2017-6-26 10:43:09 | 显示全部楼层
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2019-3-9 19:56
  • 签到天数: 1 天

    连续签到: 1 天

    [LV.1]初来乍到

    0

    好友

    0

    主题

    0

    精华

    至尊VIP

    Rank: 10Rank: 10Rank: 10

    积分
    36
    经验
    12
    学豆
    5

    至尊VIP

    发表于 2017-7-8 11:06:52 | 显示全部楼层
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2020-8-9 00:46
  • 签到天数: 52 天

    连续签到: 1 天

    [LV.5]常住居民I

    0

    好友

    4

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    990
    经验
    768
    学豆
    5

    荣耀VIP

    QQ
    发表于 2017-7-16 16:29:28 | 显示全部楼层
    课程不错,谢谢楼主,一起自学吧不愧是专业的大数据学习论坛。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2019-12-20 09:11
  • 签到天数: 16 天

    连续签到: 2 天

    [LV.4]偶尔看看III

    0

    好友

    0

    主题

    0

    精华

    至尊VIP

    Rank: 10Rank: 10Rank: 10

    积分
    445
    经验
    226
    学豆
    30

    至尊VIP

    发表于 2017-7-17 08:26:18 | 显示全部楼层
    neural networks for machine learning 机器学习ML视频教程英国机器学习宗师级导师Hinton悉心讲解英文带字幕
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    慵懒
    2020-9-8 12:16
  • 签到天数: 99 天

    连续签到: 1 天

    [LV.6]常住居民II

    0

    好友

    5

    主题

    0

    精华

    荣耀VIP

    Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

    积分
    1978
    经验
    1642
    学豆
    108

    荣耀VIP

    发表于 2017-7-18 20:09:25 | 显示全部楼层
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    0

    好友

    0

    主题

    0

    精华

    等待验证会员

    积分
    2
    经验
    0
    学豆
    5
    发表于 2017-7-28 14:55:48 | 显示全部楼层
    回复 支持 反对

    使用道具 举报

    快捷回复:
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    关闭

    站长推荐上一条 /3 下一条

    快速回复 返回顶部 返回列表