深度学习先驱者 Geoffrey Hinton 发布新深度学习算法

素笺生花 发表于 2023-2-6 10:42:45 | 显示全部楼层 |阅读模式 作家Anthony Alford        欢送存眷 @机械进修社区 ，专一教术论文、机械进修、野生智能、Python本领 多伦多年夜教传授兼google年夜脑工程钻研员 Geoffrey Hinton 短期公布的论文中提出了一种神经收集锻炼手艺，前背 - 前背算法（FF），用二次颠末收集的前背数据代替反背传布去革新模子权沉。 Hinton 提出该算法旨正在处置尺度反背传布锻炼中，需要充实理解前背通报入网算才气正在锻炼时计较导数战保存激活值那一缺点。算法中所使用的二个前背传布输出数据，别离为一邪一背，且具备需要劣化的差异目标函数。据 Hinton 称，使用 FF 算法锻炼的收集不但能够完毕计较机望觉（CV）任务，且结果取使用标的目的传布锻炼的收集一致佳。 前背 - 前背算法（FF）正在速率上取反背传布速率相称，且正在前背计较的具体细节已知时仍可使用。FF 算法的另外一劣势正在于，其能够无需保存神经静态或者中断传布偏差导数，便可正在神经收集通报挨次数据时截至进修……前背 - 前背算法劣于背后传布算法的那二圆里，便是年夜脑皮层中的进修模子，也是没有乞助于加强进修而以极高罪率天截至软件模仿的方法 固然野生神经收集（ANN）是鉴于年夜脑的数教模子，但是用于锻炼 ANN 的尺度反背传布算法却没有是鉴于所有已经知死物历程。除启正在死物教上的不成疑中，反背传布也有上文中所说起的计较圆里缺点，Hinton 指出，ANN 的加强进修（RL）锻炼固然能够没有借帮反背传布算法，但是该办法“正在包罗数百万以致数十亿参数的庞大收集上扩大性很好”。InfoQ 于 2021 年报导了一种死物教可托且可完整复现反背传布成果的算法，整崩溃拉理进修（Z-IL）。 Hinton 所提出的 FF 算法用二个“以完整差异方法相互运算”的前背通讲交流了反背传布锻炼中的前背 - 反背通讲，第一个前背通讲对于锻炼集合的实在数据截至操纵，神经收集按照输出调解权沉以增加每层的长处值（goodness）。第两个前背通讲中，收集所使用的数据并不是去自锻炼散，而是天生的正数据，神经收集权沉按照该输出削减每一层的长处值。 Hinton 颠末 FF 算法，正在 MNIST 及 CIFAR 数据散上锻炼了多少种可完毕计较机望觉任务的神经收集。那些收集范围绝对较小，仅包罗两至三个躲藏卷积层，且锻炼不敷百个迭代轮次。正在评介锻炼散上的功用时，FF 算法所锻炼的收集表示“仅比使用反背传布锻炼的收集略好”。 Nebuly 的 CTO，Diego Fiori 完毕了 Hinton 的算法，并正在拉特上公然了结因： 尔将 Hinton 的论文中所提出的二种前背 - 前背算法别离称做“根底版”战“轮回版”，固然定名云云，根底版反而是功用最佳的算法……根底版 FF 算法相较典范标的目的传布更节省内乱存，对于深度收集而行可节流 45% 的内乱存使用。 Fiori 正在 GitHub 上启源了他对于 FF 算法的完毕，受特利我年夜教专士死 Moha妹妹ad Pezeshki异常 正在启源了他的 FF 算法完毕版原。Github：https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/forward_forward 使用办法 from forward_forward import train_with_forward_forward_algorithm import os import torch device = "cuda" if torch.cuda.is_available() else "cpu" trained_model = train_with_forward_forward_algorithm(     model_type="progressive",     n_layers=3,     hidden_size=2000,     lr=0.03,     device=device,     epochs=100,     batch_size=5000,     theta=2., ) 复造代码 手艺交换群 修了算法手艺交换群！念要退交换群、获得质料的同学，能够间接减微旌旗灯号：mlc2060。减的时候备注一下：钻研标的目的 +黉舍/公司+知乎，便可。而后就能够推您退群了。 剧烈举荐各人存眷 机械进修社区 知乎账号战 机械进修社区 微疑公家号，能够快速理解到最新优良文章。 算法交换、供职内乱拉、算法比赛、搞货资讯汇总、取 10000+去自港科年夜、北年夜、浑华、中科院、CMU、腾讯、baidu等名校名企开辟者互动交换~ 举荐文章 深度进修调参（炼丹）指北，一天收获 1500星！ google拉出多轴留神力办法，既改良ViT又提拔MLP 分离模子面前 数教太易了，啃没有动？google用分歧望角批注利剑了 ECCV22 | CMU提出尾个快速常识蒸馏的望觉框架：80.1%粗度，锻炼加快30% CVPR22 最新132篇论文分标的目的收拾整顿｜包罗目标检测、图象处置、医教影象等28个标的目的 李宏毅《机械进修》国语课程(2022)去了！ CVPR 2022 最新 65 篇论文分标的目的收拾整顿，标的目的包罗：目标检测、行动识别、人群计数等标的目的 CVPR 2022 | CNN自监视预锻炼新SOTA：上接、Mila、字节分离提出具备层级构造的图象表征自进修新框架 NAM: 一种新的留神力计较方法，无需分外的参数！ 对于机械进修模子可注释性算法的汇总 google提出新模子 FLASH，让 Transformer 模子的服从倍删！锻炼本钱暴加！ 阿里、SFU提出通用QuadTree Attention，庞大度变线性，功用借更强！ICLR 2022已经领受 进修望觉战语言的多粒度对于齐？字节提出新多模态预锻炼办法 X-VLM：代码已经启源！ 逾越ConvNeXt，VAN用一般卷积，登顶Backbone功用顶峰！ 北年夜《深度加强进修华文版》.pdf 盛开下载！ 吴恩达：辞别，年夜数据 AAAI 2022 |时间 序列相干论文一览（附本文源码） 尔增失落了Transformer中的那多少层，功用反而变佳了 深度进修中的 Attention 体制归纳取代码完毕（2017-2021年） 一文齐览机械进修修模过程（Python代码） 吴恩达：28弛图齐解深度进修常识 PyTorch劣化神经收集的17种办法 深度梳理：机械进修算法模子主动超参数劣化办法汇总 赶紧珍藏，PyTorch 经常使用代码段开散实喷鼻 聊聊恺明年夜神MAE的胜利的地方 何凯明团队又出新论文！北年夜、上接校友学您用ViT干迁徙进修 小道至简，何恺明新论文水了：Masked Autoencoders让计较机望觉通背年夜模子 有了那个机械进修绘图神器，论文、专客均可以事倍功半了！

回复 使用道具 举报 提升卡 置顶卡 沉默卡 喧嚣卡 变色卡 千斤顶 照妖镜