炼数成金 商业智能深度学习
订阅

深度学习

彻底解决梯度爆炸问题,新方法不用反向传播也能训练ResNet
彻底解决梯度爆炸问题,新方法不用反向传播也能训练ResNet
反向传播是深度学习算法中必不可少的组成部分,但是其固有的梯度爆炸(消失),计算速度慢等问题一直困扰着学界。近日,新西兰维多利亚惠灵顿大学的研究者提出了一种新型的算法,可以让深度学习在不依赖反向传播的情 ...
模型剪枝,不可忽视的推断效率提升方法
模型剪枝,不可忽视的推断效率提升方法
目前,深度学习模型需要大量算力、内存和电量。当我们需要执行实时推断、在设备端运行模型、在计算资源有限的情况下运行浏览器时,这就是瓶颈。能耗是人们对于当前深度学习模型的主要担忧。而解决这一问题的方法之一 ...
基于PyTorch的「Keras」:除了核心逻辑通通都封装
基于PyTorch的「Keras」:除了核心逻辑通通都封装
Keras 和 PyTorch 都是对初学者最友好的深度学习框架,它们用起来就像描述架构的简单语言一样,告诉框架哪一层该用什么就行。很多研究者和开发者都在考虑到底哪一个框架更好,但目前两个框架都非常流行,它们都各有 ...
听,是梯度的声音!用听觉监控神经网络训练,边听音乐边炼丹
听,是梯度的声音!用听觉监控神经网络训练,边听音乐边炼丹
训练神经网络是个极为枯燥的工作。与其盯着Learning Curves发呆,或许可以调动一下其他感官,一起做点更有意思的事情。比如说,眼睛看久了,可以让耳朵也活动活动。一位酷爱弹吉他的数据科学家就希望,在调参时把其 ...
9102年了,语义分割的入坑指南和最新进展都是什么样的
9102年了,语义分割的入坑指南和最新进展都是什么样的
语义分割指的是将图像中的每一个像素关联到一个类别标签上的过程,这些标签可能包括一个人、一辆车、一朵花、一件家具等等。在这篇文章中,作者介绍了近来优秀的语义分割思想与解决方案,它可以称得上是 2019 语义分 ...
那些酷炫的深度学习网络图怎么画出来的?
那些酷炫的深度学习网络图怎么画出来的?
NN-SVG,这个工具可以非常方便的画出各种类型的图,是下面这位小哥哥开发的,来自于麻省理工学院弗兰克尔生物工程实验室, 该实验室开发可视化和机器学习工具用于分析生物数据。
Nature纪念人工智能60周年专题:深度学习综述
Nature纪念人工智能60周年专题:深度学习综述
深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示。这些方法在许多方面都带来了显著的改善,包括较先进的语音识别、视觉对象识别、对象检测和许多其它领域,例如药物发现和基因组学等。 ...
为何Keras中的CNN是有问题的,如何修复它们?
为何Keras中的CNN是有问题的,如何修复它们?
在训练了 50 个 epoch 之后,本文作者惊讶地发现模型什么都没学到,于是开始深挖背后的问题,并最终从恺明大神论文中得到的知识解决了问题。上个星期我做了一些实验,用了在 CIFAR10 数据集上训练的 VGG16。我需要从 ...
NVIDIA BERT推理解决方案Faster Transformer开源啦
NVIDIA BERT推理解决方案Faster Transformer开源啦
Faster Transformer是一个BERT Transformer 单层前向计算的高效实现,其代码简洁明了,后续可以通过简单修改支持多种Transformer结构。目前优化集中在编码器(encoder)的前向计算(解码器decoder开发在后续特性规划 ...
Hinton等人最新研究:大幅提升模型准确率,标签平滑技术到底怎么用
Hinton等人最新研究:大幅提升模型准确率,标签平滑技术到底怎么用
损失函数对神经网络的训练有显著影响,也有很多学者人一直在探讨并寻找可以和损失函数一样使模型效果更好的函数。后来,Szegedy 等学者提出了标签平滑方法,该方法通过计算数据集中 hard target 的加权平均以及平均 ...
像堆乐高一样:从零开始解释神经网络的数学过程
像堆乐高一样:从零开始解释神经网络的数学过程
模型的训练、调参是一项非常费时费力的工作,了解神经网络内部的数学原理有利于快速找出问题所在。本文作者从零开始,一步一步讲解了训练神经网络时所用到的数学过程。神经网络是线性模块和非线性模块的巧妙排列。当 ...
贵州快3开奖结果图灵奖得主Hinton和 LeCun最新演讲:深度学习如何继续革命?
图灵奖得主Hinton和 LeCun最新演讲:深度学习如何继续革命?
Hinton表示,自从20世纪50年代开始,人工智能存在两种范式:分别是逻辑启发的方法和生物学启发的方法。逻辑启发的方法(The logic-inspired approach):智能的本质是使用符号规则来操纵符号表达。 我们应该专注于推理 ...
超越TensorFlow!未来我们需要基于图的全新计算模式
超越TensorFlow!未来我们需要基于图的全新计算模式
“图数据本身非常复杂,深度学习数据样本之间可以随意切割,但图数据不行,因为节点之间存在关联。深度学习时代,我们通常基于 TensorFlow 框架,将数据 Tensor 放到一个计算图里在显卡中做计算。未来,我们的计算模 ...
细粒度稀疏也能取得高加速比:神经网络模型压缩与加速的新思路
细粒度稀疏也能取得高加速比:神经网络模型压缩与加速的新思路
深度神经网络让人工智能在多个领域获得了极大的进步,但随着模型日益变大、变复杂,深度神经网络的低延迟推理对应用落地来说至关重要。为此,微软亚洲研究院系统与网络组从模型的稀疏性入手解决计算力需求增长与供应 ...
贵州快3开奖结果比Pytorch Hub更早?三分钟带你弄懂PaddleHub!
比Pytorch Hub更早?三分钟带你弄懂PaddleHub!
Hub是什么?Hub本意是中心,docker有docker Hub,大家可以把自己创建的镜像打包提交到docker hub上,需要的时候再pull下来,非常方便,那么模型是不是也可以这样玩呢?完全可以啊!很多时候我们不需要从头开始训练模 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-8-23 20:16 , Processed in 0.122825 second(s), 16 queries .

    内蒙古快三开奖结果 江苏快三开奖结果 江苏快3开奖结果 江苏快3开奖结果 江苏快3开奖结果 安徽快3开奖结果 贵州快3开奖结果 江苏快三开奖结果 广西快3开奖结果 江苏快三开奖结果