本文目录
- 如何评价「神经网络本质不过是初中生都会的复合函数」
- 卷积神经网络卷积层后一定要跟激活函数吗
- 人工神经网络中的activation function的作用具体是什么
- 神经网络算法为什么要用激活函数
- 在神经网络中，激活函数sigmoid和tanh除了阈值取值外有什么不同吗
- 人工神经网络常用的4个激活函数是哪些
- 神经网络中的激活函数有什么区别
- 神经网络中ReLU是线性还是非线性函数如果是线性的话为什么还说它做激活函数比较好
如何评价「神经网络本质不过是初中生都会的复合函数」
如果谈本质都是很简单的东西，至少听起来很简单。
计算机的本质不过是门电路的通断而已，程序的本质不过是01组合而已，火箭发射的本质不过是轨道拟合而已，生命体的本质不过是一堆蛋白质而已，思维只不过是电信号而已，等等诸如此类的说法。如果究其根本，人类的本质和一坨屎一样都是一堆原子。
很多东西都不能分解了去看，因为它们的价值就是在组合的这个部分上。神经网络本质确实是复合函数，因为加权就是乘法，偏移就是加法，激活就是函数运算，这些都很简单，哪怕外面的激活函数稍微复杂一些，也还是可以写出来的。但是神经网络的反向传播需要有人提出来，否则神经网络无法优化；全连接网络的参数数量太多无法增加深度，因此需要有人提出CNN，提出ResNet，提出Dropout，提出Pool并在此基础上实现它们的反向传播算法，而且这些理论的提出都是在经过严谨的数据逻辑验证之后。
当然复合函数谁都会做，不会做的上两个月的学习班也足够学会了，但是学会这些东西能提出来神经网络的结构吗？学会了高等数学能写出一个YOLO吗？不要动不动就谈本质，只有真正理解的人才有资格谈本质，连神经网络的皮毛都没有摸透的人谈本质，听起来就跟民科说地球是平的没什么两样。
卷积神经网络卷积层后一定要跟激活函数吗
线性激活函数的缺点，是线性函数的组合仍然是线性函数。
由于我们遇到的问题大多数是非线性化的，相对比较复杂，如果我们不用激活函数去加入非线性，则网络结构的表达能力非常有限，相应的效果自然而然就比较差了。
人工神经网络中的activation function的作用具体是什么
激活函数的作用无非是以下几个:
第一，增加神经网络的非线性可能。以三层神经网络为例，不加激活函数的情况下，表达为y=W1(W2(W3x+b3)+b2)+b1
=W1W2W3x+B
=Wx+B
也就是无论怎么增加层数，他都是一个线性函数，并没有随着深度而增加复杂度，当加了激活函数以后，比如sigmoid(非线性函数），就改变了这种格局，神经网络就可以拟合非线性可能，而且随着网络的增加，复杂度加深。
第二，梯度控制，不同激活函数的特性不一样，可以达到不同的效果！
神经网络算法为什么要用激活函数
楼主你好！根据你的描述，让我来给你回答！
翻译为激活函数（activation function）会更好。
激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。
希望能帮到你，如果满意，请记得采纳哦~~~
在神经网络中，激活函数sigmoid和tanh除了阈值取值外有什么不同吗
（1）对于深度神经网络，中间的隐层的输出必须有一个激活函数。否则多个隐层的作用和没有隐层相同。这个激活函数不一定是sigmoid，常见的有sigmoid、tanh、relu等。
（2）对于二分类问题，输出层是sigmoid函数。这是因为sigmoid函数可以把实数域光滑的映射到[0,1]空间。函数值恰好可以解释为属于正类的概率（概率的取值范围是0~1）。另外，sigmoid函数单调递增，连续可导，导数形式非常简单，是一个比较合适的函数
（3）对于多分类问题，输出层就必须是softmax函数了。softmax函数是sigmoid函数的推广
人工神经网络常用的4个激活函数是哪些
何止3个（类）？
深度的大多ReLU以及类似的，softplus是reLu软化的产物； RBF的话Gaussian很常见；Sigmoif类里tanh和logistic等也很常用；实在不济，step function也可以用。
某些regression问题直接在最后层用identity function，也算是激活函数。
神经网络中的激活函数有什么区别
理论上讲任何一个连续的非多项式、常数函数都可以做为BP的激活函数，而且这都是已经在数学上证明过的问题。
但sigmoid函数相对其他函数有它自身的优点，比如说光滑性，鲁棒性，以及在求导的时候可以用它自身的某种形式来表示 。
这一点在做数值试验的时候很重要，因为权值的反向传播，要求激活函数的导数 。
多层就有多个导数，如果用一般的连续函数，这对计算机的存储和运算都是一个问题，此外还要考虑整个模型的收敛速度，我上面提到连续函数都可以做激活函数 。
但是相应的Sigmoidal型函数的收敛速度还是比较快的，（相同的结构前提下）
还有就是BP在做分类问题的时候，Sigmoidal函数能比较好的执行这一条件，关于连续函数可以做激活函数的证明，可以在IEEE trans. on neural networks 和NeuralNetworks以及Neural Computating 和Neural Computation上找到。
神经网络中ReLU是线性还是非线性函数如果是线性的话为什么还说它做激活函数比较好
1、严格来讲
ReLU函数算是分段线性函数。中间隐层激活函数选用线性函数（例如恒等函数）不好，是因为算下来多层网络和单层网络一个效果。其实激活函数的存在是为了神经网络更好的拟合目标函数；
2、ReLU比sigmoid或tanh好
是因为他的收敛速度比另外两个快很多（sigmoid自变量比较大时导数趋于零
采用梯度下降法
反应慢，多层网络更为明显），计算量也要小（ReLU只需要和阈值做比较，不需要带入函数计算）。
