【深度学习 基本概念】深度学习中的一些数学公式

1、得分函数:


2、SVM损失函数:


3、加入正则化惩罚项的SVM损失函数:


其中,为正则化惩罚项。

4、L2正则化:


那么,加入正则化惩罚项的SVM损失函数

5、交叉熵损失(cross-entropy loss)函数:


其中,被称作softmax函数。

其输入值是一个向量,向量中元素为任意实数的评分值;输出是一个向量,其中每个元素值在0到1之间,且所有元素之和为1。

6、SVM损失函数输出的是一个值,softmax损失函数输出的是一个概率。

7、梯度函数:


深度学习中所说的学习率即是梯度下降的步长。

8、单层的神经网络:


双层的神经网络:


其中,W1、W2、W3为权重参数,max为激活函数。

单层的神经网络相当于线性分类。

简单的神经网络模型可参考:http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

9、有下列激活函数:

Sigmoid函数、tanh(x)函数、ReLu函数(即函数max(0,x))。

10、anaconda可从镜像网站下载,如:http://mirrors.tuna.tsinghua.edu.cn/anaconda/archive


已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页