程序员人生网站导航

深度学习与自然语言处理(4)_斯坦福cs224d 大作业测验1与解答

栏目：服务器时间：2016-07-20 08:19:56

深度学习与自然语言处理(4)_斯坦福cs224d 大作业测验1与解答

作业内容翻译：@胡杨(superhy199148@hotmail.com) && @胥可(feitongxiaoke@gmail.com)
解答与编排：寒小阳 && 龙心尘
时间：2016年6月
出处：
http://blog.csdn.net/han_xiaoyang/article/details/51760923
http://blog.csdn.net/longxinchen_ml/article/details/51765418

说明：本文为斯坦福大学CS224d课程的中文版内容笔记，已得到斯坦福大学课程@Richard Socher教授的授权翻译与发表

0 前言

前面1个接1个的Lecture，看得老衲自己也是1脸懵逼，不过你以为你做1个安安静静的美男子(总感觉有勇气做deep learning的女生也是1条汉纸)就可以在Stanford这样的学校顺利毕业啦？图样图森破，除掉极高的内容学习梯度，这类顶尖大学的作业和考试1样会让你突(tong)飞(bu)猛(yu)进(sheng)。

说起来，怎样也是堂堂斯坦福的课，这类最看重前言研究在实际工业利用的学校，1定是理论和利用并进，对动手能力要求极强的，因而乎，我们把作业和小测验(MD你这也敢叫小测验！！)也扒过来，整理整理，让大家都来体验体验。反正博主君自己每次折腾完这些大学的assignment以后，都会感慨1句，“还好不生在水生火热的万恶资本主义国家，才能让我大学和研究僧顺利毕业(甚么？phd？呵呵…博主是渣渣，智商终年处于欠费状态，我就不参与你们高端人士的趴体了)”。

不能再BB了，直接开始造作业考试吧…

1 Softmax (10 分)

(part a) (5分)
证明针对任何输入向量x和常数c，softmax函数的输出不会随着输入向量偏移（也就是常数c）而改变。即：

s o f t m a x (x) = s o f t m a x (x + c)

其中x+c就是给x每个元素加上常数c。注意：

s o f t m a x (x) i = e x i \sum j e x j

提示：在实际利用中，常常会用到这个性质。为了稳定地计算softmax几率，我们会选择c=−maxixi。（行将x的每一个元素减去最大的那个元素）。

博主：熬过了高中，竟然又看见证明了，也是惊(ri)喜(le)万(gou)分(le)，答案拿来！！！

解答：

证明，针对所有维度1≤i≤dim(x)：

(s o f t m a x (x + c)) i = exp ( x i + c ) \sum d i m ( x ) j = 1 exp ( x j + c ) = exp ( c ) exp ( x i ) exp ( c ) \sum d i m ( x ) j = 1 exp ( x j ) = exp ( x i ) \sum d i m ( x ) j = 1 exp ( x j ) = (s o f t m a x (x)) i

(part b) (5 分)
已知1个N行d列的输入矩阵，计算每行的softmax几率。在q1_softmax.py中写出你的实现进程，并使用python q1_softmax.py履行。

要求：你所写的代码应当尽量的有效并以向量化的情势来实现。非向量化的实现将不会得到满分。

博主：简直要哭晕在厕所了，当年毕业设计也是加论文1星期都可以写完的节奏，这里1个5分的作业，还这么多要求…社会主义好…答案拿来！！！

import numpy as np

def softmax(x):
    """
        Softmax 函数
    """
    assert len(x.shape) > 1, "Softmax的得分向量要求维度高于1"
    x -= np.max(x, axis=1, keepdims=True)
    x = np.exp(x) / np.sum(np.exp(x), axis=1, keepdims=True)

    return x

2 神经网络基础（30分）

(part a) (3 分)
推导sigmoid函数的导数，并且只以sigmoid函数值的情势写出来（导数的表达式里只包括σ(x)，不包括x）。证明针对这个问题没必要单独斟酌x。方便回想：下面给出sigmoid函数情势：

σ (x) = 1 1 + e - x

旁白：我年纪轻轻干吗要走上深度学习这条不归路，真是生无所恋了。

答案：σ'(x)=σ(x)(1−σ(x))。

(part b) (3 分)
当使用交叉熵损失来作为评价标准时,推导出损失函数以softmax为预测结果的输入向量θ的梯度。注意，

C E (y, y^) = - \sum i y i log (y^i)

其中y是1个one-hot向量，y^是所有种别的预测出的几率向量。（提示：你需要斟酌

------分隔线----------------------------

上一篇 RxJava-操作符

下一篇 sql优化

------分隔线----------------------------