找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
人工智障网 首页 智能学院 AR/AI 查看内容

18个月自学AI,2年写就三万字长文,过来人教你如何掌握这几个AI基础概念。 ... ... ...

2019-8-15 19:24| 发布者: 人工智能| 查看: 514| 评论: 0

David Code 有多个身份:他是旅行作家,通晓多国语言,他还是一名「AI 教师」。没有数学和软件背景的 David 用 18 个月的时间通过在线课程和博客自学 AI,并花费两年时间撰写了一篇长文。为了使和他一样没有数学基础 ...

想学 AI 又担心没有数学背景或软件背景?没关系,这篇非常适合你。

我曾经花费一年半的时间自学各种在线课程和博客,过程中有太多专家、太多信息,而且他们的很多观点还有冲突。我在学习过程中经常充满自我怀疑。

我不想要很多专家帮我学习,我只想要一个老师。我希望有人能够拉着我的手说:「Dave,这就是你需要学的东西,请按照这个顺序学。现在我将用图画、有趣的故事、现实示例和浅显易懂的语言教你学习 AI。」

而现在,我就是那个老师。

为什么是我?和网上的专家不同,我没有数学或编程背景,不过我曾就读于耶鲁大学和普林斯顿大学,环游过 100 多个国家,是一名旅行作家,我曾在《周六夜现场》工作,我的作品得过奖。也就是说,我知道如何通过写作来传达复杂的概念,知道如何讲故事。我热爱教学,也善于发现好的老师。在学习深度学习过程中我遇到了四位优秀的老师,他们是 Andrew Trask、Grant Sanderson、Kalid Azad 和我的导师 Adam Koenig。

最重要的是,我理解你正在经历的痛苦。你听说过「专家盲区」(expert blindness)吗?专家向新手讲授某个学科时,由于他成为专家的时间太久,会忘了初学者对教材的感受。因此专家会快速介绍一些复杂的概念,而这些概念需要分解成小块才能方便初学者掌握。或者他们不使用类比、图画或示例来帮助初学者掌握概念,导致初学者非常受挫。

每一个初学者都想要专家来教他们 AI。而事实上,你需要的不是专家,而是一名老师。

最好的教师就是那个刚刚学过这些知识的人,因为他仍然记得自己挣扎过的地方以及克服方法,并且他可以向你传授捷径。而我就是这个人。我不是专家,但我是个好老师,而且富有激情。

本文使用指南

本文的阅读过程和小说不同,只读一次是无法理解和掌握所有内容的。我学数学的朋友告诉我,他们常常需要读至少 7 遍数学文本才能开始理解。这不是开玩笑……

为方便讲授,我使用了类比、图画、示例和几何表示。但是请放心,本文在数学层面上是准确而严谨的。请做好阅读本文五遍的准备,无法立刻领会也不要着急。

我在学习复杂材料的时候,通常会设置计时器,每五分钟响一次,不断地提醒自己不要在绝望中沉沦,要微笑、耐心并坚持下去。这真的有效,相信我。

以下是一些宏观要点:

神经网络是深度学习中非常流行的前沿技术;

深度学习是机器学习的分支;

机器学习人工智能的分支。

深度学习包括四个主要概念。本文的目标是让读者掌握这四个深度学习基础概念:

前馈
梯度下降
全局最小值
反向传播

之前对这四个概念一无所知?没关系,首先我会使用类比和图示尽量简单地讲授这些知识,然后不断地回到这四个概念,探讨其中的细节。你应该将本文看作一个「螺旋上升」的学习过程,每一次回到这些概念时你都会收获更多见解。

本文共有五个部分:

1. 深度学习概览:示例、类比、图示、玩笑

2. 28 行代码创建神经网络:神经元和突触

3. 前馈:做出有根据的猜测,60000 次迭代

4. 从试错中学习:梯度下降和全局最小值

5. 反向传播:链式法则

1. 深度学习概览

1.1 示例

想象你是一家宠物店的老板,事业经营得很成功,而这成功很大程度上是因为你善用 AI 技术。你构建了一个深度神经网络,来选择潜在新顾客,并向他们发送广告。一个月前,你上线了一款新猫砂「Litter Rip!」。你试图找到愿意给自己的猫使用这款猫砂的顾客。

而你的秘密武器是数据集。新猫砂上线一个月后,你对宠物店顾客进行了调查并收集了一些数据。调查包括以下问题:

您有猫吗?

您喝进口啤酒吗?

过去一个月,您是否访问过我们的网站 LitterRip.com?

过去一个月,您是否购买过 Litter Rip! 猫砂?

这四个问题的答案即之前顾客的「特征」(feature)。

那么问题来了:什么使得 AI 网络如此强大?

答案是:它使用调查结果进行训练,从而准确地预测未来顾客的购买行为。

首先,你需要将之前顾客的调查数据和他们对前三个问题的回答输入到网络中,进行训练。该网络使用这些数据预测某位顾客是否确实购买了新款猫砂。然后网络再将预测结果与顾客第四个问题的答案进行对比。第四个问题的答案就是标签,作为事实供网络进行对比。例如,如果网络预测结果是「是的,我认为这位顾客买过 Litter Rip! 猫砂」,而这位顾客第四个问题的答案确实是「Yes」,那么你就拥有了一个成功的神经网络。

神经网络通过试错进行自我训练:网络先预测,然后对比预测结果与第四个问题的真正答案,再从错误中学习,并在多次迭代中不断改进。

神经网络通常在一个数据集上训练,在另一个数据集上执行预测,理解这一点很重要。一旦你的神经网络很擅长根据之前顾客的调查数据预测新款猫砂的购买情况,那么你就可以换一个新的数据集,该数据集包含潜在新顾客的名单。

你从兽医那里得到了新的数据集,这些被调查者回答了前三个问题。现在,如果让你用训练好了的网络在潜在新顾客中预测广告投放的最佳对象,你该怎么做呢?

我们来看下一节。

1.2 类比:神经元和突触

下图是我们将要构建的 3 层神经网络,图中使用的是常见的「神经元和突触」格式:

 

人工智障网:18个月自学AI,2年写就三万字长文,过来人教你如何掌握这几个AI基础概念。 ... ... ...人工智能

 

我们先来看这张图,图中是一个三层的前馈神经网络。左侧为输入层:三个圆圈表示神经元(即节点或特征,该网络将使用前三个调查问题作为特征)。现在,你看着这一列圆圈,想象它们分别代表一位顾客的答案。左上的圆圈包含问题 1「你有猫吗?」的答案,左中圆圈包含问题 2「你喝进口啤酒吗?」的答案,左下圆圈表示问题 3「你是否访问过我们的网站 LitterRip.com?」的答案。那么,如果顾客 1 对这三个问题的答案是「Yes/No/Yes」,则左上圆圈包含 1,左中圆圈包含 0,左下圆圈包含 1。

突触(连接这些圆圈和隐藏层的所有线)是神经网络用来「思考」的部位。右侧的单个圆圈(它依然和四个突触相连)是网络的预测结果,即「基于输入到网络的特征组合,此处展示了这位顾客购买新款猫砂的概率。」

最右侧标注「y」的单个圆圈表示真值,即每个顾客对第四个调查问题「你是否购买过 Litter Rip! 猫砂?」的回答。这个圆圈有两个选择:0 表示没买过,1 表示买过。神经网络将输出一个预测概率,并将其与 y 进行对比,查看准确率,然后在下一次迭代中吸取教训。神经网络在数秒时间内可以完成数万次试错。

上图是神经网络的典型图示。本质上,它描述的是前馈,即我们要介绍的第一个主要概念。你可能以为神经元是该过程中最重要的部分,但是这里的类比似乎存在一些误导性。事实上,本文要介绍的四个深度学习主要概念的共同驱动力是突触。因此,目前这部分最重要的知识点是:突触使得预测发生。下面一节我会把这一概念类比为落进碗里的乒乓球。

在进行下一个类比之前,我想首先详细解释一下神经网络之所以强大的原因。

1.3 类比:碗与球

重点来了!人工智能如此强大的原因是:神经网络使用概率对下一次预测进行渐进式的改进。该过程将试错学习提升到一个全新的层次。

我们先来看一下人类是如何预测的:假设你的桌子上有一些之前顾客的调查结果,旁边还有一叠潜在新顾客的调查结果(即兽医提供给你的调查数据)。人类如何使用之前顾客的调查结果预测未来顾客的购买行为呢?你可能会想:「我的模糊逻辑告诉我,喝进口啤酒的顾客和买新款猫砂的顾客没有关联。我查看了顾客调查结果,试图寻找出一种模式,我认为拥有猫和访问过 LitterRip.com 网站的顾客购买过 Litter Rip! 猫砂。」

在只有三个调查问题、四名被调查顾客时,这是可行的。但是如果有 40 个问题、4000 名顾客呢?人类如何决定哪一个问题作为执行准确预测的核心因素?人类大脑能够容纳的数量是有限的,我们很难量化 40000 名顾客中的某一位购买新款猫砂的概率。这个数字是 67% 还是 68%?谁知道呢!

现在我们来看神经网络如何执行预测:神经网络不会将预测局限于直截了当的「是」或「否」,相反,它会预测出一个 0 和 1 之间的数字——概率。例如,0.67 表示「该顾客有 67% 的可能购买新款猫砂」,0.13 表示「该顾客有 13% 的可能购买新款猫砂,可能性较小。」

这就说明了为什么给出一个 0 到 1 之间的概率数字是明智的:就算计算机的第一次预测结果与实际情况大相径庭也没有关系。真正重要的是,网络会将概率 0.13 与真值进行对比(假设真值是 1,即该顾客购买了新款猫砂),网络会注意到它的预测结果偏离真值 0.87,这是一个比较大的误差,因此网络会进行调整。网络将保持数字清晰展现,同时调整数字,增加一些值降低另一些值,以找到更好的问题组合,从而使下一次预测能够得到更加准确的预测结果。将该步骤重复数万次,直到计算机最终能够自信地说:「我很高兴地宣布,现在我的预测结果可以媲美真值了,误差几近于零。现在我可以准确预测了。」

现在,你知道了深度神经网络的强大原因,它使用概率和试错学习方法,渐进式地改进下一次预测的结果。

我可以用一幅简单清晰的图画描述试错学习过程:网络的试错学习就像顺着碗边滚落的乒乓球,最终将落在碗底。

前面我解释了神经网络如何执行预测:计算误差,改善下一次的预测结果,直到误差减少到几乎为零。执行预测的神经网络就像顺着碗侧滚落的乒乓球。我们假设碗底就是「乌托邦」——准确的预测结果,那么网络的第一次预测就是该「预测球」(乒乓球)的起始位置;第二次预测时,乒乓球沿着碗侧向底部前进一点距离;第三次预测时,球又向碗底前进一点……如下图所示,网络的每一次预测就是乒乓球向碗底前进时的新位置。

 

人工智障网:18个月自学AI,2年写就三万字长文,过来人教你如何掌握这几个AI基础概念。 ... ... ...人工智能

 

预测球滚落以及在到达完美位置(碗底)之前的准确率改进过程包括四步:

前馈:想象一下 1960 年的 IBM 计算机,大到填满整个房间,穿孔卡片从一端输入,答案从另一端输出。上文提到的神经网络以前三个调查问题的数据作为输入,得出预测结果;

全局最小值:想象一下桌子上有一个黄色的碗(如上图所示)。桌子表面表示几乎零误差的完美预测结果,那么很显然碗底是最接近完美预测结果的位置,具备最小的误差。与碗整个表面(即「全局表面」(global surface))相比,碗底最接近完美,它具备全局最小误差值。

网络每次进行更好的预测时,粉色的预测球沿着碗侧向底部全局最小误差值前进。每一次预测后,网络将预测结果与第四个问题的答案进行对比,这类似于在特定时刻衡量预测球与碗底的距离。衡量预测结果与真值的距离叫做「找出误差」。网络每次预测的目标都是持续地缩短与全局最小值之间的误差。

反向传播:想象一位杂技表演者,他能向空中抛接 16 个不同大小和重量的保龄球瓶,并使它们同时悬在空中,甚至可以神奇地调整保龄球瓶的大小和重量。网络在执行预测后,会返回到上一次预测的过程中,查看是否可以做一些调整,以便在下一次预测中缩小误差,推动小球向碗底前进。

梯度下降:想象粉色乒乓球沿着碗侧向碗底滚落,碗底即全局最小值(见上图)。网络就像那个球,碗的表面由网络的每一次预测构成。梯度下降就是球沿着碗侧滚落向碗底(即具备全局最小误差的预测)的过程。

换句话说:

梯度下降是网络在达到准确预测(即全局最小误差)前的试错过程,就像乒乓球滚落碗底的过程;

前馈即执行预测。预测就像给定时刻球停留在碗表面某个位置的定格图像;

全局最小值即预测几乎没有误差的完美位置(碗底)。我们的目标是到达碗底。网络将预测结果与真值进行对比,来衡量球目前位置与碗底的距离(误差);

反向传播即返回到上一次预测,找出错误并修正。反向传播衡量球现在位置到其下桌面的距离(即误差),并找出推动球向碗底前进的方法。

记住:我们现在只是粗略了解,所以即便有些地方没有掌握也不要担心。

在详细解释这些概念之前,我想把「碗和球」的类比再推进一步。上图展示了神经网络训练过程中的四个主要步骤,但过于简化。它准确地表示了只有一个调查问题的网络,该网络也仅基于这一个问题做出预测。

但是,我们想做的是结合三个调查问题找出最佳预测。因此,如果网络在试错迭代过程中使用不同问题组合进行试验,碗会是什么样子呢?答案是:一只凹凸不平的碗。

如下图所示:

 

人工智障网:18个月自学AI,2年写就三万字长文,过来人教你如何掌握这几个AI基础概念。 ... ... ...人工智能

 

图源:https://www.youtube.com/watch?v=IHZwWFHWa-w&t=2s&index=3&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi

上图中红色的碗有一些凸起和凹陷,为什么会这样呢?

首先,我们必须理解红色碗由什么构成。从图中看它似乎是塑料做的……不过并不是,想象它由数百万个红点构成,每个红点都是 3D 网格中的一个点。每个点表示一个可能的调查问题组合,以及该组合中哪个问题对于网络执行预测的等级更高。这个凹凸不平的碗让我们看到了所有可能组合的凹凸不平的表面。

记住这幅图:红色碗是「所有排列组合的表面」,它像山脉一样有高峰、深谷、山岭、河床。网络无法穷尽浩瀚宇宙中每一个可能的排列组合,这会花费太多计算时间。因此,它从你随机「抛掷预测球」的位置出发,一路向下走向谷底(即全局最小值)。网络不需要管它从哪里开始出发,它只需要在意从随机的起始点到达碗底即可。

在解释红色的凹凸不平处之前,我们先来看从红碗右上角开始的白色虚线。这条线的顶端就是网络的第一次预测。还记得上文介绍的红色乒乓球吗?假设乒乓球就在白线顶端处,白色虚线表示网络预测结果从起始点到全局最小值的路径。也就是说乒乓球沿着这条白色虚线走到误差最小、预测准确率最高的地方。

但是为什么这条白色虚线路径如此弯曲呢?原因在于,网络的常规试验需要考虑组合哪些问题、每个问题的权重多大,才能得到误差最小的最佳预测结果。网络的常规目标是尽可能降低误差,即让乒乓球尽快到达红碗底部。因此网络通常采用虚线上球所在点的坡度,来确定哪个方向具备最陡峭的坡度,能够实现最快的向下路径。由于坡度不断改变,这条路径就很曲折。我们来看一个简单的例子:

人类第一眼就会判断这两个问题(「你有猫吗?」和「你访问过我们网站吗?」)是做出预测的基础问题。但是哪个问题对预测准确度影响最大呢?第一个问题影响更大,还是二者五五分?

网络想用这两个问题的不同权重组合进行试验,从而找出实现准确预测的最佳组合。上图红色碗中的每个凸起都表示「走在错误道路上」的问题组合和问题权重,因为每个凸起都使网络的「预测球」愈发偏离底部的全局最小值。而碗中的每个凹陷都表示「走在正确道路上」的问题组合,因为它使预测球离碗底更近。

但是,如果网络找出了三个调查问题的完美权重组合,但预测准确率仍然只有 60% 左右,该怎么办?不要怕,网络还有另一个技巧:推断问题(inferred question)。

下面我们用一个简单示例讲述这个重要概念:

我们回过头看关于进口啤酒的那个问题。神经网络不停尝试不同的问题组合。那么举例来说,或许只有富人才有钱买进口喜力啤酒,而我们都知道养猫的人很可能是富人。(本猫奴的内心:不,我不是,我没有……)那么也许当「你喝进口啤酒吗?」和「你有猫吗?」这两个问题在网络计算过程中是组合问题且权重较高时,预测结果会得到改进。

这里的推断问题就是「富人更有可能购买 Litter Rip 猫砂吗?」。不过我们刚才做了一个(愚蠢的)推断:喝进口喜力啤酒和养猫的人可能比较富有。

但是,随着粉色预测球在红色碗中兜兜转转,它到了凸起处,而原因在于网络使用了这个推断问题进行试验。也就是说该推断问题对于改善预测准确率并没有帮助。(可能是因为猫砂不是奢侈品而是养猫者的必需品。)在接下来的迭代中,预测球离开凸起处,不再使用这个无用的推断问题。但是它也有可能因为有用的推断问题掉进凹陷处,从而帮助它更快地到达碗底。

上文的示例展示了如何测试推断问题能否有效帮助实现更准确的预测结果。人类使用模糊逻辑探索推断问题,而神经网络尝试穷尽每一种排列组合。如果试验获得了较好的预测结果,它会保留该问题。如果试验得到了更糟的预测结果,网络将抛弃该问题。

总之,红色碗表面上每一个红点表示网络使用特定问题组合和权重组合进行的一次试验。每一个凹陷表示「这一步走在了正确的道路上」,网络注意到这一点并将继续保持。每一个凸起处表示「这一步走错了方向」,网络也会注意到并摒弃它。预测球的路径(白色虚线)歪歪扭扭,是因为预测球在通往碗底的路上不断寻找凹陷处、避免凸起处。你可以说白色虚线是预测球通往碗底的最高效路径。

现在我们转回来,更详细地了解一下「前馈」、「全局最小值」、「反向传播」和「梯度下降」。

1.3.1 前馈:将穿孔卡片输入到 1960 年的 IBM 计算机

前馈的目标是创建预测。假设每一次预测是预测球向碗底前进过程中的一个新位置。在上图红色碗中,网络做的第一次预测由白色虚线右上角的点表示,我们假设预测球就在这个点上。前馈是创建第一次预测的过程。白色虚线上的下一个点即是第二次预测,这样预测球移动到下一个点,之后再进行第三次预测。

大部分 AI 课程和博客不会提及,预测球所在的每个位置由红色碗底部白色网格的两个坐标轴决定。红色碗并非在空间中漂移,它位于白色网格之上,该网格具备 X 轴和 Y 轴。

还记得上图介绍全局最小值时所用的图像吗?黄色碗位于桌面上。同理,红色碗位于白色网格上。白色网格即「桌面」,「完美、无误差的预测位置」即红色碗实际位于的点。注意,碗与桌面唯一的连接点是碗底,即白色虚线结束的点(全局最小值)。

预测球在红色碗中的每次停顿,即每次预测点,都由 3 个坐标轴决定:X 轴和 Y 轴表示网格位置,Z 轴表示预测球到网格的距离。

现在让我们跳出抽象描述。3D 空间中这三个坐标轴在现实生活中表示什么?

回忆一下,红色碗表面上每一个红点表示网络使用特定问题组合和权重组合进行的一次试验,那么网络如何执行试验呢?它使用 X 轴和 Y 轴在白色网格上定一个位置,表示特定的问题组合。X 轴和 Y 轴必然会问:「嗨,Z 轴你好,这个组合怎么样?」Z 轴将告诉我们该组合的效果——Z 轴负责衡量误差。

我们之前提到,碗底,即碗与白色网格相连接的位置,是完美的预测。那么碗中每一个红点都表示误差,离白色网格越远,误差就越大。

这点非常重要:白色网格表示网络可以尝试的问题及权重组合。对于白色网格上的每一个点,其上方的红点表示该组合的误差值。也就是说,红色碗上的每个红点表示其下方预测的误差。红色碗就是「误差组成的碗」。只有碗底,红点接触白色网格的地方,二者之间没有距离,也因此没有误差。参见下图:

 

人工智障网:18个月自学AI,2年写就三万字长文,过来人教你如何掌握这几个AI基础概念。 ... ... ...人工智能

 

上图中的锥形黄色箭头表示 Z 轴,用于衡量误差。它很有用,你可以从中了解误差值并学习,以便下次得到更加准确的预测结果。

想象一下,粉色的预测球在白色虚线上移动,黄色箭头总是在预测球下方,并随之移动。粉色球表示网络做出的每次预测,黄色箭头衡量预测球到白色网格的距离,即衡量每次预测的误差。它的运行原理是什么?

你可能会想到前馈——以前三个调查问题作为输入并用不同方式进行问题组合,再执行预测,预测结果为 0 到 1 之间的数字,即概率。想象预测球所在的点表示在白色虚线上的数字。我们知道第四个问题的答案是「1」,因此真值是该顾客买过新款猫砂。真值即是全局最小值,是我们改进预测结果的目标,也是红色碗和白色网格的接触点。因此,网络用 1 减去预测概率。举例来说,如果网络的第一次预测为 0.5,即该顾客有 50% 的可能性购买过这款猫砂,1 减去 50% 所得的数字表示误差,黄色箭头就用于衡量该误差。某种程度上可以说,「真值数字 - 预测球数字 = 黄色箭头数字」。在该示例中,即 1 - 0.5 = 0.5。误差(黄色箭头的长度)为 0.5(误差通常用绝对值表示,不能为负值)。

没有第四个调查问题的话,你无法训练网络,因为你需要真值来测试预测结果。黄色箭头衡量网络预测与真值的距离,即误差,这个例子中真值为 1。我们的第一次预测(0.5)准确率并不高,0.99 的预测才可以说比较准确。

1.3.2 找到全局最小值

我们的目标是训练神经网络找出减少预测误差的最快方式,也就是说让黄色箭头变短,这意味着我们需要预测球从起始点到碗底的最高效路径。碗底即「乌托邦」,在那里黄色箭头(预测误差)的长度几乎为 0(全局最小值),即我们的预测具备最小误差,网络达到非常高的准确率。而预测球到达碗底的最高效路径是那条白色虚线。一旦我们使用第一个数据集完成训练,网络就可以准确预测另一拨潜在新客户购买新款猫砂的概率。

现在想象这个场景:预测球从白色虚线顶端开始,此时黄色箭头(即第一次预测的误差值)等于 0.5。我们如何让球到达碗底呢?也就是说,我们如何调整网络,使预测球(目前 X,Y 坐标为 (3,3))在白色网格上移动到碗底(碗底点的坐标大致为 (3,0))。目前,我们仅能基于顾客 1 的答案执行预测。那么,我们如何基于每个顾客的回答改进之后每一次预测的结果,直到预测误差几乎为 0?也就是预测球到达碗底,网络训练得足够好,可以利用新数据集做出预测。

找到从不那么准确的预测结果 0.5 到最终第 6 万次预测结果 0.9999 的每一步路径,这就是梯度下降过程。

1.3.3 梯度下降和反向传播

梯度下降表示网络的试错学习过程。对于数学 nerd 来说,它可定义为一个总体规划:改变突触权重、在每次迭代时最大程度上降低误差。

对于普通人来说,这里有一个更好的解释:将小球沿着最陡峭的坡度滚下,尽快地到达碗底。反向传播是一种计算梯度的方法,梯度其实就是坡度(slope)。反向传播告诉你预测球所在位置的坡度。

坡度在这里非常重要。所有专家都会使用术语「梯度下降」,而梯度的意思就是「坡度」。找到预测球在碗表面位置点的坡度,可以指示出球尽快到达碗底应该移动的方向。

但是,为什么是坡度呢?请考虑梯度下降的过程:

首先,计算机执行前馈预测。用真值(全局最小值所在位置,即碗底)减去预测得到误差(黄色箭头长度),然后使用反向传播计算误差的坡度。坡度决定了预测球滚动的方向和速度(即网络应该在数字方面做出多大的调整)。

找出坡度是反向传播的重要工具。如果说梯度下降是总体规划,那么反向传播就是达成规划的主要工具。

2. 28 行代码创建神经网络

现在我们来看代码。我将首先展示今天要学习的全部代码,然后再进行详细的步骤讲解。建议在两个窗口中打开本文,一个窗口显示代码,另一个继续往下阅读。从下文代码注释中可以看到,我将构建神经网络的过程分解成了 13 个步骤。现在准备好观看计算机从它所犯的错误中学习并最终识别出模式了吗?

不过,首先我们先来了解矩阵和线性代数的概念。

在下文的代码中,你会看到单词「matrix」或「matrices」(矩阵)。它非常重要:矩阵是这辆汽车的引擎。没有矩阵,神经网络哪儿都去不了。

矩阵是多行数字的集合。你将遇到的第一个矩阵如下所示,它容纳了宠物店顾客调查的数据。

人工智障网:18个月自学AI,2年写就三万字长文,过来人教你如何掌握这几个AI基础概念。 ... ... ...人工智能

将每一行想象为一名顾客,那么以上矩阵中共有 4 位顾客,每一行的方括号中包含三个数字(1 和 0 分别表示「是」和「否」)。在 1.2 节中,我们看到顾客 1 对前三个调查问题的答案是「Yes/No/Yes」,因此该矩阵的第一行为 1, 0 ,1。第一列是四位顾客对第一个问题「你有猫吗?」的回答。

为了更详细地介绍矩阵这一概念,请看下图。图中表示的矩阵与上面的矩阵相同,不过它多了一些标签和颜色,用于强调顾客的回复是一行,特征/问题是一列:

 

人工智障网:18个月自学AI,2年写就三万字长文,过来人教你如何掌握这几个AI基础概念。 ... ... ...人工智能

 

上图厘清了一个最初使我非常困惑的点:行与列之间的关系。

在该矩阵中,每一位顾客的数据被表示为一行中的三个数字。在神经网络图示中(神经元和突触格式),输入层是一个包含三个圆形神经元的列。你需要注意到,每个神经元并不表示一位顾客,即矩阵中的一行数据。相反,每个神经元表示一个特征,即矩阵中的一列数据。因此,一个神经元内包含所有顾客对同一个问题/特征的答案。拿第一个问题「你有猫吗?」举例,我们只选取了四位顾客的数据,因此上图中该问题的回复中只有四个数字(两个 0、两个 1),而如果我们选取了一百万名顾客的数据,则上图中该神经元内会包含一百万个数字,表示这些顾客对该问题的回复。

到这里,我希望大家能够理解我们为什么需要矩阵:因为我们有不止一位顾客。在下面的神经网络示例中,我们描述了四位顾客,所以我们需要四行数字。

该网络包括不止一个问题。每个问题需要一列,因此我们有三列,分别表示对前三个调查问题的回答(第四个问题将出现在后面的另一个矩阵中)。

因此我们的矩阵很小,4 行 X 3 列(4 by 3)。不过真实神经网络的矩阵可能拥有数百万位顾客和数百个调查问题。做图像识别的神经网络可能具备数十亿个「顾客」行和特征列。

总结一下,我们需要矩阵使所有数据清晰展现,方便我们在其上进行计算,这样矩阵就把数据组织成美观、整洁的行与列。

下面我们来看代码,代码选取自 Andrew Trask 的博客,不过注释是我写的。

代码

人工智障网:18个月自学AI,2年写就三万字长文,过来人教你如何掌握这几个AI基础概念。 ... ... ...人工智能

2.1 Sigmoid 函数:行 8-12

sigmoid 函数在网络学习过程中起到非常重要的作用。

「nonlin()」是一种 sigmoid 函数类型,叫做 logistic 函数。logistic 函数在科学、统计学和概率论中非常常见。此处该函数的表达有些复杂,因为这里它作为两个函数使用:

第一个函数是将矩阵(此处表示为 x)放入括号内,将每个值转换为 0 到 1 之间的数字(即统计概率)。转换过程通过代码行 12 实现:return 1/(1+np.exp(-x))。

那么为什么需要统计概率呢?神经网络不会预测 0 或 1,它不会直接吼「哇,顾客 1 绝对会买这款猫砂!」,而是预测概率:「顾客 1 有 74% 的可能购买这款猫砂」。

这里的区别很大,如果你直接预测 0 和 1,那么网络就没有改进空间了。要么对要么错。但是使用概率的话就有改进空间。你可以调整系统,每一次使概率增加或减少几个点,从而提升网络的准确率。这是一个受控的增量过程,而不是盲猜。


温馨提示:
1、在论坛里发表的文章仅代表作者本人的观点,与本网站立场无关。
2、论坛的所有内容都不保证其准确性,有效性,时间性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
3、当政府机关依照法定程序要求披露信息时,论坛均得免责。
4、若因线路及非本站所能控制范围的故障导致暂停服务期间造成的一切不便与损失,论坛不负任何责任。
5、注册会员通过任何手段和方法针对论坛进行破坏,我们有权对其行为作出处理。并保留进一步追究其责任的权利。
1234下一页

路过

雷人

握手

鲜花

鸡蛋

最新评论

小智障

帮助

人工智障-人工智能网

返回顶部