原文链接：https://yq.aliyun.com/topic/111

01 - 一入侯门“深”似海，深度学习深几许

什么是“学习”？

“如果一个系统，能够通过执行某个过程，就此改进了它的性能，那么这个过程就是学习”。
学习的核心目的，就是改善性能。

什么是机器学习？

定义1：
对于计算机系统而言，通过运用数据及某种特定的方法（比如统计的方法或推理的方法），来提升机器系统的性能，就是机器学习。
定义2：
对于某类任务（Task，简称T）和某项性能评价准则（Performance，简称P），如果一个计算机程序在T上，以P作为性能的度量，随着很多经验（Experience，简称E）不断自我完善，那么我们称这个计算机程序在从经验E中学习了。

学习问题的三个特征：

• 任务的类型
• 衡量任务性能提升的标准
• 获取经验的来源

统计机器学习

统计机器学习的对象，其实就是数据。
对于计算机系统而言，所有的“经验”都是以数据的形式存在的。
作为学习的对象，数据的类型是多样的，可以是各种数字、文字、图像、音频、视频，也可以是它们的各种组合。
统计机器学习，就是从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，最后又回到数据的分析与预测当中去。

传统的机器学习方式

传统的机器学习方式，通常是用人类的先验知识，把原始数据预处理成各种特征（feature），然后对特征进行分类。
然而，这种分类的效果，高度取决于特征选取的好坏。
传统的机器学习专家们，把大部分时间都花在如何寻找更加合适的特征上。
因此，传统的机器学习，其实可以有个更合适的称呼：特征工程（feature engineering）。
特征是由人找出来的，自然也就为人所能理解，性能好坏，机器学习专家们可以“冷暖自知”，灵活调整。

深度学习

深度学习在本质上属于可统计不可推理的统计机器学习范畴。
很多时候呈现出来的就是一个黑箱（Black Box）系统，其性能很好，却不知道为何而好，缺乏解释性。
深度学习中的“end-to-end（端到端）：输入的是原始数据（始端），然后输出的直接就是最终目标（末端），中间过程不可知。
深度学习的学习对象同样是数据，但与传统机器学习所不同的是，它需要大量的数据，也就是“大数据（Big Data）”。

深度学习的产生

阶段1：特征表示学习（feature representation learning）

• 神经网络自己学习如何抓取数据的特征
• 效果好，对数据的拟合也更加灵活好用
• 代价：机器自己学习出来的特征存在于机器空间，完全超越了人类理解的范畴，成为了“黑盒”，人们只能依据经验调试神经网络的学习性能，不断地尝试性地进行大量重复的网络参数调整

阶段2：深度学习

• 网络进一步加深，出现了多层次的“表示学习”，学习的性能提升到另一个高度。
• 这种多层次的“表示学习”，人们称之为“Deep Learning（深度学习）”。

机器学习与深度学习的简明对比

“机器学习”的核心要素，那就是通过对数据运用，依据统计或推理的方法，让计算机系统的性能得到提升。
而深度学习，则是把由人工选取对象特征，变更为通过神经网络自己选取特征，为了提升学习的性能，神经网络的表示学习的层次较多（较深）。

02 - 人工“碳”索意犹尽，智能“硅”来未可知

深度学习的算法

深度学习是高度数据依赖型的算法，它的性能通常随着数据量的增加而不断增强，也就是说它的可扩展性（Scalability）显著优于传统的机器学习算法。
如果训练数据比较少，深度学习的性能并不见得就比传统机器学习好。
其潜在的原因在于，作为复杂系统代表的深度学习算法，只有数据量足够多，才能通过训练，在深度神经网络中，“恰如其分”地将把蕴含于数据之中的复杂模式表征出来。

机器学习的两层作用

• （1）面向过去（对收集到的历史数据，用作训练），发现潜藏在数据之下的模式，
  描述性分析（Descriptive Analysis），主要使用了“归纳”。
  对历史对象的归纳，可以让人们获得新洞察、新知识，
• （2）面向未来，基于已经构建的模型，对于新输入数据对象实施预测，
  预测性分析（Predictive Analysis），更侧重于“演绎”。
  对新对象实施演绎和预测，可以使机器更加智能，或者说让机器的某些性能得以提高。

二者相辅相成，均不可或缺。

机器学习的三步法

机器学习在本质就是寻找一个好用的函数，具体说来，机器学习要想做得好，需要走好三大步：

• （1）如何找一系列函数来实现预期的功能，这是建模问题。
• （2）如何找出一组合理的评价标准，来评估函数的好坏，这是评价问题。
• （3） 如何快速找到性能最佳的函数，这是优化问题。

什么是神经网络？

“神经网络，是一种由具有自适应性的简单单元构成的广泛并行互联的网络，它的组织结构能够模拟生物神经系统对真实世界所作出的交互反应。”

人工智能领域的两大主流门派

符号主义

• 理念：知识是信息的一种表达形式，人工智能的核心任务，就是处理好知识表示、知识推理和知识运用。
• 核心方法论：自顶向下设计规则，然后通过各种推理，逐步解决问题。

连接主义

• 理念：人的思维就是某些神经元的组合，因此可以在网络层次上模拟人的认知功能，用人脑的并行处理模式，来表征认知过程。
• 核心方法论：试图编写一个通用模型，然后通过数据训练，不断改善模型中的参数，直到输出的结果符合预期。
• 这种受神经科学的启发的网络，被称之人工神经网络（Artificial Neural Network，简称ANN），演化升级后，就是深度学习。

通用近似定理（Universal Approximation Theorem）

只需一个包含足够多神经元的隐藏层，多层前馈网络能以任意精度逼近任意复杂度的连续函数。
换句话说，神经网络可在理论上解决任何问题。

03 - 神经网络不胜语， M-P模型似可寻

什么是M-P神经元模型？

在这个模型中，神经元接收来自n个其它神经元传递过来的输入信号。
这些信号的表达，通常通过神经元之间连接的权重（weight）大小来表示。
神经元将接收到的输入值按照某种权重叠加起来，并将当前神经元的阈值进行比较。
然后通过“激活函数（activation function）”向外表达输出（这在概念上就叫感知机）。

激活函数（activation functions）

在实际使用中，阶跃函数具有不光滑、不连续等众多不“友好”的特性。
为什么说它“不友好”呢，这是因为在训练网络权重时，通常依赖对某个权重求偏导、寻极值，而不光滑、不连续等通常意味着该函数无法“连续可导”。
通常用Sigmoid函数来代替阶跃函数。这个函数可以把较大变化范围内输入值（x）挤压输出在（0,1）范围之内，故此这个函数又称为“挤压函数（Squashing function）”。

激活函数 (activation function)的定义：一种函数（例如 ReLU 或 S 型函数），用于对上一层的所有输入求加权和，然后生成一个输出值（通常为非线性值），并将其传递给下一层。

卷积函数（convolutional function）

通俗来讲，所谓卷积，就是一个功能和另一个功能在时间的维度上的“叠加”作用。
假设：

• 时间维度上的函数f
• 操作函数g
• 函数h
  如果，“h = f * g”，那么卷积得到的函数h一般要比f和g都光滑。
  利用这一性质，对于任意的可积函数f，都可简单地构造出一列逼近于f的光滑函数列，这种方法被称之为函数的光滑化或正则化。
  在时间的维度上的“叠加作用”，如果函数是离散的，就用求累积和来刻画。如果函数是连续的，就求积分来表达。

“M-P”感知机模型

简单来说，感知机模型，就是一个由两层神经元构成的网络结构，输入层接收外界的输入，通过激活函数（阈值）变换，把信号传送至输出层。
因此也称之为“阈值逻辑单元（threshold logic unit）”，正是这种简单的逻辑单元，慢慢演进，越来越复杂，就构成了深度学习网络。

04 - “机器学习”三重门，“中庸之道”趋若人

机器学习的三种主要形式：监督学习、非监督学习和半监督学习。它们之间核心区别在于是否（部分）使用了标签数据。

监督学习（Supervised Learning）

监督学习基本上就是“分类（classification）”的代名词。
从有标签的训练数据中学习，然后给定某个新数据，预测它的标签（given data, predict labels）。这里的标签（label），其实就是某个事物的分类。
简单来说，监督学习的工作，就是通过有标签的数据训练，获得一个模型，然后通过构建的模型，给新数据添加上特定的标签。
事实上，整个机器学习的目标，都是使学习得到的模型，能很好地适用于“新样本”，而不是仅仅在训练样本上工作得很好。
通过训练得到的模型，适用于新样本的能力，称之为“泛化（generalization）能力”。

非监督学习（Unsupervised Learning）

非监督学习，本质上，就是“聚类（cluster）”的近义词
与监督学习相反的是，非监督学习所处的学习环境，都是非标签的数据。
简单来说，给定数据，从数据中学，能学到什么，就看数据本身具备什么特性了（given data, learn about that data）。
一旦归纳出“类”或“群”的特征，如果再要来一个新数据，就根据它距离哪个“类”或“群”较近，就“预测”它属于哪个“类”或“群”，从而完成新数据的“分类”或“分群”功能。
这里的“类”也好，“群”也罢，事先是不知道的。

半监督学习（Semi-supervised Learning）：

这类学习方式，既用到了标签数据，又用到了非标签数据。
事实上，半监督学习就是以“已知之认知（标签化的分类信息）”，扩大“未知之领域（通过聚类思想将未知事物归类为已知事物）”。
但这里隐含了一个基本假设——“聚类假设（cluster assumption）”，其核心要义就是：“相似的样本，拥有相似的输出”。

AI - 深度学习入门十四章摘要 - 1

原文：https://www.cnblogs.com/anliven/p/9142633.html