预习神经网络原理及应用课程大作业所整理的笔记。
本文将初步介绍神经网络与深度学习相关理论原理，后面的文章将讲解基于神经网络算法的电机控制器参数整定研究。
按照网络上的内容整理，若有错误敬请指正。
绪论
人工智能
智能是知识与智慧的总和，与大脑的思维活动相关。人工智能(Artificial
Intelligence，AI)就是通过计算机控制的方式，让机器具有人类的智能。
人工智能的就是让机器的行为看起来就像是人所表现出的智能行为一样。
人工智能的研究主要领域有这三个方面：
- 模拟人的感知能力，对外部刺激信息（视觉和语音等）进行感知和加工。主要研究领域包括语音信息处理和计算机视觉等。
- 模拟人的学习能力，主要研究如何从样例或从与环境的交互中进行学习。主要研究领域包括监督学习、无监督学习和强化学习等。
- 模拟人的认知能力，主要研究领域包括知识表示、自然语言理解、推理、规划、决策等。
机器学习
机器学习(MachineLearning，ML)是指从有限的观测数据中学习（或猜测）出具有一般性的规律，并利用这些规律对未知数据进行预测的方法。机器学习人工智能的一个重要分支。通常一个机器学习模型通常包括数据预处理、特征提取、特征转换、预测这四个环节。
其中数据预处理、特征提取、特征转换可以统称为特征处理。预测环节是机器学习的核心环节，它对特征处理所得的数据进行了一次“浅层学习”。
图1 传统机器学习的数据处理流程
机器学习可以分为监督学习、无监督学习和强化学习。
表示学习
为了提高机器学习系统的准确率，我们就需要将输入信息转换为有效的特征，或者更一般性地称为表示（Representation）．如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就可以叫作表示学习（Representation
Learning，RL）。
表示学习的关键是解决语义鸿沟（SemanticGap）问题．语义鸿沟问题是指输入数据的底层特征和高层语义信息之间的不一致性和差异性。
我们需要需要一个“好的表示”，这种好的表示可以可以通过一定的规则，将所得到的底层特征与相对抽象的高层语义概念联系起来。
这里的底层特征，可以比作一张由不同颜色的点组成的图片，而高层语义概念，则可以比作我们的能够从图片上观察得到的事物，比如“汽车、房子”。我们需要一个“好的表示”，把图片上的一个个点的特征表示出来，让它们与我们所认知的“汽车、房子”能够更好地通过一定的规则对应上。
深度学习
为了学习一种好的表示，需要构建具有一定“深度”的模型，并通过学习算法来让模型自动学习出好的特征表示（从底层特征，到中层特征，再到高层特征），从而最终提升预测模型的准确率。深度学习(DeepLearning，DL)是机器学习的一个子问题，其主要目的是从数据中自动学习到有效的特征表示。
“深度”是指原始数据进行非线性特征转换的次数．如果把一个表示学习系统看作一个有向图结构，深度也可以看作从输入节点到输出节点所经过的最长路径的长度。
图2 深度学习的数据处理流程
深度学习需要解决的关键问题是贡献度分配问题(CreditAssignment
Problem，CAP)，即一个系统中不同的组件(component)或其参数对最终系统输出结果的贡献或影响。
目前，深度学习采用的模型主要是神经网络模型。神经网络模型可以使用误差反向传播算法，从而可以比较好地解决贡献度分配问题．只要是超过一层的神经网络都会存在贡献度分配问题，因此可以将超过一层的神经网络都看作深度学习模型。
神经网络
人工神经网络(Artificial Neural Networks，ANN)，简称神经网络，由许许多多信息处理单位（对应于人脑中的神经元）根据不同的相互作用强度（即连接权值）互连而成，其实质是对生物学上的人脑神经体系的一种近似与模拟，能够像人体神经系统一样对外界知识进行检索、处理与存储。
参考资料
- 邱锡鹏. 神经网络与深度学习[M]. 北京:机械工业出版社,2020
- 神经网络与深度学习 研究生选修课程
- 李捷菲. 基于BP神经网络的PID控制系统研究与设计[D]. 吉林大学，2019