四、音视频机器学习基础

引言

在前一章中，我们对基础音视频的关键技术工具，进行了详细介绍。其中，不少地方需要用到机器学习相关的处理手段。可见结合机器学习尤其是深度学习模型的优秀能力，来强化现有音视频工程的各方面，已逐步成为主流趋势。

因此，需要我们对机器学习这个大类技术族，有初步的认知。

整个机器学习（ML）的发展历程中，总有不一样的想法和更先进（或特色）的方法论被各路探索者们提出来。而深度学习（DL [Deep Learning]）作为机器学习（ML [Machine Learning]）的实现手段之一，最初的概念早在上个世纪就已经被 Hinton、Bengio、LeCun 等学者提出。受到近年来快速增长的计算机算力和大数据云建设，而得以真正落地。

如果回顾机器学习的发展会发现，过程中通常是多条路线方法论并行的。在历史上（现认为 2019 至今属于第三次高峰），前两次小高峰都是伴随着计算机硬件技术的突破，而带来的飞跃性变革。从单层感知器模型（Single-Perception）到多层感知器模型（Multi-Perception）再到深度信念网络（Deep Belief Network），直至今天百花齐放的 DL。整个历史中的每一次迭代，更像是多次多维度的技术积累准备齐全后，才应运而生的。

本章节主要整理说明了，当下机器学习至 2019 年前的发展简史，并阐明了部分算法的必要基础概念。只给出核心原理，不包含理论证明和推导过程。

关键字：机器学习分类、深度学习、激活函数、损失函数、最优化算法、模型结构速览

目录

• 4.1 发展概览
• 4.2 模型工程基础
  • 4.2.1 算子（Operator）& 层（Layer）
  • 4.2.2 神经元（Neuron）
  • 4.2.3 神经网络（NN [Neural Network]）
  • 4.2.4 特征选择（Feature Selection）
• 4.3 经典激活函数（Classic Activation Function）
  • 4.3.1 Sigmoid
  • 4.3.2 Tanh
  • 4.3.3 Softplus
  • 4.3.4 ReLU 族
  • 4.3.5 ELU & SELU
  • 4.3.6 Mish
  • 4.3.7 Swish 族
• 4.4 连接函数/衰减函数（Connection/Attenuation Function）
  • 4.4.1 Dropout
  • 4.4.2 Maxout
  • 4.4.3 SoftMax
• 4.5 损失函数（Loss Function）
  • 4.5.1 回归项-平均绝对误差（MAE [Mean Absolute Error]）
  • 4.5.2 回归项-均方误差（MSE [Mean Squared Error]）
  • 4.5.3 回归项-休伯损失（Huber Loss）
  • 4.5.4 回归项-分位数损失（Quantile Loss）
  • 4.5.5 分类项-对数损失（Log Loss）
  • 4.5.6 分类项-交叉熵损失（Cross Entropy Loss）
  • 4.5.7 分类项-合页损失（Hinge Loss）
  • 4.5.8 分类项-对比损失（Contrastive Loss）
  • 4.5.9 分类项-三元损失（Triplet Loss）
  • 4.5.10 分类项-对组排异损失（N-Pair Loss）
  • 4.5.11 正则项-L1 惩罚
  • 4.5.12 正则项-L2 惩罚
• 4.6 优化算法/优化器（Optimizer）
  • 4.6.1 经典优化算法（Classic Optimize Function）
  • 4.6.2 优化算法的优化-应对震荡
  • 4.6.3 优化算法的优化-应对重点强（弱）化更新
  • 4.6.4 自适应实时评估算法（Adam [Adaptive Moment Estimation]）
  • 4.6.5 优化算法对比与使用建议
• 4.7 模型结构速览
  • 4.7.1 卷积神经网络（CNN [Convolutional Neural Network]）
  • 4.7.2 循环神经网络（RNN [Recurrent Neural Network]）
  • 4.7.3 自注意力网络（Transformer）
• 【参考文献】