从零开始,用通俗的语言带你理解机器学习的核心概念、经典算法和工程实践
机器学习(Machine Learning)是人工智能的一个分支,核心思想很简单:让机器从数据中自己找规律,而不是人类一条条写规则。
1959 年,Arthur Samuel 给出了一个经典定义:"机器学习是让计算机不需要显式编程就能学习的研究领域。"通俗地说,传统编程是人告诉机器"怎么做",机器学习是人给机器"看数据",机器自己总结出"怎么做"。
想象你教一个小孩子认猫。你不会给他一本规则手册说"有尖耳朵、有胡须、四条腿的就是猫"。你只是不断指着各种动物告诉他"这是猫"、"这不是猫",慢慢地他自己就学会了分辨。机器学习就是这个过程的"计算机版"。
机器学习之所以重要,是因为现实世界中很多问题无法用明确的规则描述。比如"什么是垃圾邮件"——你能想到一些关键词("中奖""免费"),但垃圾邮件发送者总能找到新的方式绕过你的规则。机器学习的优势在于,它能从成千上万的样本中自动发现那些人类难以总结的模式。
| 传统编程 | 机器学习 | |
|---|---|---|
| 输入 | 数据 + 规则(人写的) | 数据 + 期望的结果(标签) |
| 输出 | 结果 | 规则(模型自己学到的) |
| 适用场景 | 规则明确、逻辑清晰 | 规则复杂、难以穷举 |
| 举例 | 计算工资 = 基本工资 × 天数 | 识别邮件是否是垃圾邮件 |
| 优势 | 精确、可控、可解释 | 能处理模糊、复杂、高维问题 |
| 劣势 | 规则写不出来就没用 | 需要大量数据,结果不完全可控 |
传统编程像是"按菜谱做菜"——你告诉厨师每一步怎么做。
机器学习像是"让厨师尝 100 道菜后自己琢磨出菜谱"——你给的是成品和评价,厨师自己总结规律。
给机器"带答案的练习题",让它学会做题。这是最常用、最成熟的机器学习类型。
就像老师给你一堆带答案的数学题,你做完后对答案,慢慢就知道怎么解题了。关键是你有"标准答案"可以对照——这就是"监督"的含义。
给机器"没有答案的数据",让它自己发现规律。没有标签,没有标准答案,机器需要自己找出数据中的结构。
把一堆水果放在桌上,没人告诉你名字,但你自己会把"红色圆的"放一堆、"黄色长的"放一堆——这就是聚类。你不知道它们叫什么,但你知道它们"长得像"。
介于监督和无监督之间——只有少量数据有标签,大部分数据没有标签。实际场景中非常常见,因为标注数据既贵又慢。
让机器在"试错"中学习,做对了给奖励,做错了给惩罚。没有现成的数据集,而是通过与环境交互来收集经验。
像训练小狗:坐下给零食(奖励),乱咬东西训斥(惩罚),小狗慢慢学会什么该做什么不该做。关键是小狗需要自己"探索"——它不知道什么动作会得到奖励,只能试。
数据不能全用来训练,否则你不知道模型学得好不好。通常这样分:
| 问题 | 表现 | 原因 | 类比 |
|---|---|---|---|
| 过拟合 | 训练集表现好,测试集表现差 | 模型太复杂,把训练数据的"噪音"也记住了 | 学生只会做原题,换个数字就不会了 |
| 欠拟合 | 训练集和测试集表现都差 | 模型太简单,没学到规律 | 学生连基本公式都没背会 |
| 刚好 | 训练集和测试集表现都好 | 模型学到了真正的规律,没被噪音干扰 | 学生理解了原理,什么题都会做 |
判断过拟合/欠拟合的方法:画学习曲线——横轴是训练数据量,纵轴是误差。如果训练误差和验证误差差距很大→过拟合;如果两条线都很高→欠拟合。
高偏差 = 箭都射偏了(但很集中)→ 系统性地偏离靶心
高方差 = 箭散得很开(但平均位置对)→ 不稳定,忽高忽低
好模型 = 箭又准又集中 → 低偏差 + 低方差
现实中很难同时做到两者都低,需要在中间找平衡。
y = wx + b 就是一个最简单的模型。模型 = 一辆车的设计图纸
参数 = 车的零件(由制造过程决定)
超参数 = 你选的配置(颜色、排量、轮胎大小——你在买车时选好的)
了解历史有助于理解为什么机器学习会发展成今天这个样子。
机器学习已经渗透到我们生活的方方面面,这里列举一些典型应用场景:
| 领域 | 应用 | 用到的技术 |
|---|---|---|
| 互联网 | 搜索引擎排序、推荐系统、广告点击率预测 | 排序学习、协同过滤、CTR 预估 |
| 金融 | 信用评分、欺诈检测、量化交易 | 分类、异常检测、时间序列 |
| 医疗 | 医学影像诊断、药物发现、基因分析 | 图像分类、图神经网络 |
| 自动驾驶 | 物体检测、路径规划、行为预测 | 计算机视觉、强化学习 |
| 自然语言 | 机器翻译、对话系统、文本摘要 | Transformer、大语言模型 |
| 工业 | 预测性维护、质量检测、供应链优化 | 时间序列、异常检测 |
别被"数学"吓到!机器学习用到的数学其实是"工具",你不需要成为数学家,只需要理解这些工具怎么用。很多人在学机器学习时被数学劝退,但实际上大部分算法你只需要理解直觉,不需要手推公式。这一章帮你建立直觉。
线性代数是机器学习的"语言",数据在计算机里就是以向量和矩阵的形式存储的。可以说,没有线性代数就没有机器学习。
这四个概念是层层递进的关系:
点积衡量两个向量的"相似程度"。如果两个向量方向一致,点积最大;方向垂直,点积为 0;方向相反,点积为负。
搜索引擎用点积来衡量"查询词"和"文档"的相关性——向量越相似,点积越大,排名越靠前。
矩阵的一种"特殊方向"——在这个方向上,矩阵只做伸缩,不改变方向。
数学定义:Av = λv,其中 A 是矩阵,v 是特征向量,λ 是特征值。意思是"矩阵 A 作用在向量 v 上,只是把 v 拉伸了 λ 倍"。
想象你揉一块橡皮泥。大多数方向上橡皮泥会变形,但总有某些方向上它只是被拉长或压扁,形状没变。那个方向就是特征向量,拉伸的倍数就是特征值。
PCA 降维就是找特征值最大的那些方向——因为它们保留了最多的信息。
| 概念 | 在 ML 中的应用 |
|---|---|
| 向量 | 数据样本的表示、词嵌入(word2vec) |
| 矩阵乘法 | 神经网络的前向传播、线性回归 |
| 转置 | 反向传播中的梯度计算 |
| 特征分解 | PCA 降维、谱聚类 |
| SVD 分解 | 推荐系统、潜在语义分析、数据压缩 |
| 范数 | 正则化(L1/L2)、距离计算 |
机器学习充满了"不确定性"——模型的预测不可能 100% 准确,数据本身也有噪声。概率统计帮我们量化和处理这种不确定性。
根据新证据更新你的判断。公式:
P(A|B) = P(B|A) × P(A) / P(B)
其中:P(A|B) 是后验概率(看到证据后的判断),P(A) 是先验概率(看到证据前的判断),P(B|A) 是似然(如果 A 为真,看到证据 B 的可能性)。
你咳嗽了(证据 B),想知道自己是不是感冒了(事件 A)。
先验 P(A):感冒的概率(比如冬天 5% 的人感冒)
似然 P(B|A):感冒的人咳嗽的概率(比如 80%)
后验 P(A|B):咳嗽了是感冒的概率——这就是贝叶斯定理帮你算的。
朴素贝叶斯分类器就是基于这个原理:分别算"属于每个类别的后验概率",选最大的。
| 分布 | 特点 | 典型应用 |
|---|---|---|
| 正态分布(高斯) | 钟形曲线,由均值和方差决定。自然界最常见。 | 身高、测量误差、很多统计方法的前提假设 |
| 伯努利分布 | 只有 0/1 两种结果,由概率 p 决定。 | 抛硬币、二分类问题 |
| 均匀分布 | 每个值的概率相等。 | 随机初始化参数、蒙特卡洛方法 |
| 泊松分布 | 描述单位时间内事件发生的次数。 | 网站访问量、客服来电数 |
| 多项式分布 | 伯努利的推广,多种结果。 | 文本分类中的词频、骰子 |
核心思想:选一组参数,使得观测到的数据出现的概率最大。
步骤:
你看到有人连续掷了 10 次硬币,有 7 次正面。MLE 会告诉你:如果硬币正面概率是 0.7,那"恰好出现 7 正 3 反"的概率就是最大的。所以 MLE 估计正面概率为 0.7——选最"合理"的解释。
线性回归的最小二乘法其实就是高斯噪声假设下的 MLE。
机器学习训练模型的过程,本质上是一个优化问题——找到一组参数,让损失函数最小。微积分提供了"找最优解"的工具。
导数就是"斜率"。在山上,斜率告诉你哪个方向最陡、往上还是往下。训练模型时,我们沿着"下坡"方向走(负梯度方向),就能找到损失函数的最低点。
梯度是偏导数组成的向量:∇f = [∂f/∂x₁, ∂f/∂x₂, ..., ∂f/∂xₙ]。它指向函数增长最快的方向。我们训练时沿负梯度方向走(下降最快的方向)。
最核心的优化算法。公式:新参数 = 旧参数 - 学习率 × 梯度
| 变体 | 每次用多少数据 | 优点 | 缺点 |
|---|---|---|---|
| 批量梯度下降(BGD) | 全部数据 | 梯度准确,收敛稳定 | 数据多时极慢,内存装不下 |
| 随机梯度下降(SGD) | 1 个样本 | 速度快,能跳出局部最优 | 梯度噪声大,收敛不稳定 |
| 小批量梯度下降(Mini-batch) | 32~512 个样本 | 速度和稳定性的最佳平衡 | 需要选择 batch size |
批量梯度下降 = 问全班同学的意见再做决定(准但慢)
随机梯度下降 = 随便问一个人就做决定(快但不靠谱)
小批量梯度下降 = 问一小群人再做决定(又快又相对靠谱)
实际中 99% 的情况都用小批量。
学习率是梯度下降中最重要的超参数之一:
损失函数的"地形"可能很复杂——有很多"坑"(局部最优),不一定能找到最深的那个"坑"(全局最优)。
信息论的一些概念在机器学习中经常出现,特别是决策树和交叉熵损失函数。
I(x) = -log₂P(x)H = -Σ P(x)·log₂P(x)抛硬币:如果硬币均匀(正反各 50%),熵最大=1 bit,最不确定。
如果硬币两面都是正面(100% 正面),熵=0,完全确定。
决策树在选择分裂特征时,就是选"分裂后熵下降最多"的特征——让分出来的组尽可能"纯"。
衡量两个概率分布之间的差异。在分类问题中,交叉熵是最常用的损失函数。
公式:H(y, ŷ) = -Σ yᵢ·log(ŷᵢ),其中 y 是真实标签,ŷ 是模型预测概率。
这些是机器学习的"经典武器库",虽然深度学习很火,但这些算法在很多实际场景中仍然是首选,因为它们简单、高效、可解释。特别是处理表格数据(结构化数据)时,经典算法往往比深度学习更好用。
回归 基础
最简单的预测方法:找到一条直线(或超平面)来拟合数据。是理解其他算法的基础。
假设数据可以用线性关系描述:ŷ = w₁x₁ + w₂x₂ + ... + wₙxₙ + b
其中:x₁~xₙ 是特征(如面积、楼层),w₁~wₙ 是权重(每个特征的重要性),b 是偏置(截距),ŷ 是预测值。
目标:找到一组 w 和 b,使得预测值 ŷ 和真实值 y 之间的差距最小。
MSE = (1/n) Σ(yᵢ - ŷᵢ)²——所有样本的"预测误差的平方"的平均值。
w = (XᵀX)⁻¹Xᵀy。一步到位,不需要迭代。但需要矩阵求逆,数据量大或特征多时计算量巨大(O(n³))。你有一堆散点(房子面积 vs 房价),线性回归就是画一条直线,让这条线"尽量穿过"所有点。新来一个房子,看它在直线上的位置就能估价。
| 变体 | 正则化类型 | 特点 | 适用场景 |
|---|---|---|---|
| 普通线性回归 | 无 | 可能过拟合 | 特征少、数据多 |
| 岭回归(Ridge) | L2 正则化 | 权重趋向于小值,不会变成 0 | 特征间有多重共线性 |
| Lasso | L1 正则化 | 能把部分权重压成 0,自动特征选择 | 特征多、需要筛选 |
| 弹性网络 | L1 + L2 | 结合两者优点 | 特征多且有相关性 |
分类 基础
虽然名字里有"回归",但它其实是个分类算法!名字的由来是因为它用了"逻辑函数"(Sigmoid)来把回归的输出映射到概率。
在线性回归基础上套一个 Sigmoid 函数:P(y=1|x) = σ(wᵀx + b)
Sigmoid 函数:σ(z) = 1 / (1 + e⁻ᶻ)——把任意实数压缩到 0~1 之间,可以解释为概率。
z = wᵀx + b,和线性回归一样算出一个值p = 1/(1+e⁻ᶻ),把 z 压缩到 0~1L = -[y·log(ŷ) + (1-y)·log(1-ŷ)]
线性回归告诉你"这个值是多少",逻辑回归告诉你"这件事发生的概率有多大"。比如输出 0.8 表示"80% 的概率是垃圾邮件"。
逻辑回归本身只能做二分类。扩展到多分类有两种方式:
通过一系列"是/否"问题来做决策,就像一棵倒着的树。是最直观、最容易理解的算法之一。
核心问题:每次选哪个特征、用什么阈值来分裂?目标是让分裂后的子节点"尽可能纯"——即每个节点里的样本尽可能属于同一类。
你判断一个人会不会买电脑:
第一步:年龄 > 30?→ 是 → 不太可能买
第一步:年龄 > 30?→ 否 → 第二步:是学生?→ 是 → 很可能买
这个"判断流程"就是一棵决策树。
| 优点 | 缺点 |
|---|---|
| 非常直观,容易理解和解释 | 容易过拟合(把噪音也记住了) |
| 不需要特征缩放 | 对数据微小变化敏感(不稳定) |
| 能处理数值和类别特征 | 贪心算法,不保证全局最优 |
| 能捕捉非线性关系 | 对不平衡数据表现不好 |
"三个臭皮匠,顶个诸葛亮"——随机森林就是一堆决策树投票。通过引入随机性来解决单棵决策树不稳定和容易过拟合的问题。
你问 100 个医生"我这是什么病",每个医生看的检查报告不完全一样(随机特征),最后取投票结果。比只问一个医生靠谱得多——因为个体的偏见被"平均"掉了。
| 超参数 | 含义 | 建议值 |
|---|---|---|
| n_estimators | 树的数量 | 100~500,越多越好但有边际递减 |
| max_depth | 每棵树的最大深度 | None(不限制)或 10~30 |
| max_features | 每次分裂考虑的特征数 | 分类用 √p,回归用 p/3 |
| min_samples_split | 分裂所需最小样本数 | 2~10 |
| min_samples_leaf | 叶节点最小样本数 | 1~5 |
找到一条"最宽的马路"把两类数据分开。在深度学习流行之前,SVM 是最强大的分类算法之一。
有很多条直线都能把两类数据分开,但 SVM 找的是间隔最大化的那条——即两类数据到分界线的最小距离最大的那条。
桌子上混着红豆和绿豆,你拿一根筷子(直线)把它们分开。SVM 找的是"离红豆和绿豆都最远"的那根筷子位置——这样新来的豆子放错位置的概率最小。
现实数据往往不是完美可分的——总有一些点混在一起。软间隔允许少量"违规"点存在,但会给它们一个惩罚。用参数 C 控制惩罚力度:
当数据线性不可分时(在原始空间找不到直线分开),把数据映射到更高维的空间,让它变得可分。
| 核函数 | 特点 | 适用场景 |
|---|---|---|
| 线性核 | 不映射,直接在原始空间分 | 特征多、数据线性可分 |
| 多项式核 | 映射到多项式空间 | 特征交互重要 |
| RBF 核(高斯核) | 映射到无限维空间 | 最常用,适合非线性数据 |
| Sigmoid 核 | 类似神经网络 | 少用 |
红豆和绿豆在桌上混在一起,直线分不开。但你用力一拍桌子,豆子弹到空中——从侧面看,它们就分开了!"拍桌子"这个动作就是核函数,把低维空间的数据映射到高维空间。
| 优点 | 缺点 |
|---|---|
| 在小数据集上表现好 | 大数据集训练慢(O(n²)~O(n³)) |
| 核技巧能处理非线性问题 | 对特征缩放敏感 |
| 理论基础扎实(统计学习理论) | 不直接给出概率(需要 Platt 缩放) |
| 高维数据表现好 | 参数调优(C、核函数、γ)较复杂 |
"物以类聚"——看一个新数据的 K 个邻居是谁,它就属于多数的那个类。这是最简单的机器学习算法之一,甚至不需要"训练"。
d = √Σ(xᵢ-yᵢ)²d = Σ|xᵢ-yᵢ|你搬到一个新小区,想知道这里房价贵不贵。最简单的办法:看看你邻居们的房子值多少钱。如果 5 个最近的邻居里 4 个都说贵,那这里大概率是贵的。
| 优点 | 缺点 |
|---|---|
| 极其简单,不需要训练 | 预测时需要计算和所有样本的距离,大数据集极慢 |
| 天然支持多分类 | 对高维数据效果差(维度灾难) |
| 不需要假设数据分布 | 对特征缩放敏感 |
| 可以捕捉复杂决策边界 | 对不平衡数据敏感 |
基于贝叶斯定理,假设所有特征之间"互相独立"。虽然这个假设在现实中几乎不成立,但朴素贝叶斯在实践中效果出奇地好。
对于一个新样本 x = [x₁, x₂, ..., xₙ],分别计算它属于每个类别的后验概率,选最大的:
P(y|x) ∝ P(y) × P(x₁|y) × P(x₂|y) × ... × P(xₙ|y)
P(y):先验概率——这个类别有多常见P(xᵢ|y):似然——如果属于这个类别,看到这个特征值的概率| 变体 | 假设分布 | 适用场景 |
|---|---|---|
| 高斯朴素贝叶斯 | 特征服从正态分布 | 连续特征 |
| 多项式朴素贝叶斯 | 特征服从多项式分布 | 文本分类(词频) |
| 伯努利朴素贝叶斯 | 特征服从伯努利分布 | 二值特征(有/没有) |
把多个"弱模型"组合成一个"强模型"。核心思想:单个模型可能犯错,但多个模型一起投票,错误就被"平均"掉了。
| 策略 | 核心思想 | 代表算法 | 类比 | 模型关系 |
|---|---|---|---|---|
| Bagging | 并行训练多个模型,投票/平均 | 随机森林 | 多个独立评审打分取平均 | 独立并行 |
| Boosting | 串行训练,后一个修正前一个的错误 | AdaBoost, GBDT, XGBoost, LightGBM | 学生做完题,老师批改,针对错题再练 | 串行依赖 |
Boosting 的核心代表。每一棵新树都在"拟合前面所有树的残差"(预测错误的部分)。
GBDT 的高效实现,工业界和竞赛中的"大杀器"。相比原生 GBDT 的改进:
微软出品,比 XGBoost 更快。核心改进:
最早的 Boosting 算法。核心思想:给每个样本一个权重,分类错误的样本权重增大,下一棵树重点关注权重大的样本。最终预测是所有树的加权投票。
把数据分成 K 个组,每组的中心点就是"聚类中心"。最经典的聚类算法。
基于密度的聚类算法。核心思想:密度高的区域是一个簇,密度低的区域是噪声。
优点:能发现任意形状的簇、自动处理噪声、不需要指定 K。
缺点:对 ε 和 MinPts 参数敏感、高维数据效果差。
把高维数据"压缩"到低维,同时尽量保留信息。是最经典的降维方法。
你给一群人拍正面照和侧面照。PCA 会告诉你"正面照比侧面照更能区分不同的人",所以保留正面照就够了,侧面照可以扔掉——信息损失不大,但数据量减半。
| 方法 | 类型 | 特点 | 适用场景 |
|---|---|---|---|
| PCA | 线性 | 快速、可解释 | 数据预处理、去相关 |
| t-SNE | 非线性 | 保留局部结构,可视化效果好 | 高维数据可视化 |
| UMAP | 非线性 | 比 t-SNE 更快,保留全局结构 | 大数据可视化 |
| LDA | 线性(有监督) | 最大化类间距离 | 分类前的降维 |
面对一个实际问题,该选哪个算法?这里给你一个实用的选择框架:
深度学习是机器学习的一个子领域,使用多层神经网络来学习数据的复杂表示。它在图像、语音、自然语言等领域取得了突破性进展,是当前 AI 热潮的核心驱动力。
人工神经元模仿了生物神经元的工作方式:接收多个输入信号,加权求和,如果超过某个阈值就"激活"(输出信号)。
神经网络像一个工厂流水线:
原材料(输入)→ 第一道工序:清洗(隐藏层 1,提取低级特征如边缘)→ 第二道工序:切割(隐藏层 2,提取中级特征如纹理)→ 第三道工序:组装(隐藏层 3,提取高级特征如物体)→ 成品(输出)
每道工序都在上一步的基础上加工,越到后面提取的特征越抽象。
激活函数给神经网络引入"非线性"。如果没有激活函数,无论多少层网络都等价于一层线性变换——无法学习复杂模式。
| 函数 | 公式 | 输出范围 | 优缺点 |
|---|---|---|---|
| Sigmoid | 1/(1+e⁻ˣ) | (0, 1) | 输出可解释为概率;但两端梯度接近 0(梯度消失),训练深层网络很慢 |
| Tanh | (eˣ-e⁻ˣ)/(eˣ+e⁻ˣ) | (-1, 1) | 零中心化,比 Sigmoid 好;但仍有梯度消失问题 |
| ReLU | max(0, x) | [0, +∞) | 计算极快、缓解梯度消失、稀疏激活;是目前隐藏层最常用的选择 |
| Leaky ReLU | max(0.01x, x) | (-∞, +∞) | 解决 ReLU 的"死神经元"问题(负区间梯度不为 0) |
| GELU | x·Φ(x) | (-∞, +∞) | Transformer 中常用,比 ReLU 更平滑 |
| Swish | x·σ(x) | (-∞, +∞) | Google 提出,效果略优于 ReLU |
训练神经网络的核心算法。前向传播算出预测值,反向传播算出梯度,然后更新参数。
w = w - 学习率 × 梯度。沿梯度反方向走一小步像考试后"追溯责任":最后一题错了(损失大),是因为倒数第二步算错了(输出层参数有问题),而那步是因为第一步公式用错了(隐藏层参数有问题)——从后往前一层层找出"谁该背锅",然后纠正。链式法则就是这个"追溯"的数学工具。
梯度下降有很多改进版本,统称"优化器":
| 优化器 | 核心思想 | 特点 |
|---|---|---|
| SGD | 最基本的梯度下降 | 简单但收敛慢,容易卡在鞍点 |
| SGD + Momentum | 加入"动量",累积历史梯度方向 | 加速收敛,能冲过小的局部最优 |
| AdaGrad | 自适应学习率,梯度大的参数学习率小 | 适合稀疏数据,但学习率会越来越小 |
| RMSProp | 用指数移动平均修正 AdaGrad | 解决学习率衰减过快的问题 |
| Adam | Momentum + RMSProp | 最常用,自适应学习率+动量,默认 lr=0.001 |
| AdamW | Adam + 权重衰减解耦 | Transformer 训练的首选,正则化效果更好 |
CNN 是处理图像的"标配",核心思想是局部感知 + 权重共享。它模仿了人类视觉系统的工作方式——先看局部细节,再组合成整体理解。
一张 224×224 的彩色图片有 224×224×3 = 150,528 个像素。如果用全连接网络,第一个隐藏层有 1000 个神经元,那仅第一层就有 1.5 亿个参数——太多了,既慢又容易过拟合。
CNN 通过两个关键思想解决了这个问题:
看一幅画:
卷积层 = 你先看局部细节——眼睛、鼻子、嘴巴、衣服纹理
池化层 = 你不需要记住每个像素,只需要关键信息
全连接层 = 综合所有细节,判断"这是一幅肖像画"
| 网络 | 年份 | 深度 | 关键创新 | 意义 |
|---|---|---|---|---|
| LeNet-5 | 1998 | 5 层 | 卷积+池化+全连接 | CNN 的开山之作,用于手写数字识别 |
| AlexNet | 2012 | 8 层 | ReLU、Dropout、GPU 训练 | ImageNet 冠军,引爆深度学习革命 |
| VGGNet | 2014 | 16/19 层 | 只用 3×3 小卷积核堆叠 | 证明了"深度"很重要 |
| GoogLeNet | 2014 | 22 层 | Inception 模块(多尺度并行卷积) | 用更少参数达到更好效果 |
| ResNet | 2015 | 50/101/152 层 | 残差连接(跳跃连接) | 解决了深层网络退化问题,里程碑式工作 |
| EfficientNet | 2019 | 可变 | 同时优化深度、宽度、分辨率 | 效率和精度的最佳平衡 |
当网络太深时,训练误差反而会增大——不是过拟合,而是梯度在传播过程中消失。ResNet 的解决方案:让信息可以"跳过"某些层直接传递。
公式:输出 = F(x) + x——不是学习完整的映射 H(x),而是学习"残差" F(x) = H(x) - x。
你在一个很长的流水线上工作。如果每个环节都必须完美传递信息,到最后一环信息可能已经丢失了。残差连接就像在流水线上加了"直通通道"——即使某个环节出了问题,信息也能直接传到后面。
处理有"先后顺序"的数据(文本、语音、时间序列)。CNN 假设输入是固定大小且无序的,但序列数据的长度可变且顺序很重要。
核心思想:每个时间步的输出不仅取决于当前输入,还取决于之前的"隐藏状态"(记忆)。
公式:hₜ = tanh(Wₓₓ·xₜ + Wₕₕ·hₜ₋₁ + b)
hₜ:当前时刻的隐藏状态(记忆)xₜ:当前时刻的输入hₜ₋₁:上一时刻的隐藏状态RNN 像读一本书:每读一个字,你会结合前面的内容来理解。但问题是你读到第 100 页时,可能已经忘了第 1 页写了什么——这就是"长距离依赖"问题。
RNN 的核心问题:反向传播时,梯度需要在时间步之间连乘。如果每一步的梯度 < 1,连乘后趋近于 0(梯度消失);如果 > 1,连乘后趋近于无穷(梯度爆炸)。
RNN 的升级版,通过三个"门"和一个"细胞状态"来解决梯度消失问题。
f = σ(W·[hₜ₋₁, xₜ])。输出 0~1,0=完全遗忘,1=完全保留。i = σ(W·[hₜ₋₁, xₜ])。同时生成候选新信息 C̃ = tanh(W·[hₜ₋₁, xₜ])。Cₜ = f⊙Cₜ₋₁ + i⊙C̃。旧记忆×遗忘门 + 新信息×输入门。细胞状态可以无损地传递很远。o = σ(W·[hₜ₋₁, xₜ]),hₜ = o⊙tanh(Cₜ)。从细胞状态中选出当前需要的信息输出。LSTM 像一个有筛选能力的笔记本:
遗忘门 = 用橡皮擦掉不重要的笔记
输入门 = 用笔写下新的重要信息
细胞状态 = 笔记本本身(可以长期保存信息)
输出门 = 决定现在要看笔记本上的哪些内容
LSTM 的简化版,只有两个门(重置门和更新门),参数更少,训练更快。效果通常和 LSTM 差不多。
同时从前往后和从后往前读序列,把两个方向的隐藏状态拼接。这样每个位置都能看到完整的上下文。BERT 就是双向的。
2017 年 Google 论文《Attention is All You Need》提出的 Transformer 彻底改变了深度学习。它是 GPT、BERT、Claude 等所有现代大模型的基础。
核心思想:让序列中的每个位置都能"看到"其他所有位置,并根据相关性分配不同的"注意力权重"。
计算过程:
score = Q·Kᵀ / √dₖ。Q 和所有 K 做点积,衡量"相关性"。除以 √dₖ 防止分数过大output = softmax(score)·V。用注意力权重对 V 加权求和,得到每个位置的新表示Q(查询) = 你的问题("我想找关于机器学习的书")
K(键) = 每本书的标签("计算机"、"历史"、"烹饪"……)
V(值) = 每本书的实际内容
你用 Q 去匹配所有书的 K,找到最相关的几本,然后读取它们的 V。自注意力做的就是这件事。
同时用多组(通常 8 或 16 组)Q、K、V,每组叫一个"注意力头"。不同的头关注不同的方面——有的关注语法关系,有的关注语义相似性,有的关注位置关系。最后把所有头的输出拼接起来。
| 对比 | RNN / LSTM | Transformer |
|---|---|---|
| 长距离依赖 | 信息需要逐步传递,容易丢失 | 每个位置直接看到所有位置 |
| 并行计算 | 必须按顺序处理,无法并行 | 所有位置同时计算,充分利用 GPU |
| 训练速度 | 慢(序列越长越慢) | 快(但注意力复杂度是 O(n²)) |
| 可解释性 | 隐状态难以解释 | 注意力权重可视化,可解释 |
现代深度学习的主流范式:先在大规模数据上预训练一个通用模型,再在具体任务上用少量数据微调。
预训练 = 从小学到大学的通识教育。学语文、数学、物理、历史……什么都知道一点,但什么都不精。
微调 = 研究生阶段的专业训练。选了一个方向(比如医学),专门学习这个领域的知识和技能。
一个刚预训练完的模型,就像一个什么都懂一点的大学毕业生。微调让它变成某个领域的专家。
| 模型 | 架构 | 擅长什么 | 代表模型 |
|---|---|---|---|
| 仅编码器 | 双向 Transformer | 理解文本(分类、搜索、问答) | BERT、RoBERTa |
| 仅解码器 | 单向 Transformer | 生成文本(对话、写作、编程) | GPT、LLaMA、Claude |
| 编码器-解码器 | 两个都用 | 序列到序列(翻译、摘要) | T5、BART |
深度学习的模型效果很大程度取决于超参数的选择。这里总结一些实用经验:
模型训练完了,怎么知道它好不好?怎么让它更好?这一章解决这两个问题。评估和调优是机器学习工程中最重要的环节之一——选对评估指标比选对模型更重要。
先理解混淆矩阵——所有分类指标都从它派生:
| 预测为正 | 预测为负 | |
|---|---|---|
| 实际为正 | 真正例 TP(True Positive) | 假负例 FN(漏报) |
| 实际为负 | 假正例 FP(误报) | 真负例 TN |
| 指标 | 公式 | 含义 | 适用场景 |
|---|---|---|---|
| 准确率 | (TP+TN) / 全部 | 预测正确的比例 | 类别均衡时好用;不平衡时有误导性 |
| 精确率 | TP / (TP+FP) | 预测为正的里面,真正为正的比例 | 关注"误报"时(如垃圾邮件检测:宁可漏掉也不能误判正常邮件) |
| 召回率 | TP / (TP+FN) | 真正为正的里面,被预测出来的比例 | 关注"漏报"时(如癌症检测:宁可误报也不能漏诊) |
| F1 分数 | 2·P·R / (P+R) | Precision 和 Recall 的调和平均 | 需要平衡精确率和召回率 |
| AUC-ROC | ROC 曲线下面积 | 模型对正负样本的排序能力 | 不依赖阈值选择,适合比较不同模型 |
| 对数损失 | -Σ[y·log(p)+(1-y)·log(1-p)] | 预测概率和真实标签的差距 | 需要概率输出时(如风控评分) |
精确率 = 抓到的人里有多少真正是小偷(别冤枉好人)
召回率 = 所有小偷里抓到了多少(别放过坏人)
这两个指标往往矛盾——你想一个都不漏(高召回),就可能误抓好人(低精确)。F1 是两者的平衡。
| 指标 | 公式 | 特点 |
|---|---|---|
| MSE | Σ(ŷ-y)²/n | 对大误差敏感(平方放大),最常用 |
| RMSE | √MSE | 和原始数据同单位,更直观 |
| MAE | Σ|ŷ-y|/n | 对异常值更稳健 |
| R² 分数 | 1 - SS_res/SS_tot | 模型解释了多少数据变化。=1 完美,=0 等于取均值 |
| MAPE | Σ|ŷ-y|/|y|/n | 百分比误差,适合比较不同量级的数据 |
数据不够多时,怎么可靠地评估模型?用交叉验证!
模型有一些"旋钮"(超参数)需要手动调节。选对超参数,模型效果可能天差地别。
| 方法 | 原理 | 优缺点 | 适用场景 |
|---|---|---|---|
| 手动调参 | 凭经验和直觉 | 快但不系统,容易遗漏 | 初期探索 |
| 网格搜索 | 穷举所有参数组合 | 全面但慢,参数多时组合爆炸 | 参数少(2-3 个) |
| 随机搜索 | 随机采样 N 组参数 | 比网格搜索快,效果也不错 | 参数多时的首选 |
| 贝叶斯优化 | 根据历史结果智能选择下一组参数 | 最高效,但实现较复杂 | 每次评估很贵时(如深度学习) |
| Hyperband | 早停 + 多臂老虎机 | 快速淘汰差的配置 | 搜索空间大时 |
模型不应该是"黑箱"——在金融、医疗等领域,你必须解释"为什么模型做出了这个预测"。
| 方法 | 类型 | 原理 | 适用模型 |
|---|---|---|---|
| 特征重要性 | 全局 | 每个特征对模型预测的贡献排名 | 树模型(自带) |
| SHAP | 全局+局部 | 用博弈论计算每个特征的边际贡献 | 任意模型 |
| LIME | 局部 | 在预测点附近用简单模型做局部近似 | 任意模型 |
| 部分依赖图 | 全局 | 展示某个特征和预测结果的关系 | 任意模型 |
| 注意力可视化 | 局部 | 展示 Transformer 的注意力权重 | Transformer 模型 |
正则化是防止过拟合的一系列技术。核心思想:在损失函数中加入"惩罚项",限制模型复杂度。
L_total = L_data + λ·Σ|wᵢ|——惩罚权重的绝对值之和。
L_total = L_data + λ·Σwᵢ²——惩罚权重的平方和。
训练时随机"关闭"一部分神经元(以概率 p 设为 0),测试时全部开启但权重乘以 (1-p)。
通过变换现有数据来"创造"新的训练样本。
模型只是机器学习的冰山一角。在实际工作中,80% 的时间花在数据处理和工程上,只有 20% 在建模。一个真实 ML 项目的典型时间分配:
"Garbage in, garbage out"——数据质量决定模型上限。再好的模型也救不了垃圾数据。
| 方法 | 做法 | 优缺点 | 适用场景 |
|---|---|---|---|
| 删除行 | 去掉有缺失值的样本 | 简单但可能丢失信息 | 缺失比例很小(<5%) |
| 删除列 | 去掉缺失太多的特征 | 简单但可能丢失重要特征 | 某特征缺失 >50% |
| 均值/中位数填充 | 用该特征的统计量填充 | 简单但会低估方差 | 数值特征,缺失随机 |
| 众数填充 | 用出现最多的值填充 | 适合类别特征 | 类别特征 |
| 模型预测填充 | 用其他特征预测缺失值 | 准确但计算量大 | 缺失值和特征有强相关 |
| 标记为缺失 | 新增一个"是否缺失"的特征 | 保留"缺失"本身的信息 | 缺失本身有意义时 |
| 方法 | 公式 | 特点 | 适用场景 |
|---|---|---|---|
| 标准化(Z-score) | (x - μ) / σ | 均值为 0,方差为 1。不改变分布形状 | 数据近似正态分布时 |
| 归一化(Min-Max) | (x - min) / (max - min) | 压缩到 [0, 1]。对异常值敏感 | 需要固定范围时(如图像像素) |
| 鲁棒缩放 | (x - 中位数) / IQR | 用中位数和四分位距,不受异常值影响 | 数据有异常值时 |
| 对数变换 | log(x) | 压缩右偏分布 | 长尾分布(如收入、房价) |
| 方法 | 做法 | 适用场景 | 注意事项 |
|---|---|---|---|
| Label Encoding | 红=0, 绿=1, 蓝=2 | 有序类别(如学历:小学<初中<高中) | 无序类别不要用,会引入虚假的大小关系 |
| One-Hot Encoding | 红=[1,0,0], 绿=[0,1,0] | 无序类别(如颜色、城市) | 类别太多时维度爆炸 |
| Target Encoding | 用该类别的目标变量均值替换 | 高基数类别特征 | 需要防止数据泄露(用交叉验证) |
| Frequency Encoding | 用该类别的出现频率替换 | 高基数类别特征 | 简单但丢失类别信息 |
好的特征比好的模型更重要。特征工程是从原始数据中"提炼"出对模型有用的输入——这是机器学习中最需要经验和创造力的环节。
特征工程就像烹饪前的食材处理:土豆要削皮、肉要切块、蔬菜要洗净。原材料处理得好,怎么做都好吃;处理得不好,再好的厨艺也救不了。
不是特征越多越好——无关特征会引入噪声,增加计算量。特征选择的目标:找到最有用的特征子集。
| 方法 | 原理 | 优缺点 |
|---|---|---|
| 过滤法 | 用统计指标(相关系数、卡方检验、互信息)给每个特征打分,选分数高的 | 快但没考虑特征间的交互 |
| 包裹法 | 用模型的性能作为评价标准,逐步添加/删除特征 | 效果好但计算量大 |
| 嵌入法 | 模型训练时自动选出重要特征(如 Lasso、树模型的特征重要性) | 效果好、计算量适中 |
模型训练好了,怎么让别人用上?部署是把模型从"实验室"搬到"生产环境"的过程。
机器学习的"DevOps"——让模型的开发、部署、监控形成闭环。MLOps 解决的问题:模型不是训练完就结束了,它需要持续维护。
这些是实际项目中最常犯的错误,提前知道能省很多时间:
掌握基础后,可以根据兴趣选择深入的方向。每个方向都可以深耕多年。
让机器理解和生成人类语言。NLP 是当前 AI 最活跃的领域之一。
| 任务 | 描述 | 技术 | 应用 |
|---|---|---|---|
| 文本分类 | 给文本打标签 | BERT、CNN、RNN | 情感分析、垃圾邮件检测、新闻分类 |
| 命名实体识别 | 从文本中提取人名、地名等 | BiLSTM-CRF、BERT | 信息抽取、知识图谱 |
| 机器翻译 | 一种语言翻译成另一种 | Transformer、Seq2Seq | Google 翻译、DeepL |
| 文本生成 | 根据提示生成文本 | GPT、LLaMA、Claude | 对话、写作、编程 |
| 问答系统 | 根据上下文回答问题 | BERT + 抽取式、RAG | 智能客服、搜索引擎 |
| 文本摘要 | 把长文本压缩成短摘要 | Seq2Seq、Transformer | 新闻摘要、会议纪要 |
2020 年以来,NLP 进入了"大模型时代"。模型参数从几亿增长到几千亿,涌现出很多小模型没有的能力。
让 LLM 结合外部知识库回答问题。核心流程:
优势:让 LLM 能回答私有数据的问题,减少"幻觉",回答有据可查。
让机器"看懂"图像和视频。
| 任务 | 描述 | 技术 | 应用 |
|---|---|---|---|
| 图像分类 | 识别图片中的物体类别 | CNN、ViT | 人脸识别、医学影像 |
| 目标检测 | 找出物体的位置和类别 | YOLO、Faster R-CNN | 自动驾驶、安防监控 |
| 语义分割 | 像素级分类 | U-Net、DeepLab | 医学影像、卫星遥感 |
| 图像生成 | 从文本或噪声生成图像 | GAN、Diffusion Model | Stable Diffusion、DALL-E |
| 视频理解 | 理解视频内容 | 3D CNN、Video Transformer | 视频推荐、行为识别 |
当前最火的图像生成技术。核心思想:
代表模型:Stable Diffusion、DALL-E、Midjourney。
让机器在环境中通过试错来学习最优策略。
| 算法 | 类型 | 核心思想 | 应用 |
|---|---|---|---|
| Q-Learning | 基于价值 | 学习每个"状态-动作"对的价值 | 简单游戏、迷宫 |
| DQN | 基于价值(深度) | 用神经网络近似 Q 函数 | Atari 游戏 |
| Policy Gradient | 基于策略 | 直接优化策略函数 | 连续动作空间 |
| PPO | Actor-Critic | 限制策略更新幅度,训练稳定 | ChatGPT 的 RLHF、机器人 |
| SAC | Actor-Critic | 最大化奖励的同时最大化策略熵 | 机器人控制 |
让 LLM 的回答更符合人类偏好。ChatGPT 就是用 RLHF 训练出来的:
根据用户的历史行为和偏好,推荐用户可能感兴趣的内容。是互联网公司最核心的技术之一。
处理图结构数据(社交网络、分子结构、知识图谱)。核心思想:每个节点通过聚合邻居节点的信息来更新自己的表示。
多方协作训练模型,但数据不出本地。比如多家医院想合作训练一个疾病诊断模型,但各自的数据不能共享。联邦学习让各方在本地训练,只共享模型参数更新。
自动选择模型和超参数。从数据预处理、特征工程、模型选择到超参数调优,全部自动化。
同时处理文本、图像、音频等多种数据。比如 GPT-4V 既能看图又能回答问题,CLIP 能同时理解图像和文本。
让 AI 自主完成复杂任务——不是回答问题,而是规划、执行、调整。Agent 能使用工具(搜索、代码执行、API 调用),有记忆系统,能处理多步骤任务。是当前 AI 最前沿的方向之一。
| 类型 | 资源 | 说明 |
|---|---|---|
| 入门课程 | 吴恩达《机器学习》(Coursera) | 经典入门课,通俗易懂,数学要求低 |
| 深度学习 | 吴恩达《深度学习专项课程》 | 系统讲解深度学习,5 门课 |
| 经典教材 | 《统计学习方法》(李航) | 偏数学推导,国内经典,适合打基础 |
| 经典教材 | 《机器学习》(周志华·西瓜书) | 覆盖面广,适合中文读者入门 |
| 深度学习 | 《动手学深度学习》(d2l.ai) | 有代码有讲解,交互式,强烈推荐 |
| 深度学习 | 《深度学习》(花书,Goodfellow) | 深度学习的"圣经",偏理论 |
| 实战 | Kaggle 竞赛 | 真实数据、真实问题、排行榜激励、社区讨论 |
| 视频 | 3Blue1Brown 系列 | 用动画讲数学和神经网络,直觉极好 |
| NLP | Hugging Face NLP 课程 | 免费,从基础到 Transformer |
| 工具 | 用途 |
|---|---|
NumPy | 数值计算基础库,矩阵运算必备 |
Pandas | 数据处理与分析,DataFrame 操作 |
Matplotlib / Seaborn | 数据可视化 |
Scikit-learn | 经典机器学习算法(一行代码一个模型) |
PyTorch | 深度学习框架,当前最流行,灵活易用 |
TensorFlow / Keras | 深度学习框架,部署生态好 |
Hugging Face | 预训练模型库,NLP/CV 模型一站式 |
MLflow | 实验跟踪与模型管理 |
Optuna | 超参数调优框架(贝叶斯优化) |
Docker | 模型部署容器化 |
机器学习的本质就是:用数据驱动的方式,让机器自动发现规律并做出预测。
机器学习完整大纲 · 从零开始的入门指南 · 2026
仅供学习与参考