线性判据与回归

线性判据基本概念

• 生成模型
  
• 判别模型
  
• 优势：快速、直接省去了耗时的高维观测似然概率估计

最简单的判别模型

• 线性判据
  定义：
  
  数学表达：
  
  决策边界方程：
  
  任意样本到决策边界的距离：
  

线性判据学习概述

• 目标函数
  
• 约束条件
  

并行感知机算法

• 预处理
  
  几何解释
  
• 目标函数
  
• 梯度下降法
  
• 参数更新
  

总结

算法流程：

串行感知机

• 概述：
  
• 流程
  
• 步长与收敛性

• Fisher 线性判据
  
• 目标函数
  
  优化
  
• 最优参数解
  
• 决策边界方程
  

支持向量机基本概念

• 概念
  
• 重新表达
  
• 支持向量
  
  间隔计算
  
• 目标函数
  

拉格朗日乘数法

• 拉格朗日函数（等式约束）
  
• 不等式约束
  情况1
  
  情况2
  

拉格朗日对偶问题

支持向量机学习算法

1）构建拉格朗日函数

2）构建对偶函数

• 决策过程
  

第四章 线性判据与回归

原文：https://www.cnblogs.com/sy57/p/12826237.html