线性回归

机器学习初步

• 有监督和无监督区别, 一个有标签一个无标签
• 机器学习的目的, 寻找一个模式
• 与环境进行交互, 有一个反馈
  有监督分为两类问题
• 主要任务是分类和回归
  降维也是无监督的学习
  每一行是一个样本, 每一列是一个特征(属性维度)
  
• 线性回归
  
  多变量情形
  
  
  损失函数
  平方损失函数
  指数损失函数
  交叉熵损失
  
  给定一个损失函数, 就是与给定标准答案的差异度有多大, 我才能去优化这个差距
  损失函数会贯穿 Machine Learning 的全程
  优化目标: 最小化损失函数
  
  在给定的损失函数下, 如何找到最低点?此时对应着拟合函数是最优的.
  
  学习率: 迭代的步长
  
  超参数
  就是最初的 theta,
  如果是多元--就是沿着等高线的垂直方向是最快的
  
  模型一般两个状态, 一个是过拟合, 一个是欠拟合
  
• 正则化
  正则化: 控制参数幅度, 不让模型无法无天
  限制参数搜索空间
  

线性回归

原文：https://www.cnblogs.com/jly1/p/12141650.html