线性回归属于回归问题。所谓回归(regression),用已知样本对未知公式参数的估计。线性回归(linear regression):回归的一种,回归函数是一次函数
linear regression
线性回归
回归问题不同于分类,回归的目的使预测目标的数值。以电影为例,内地上映几部爱情电影,小红让小明帮忙从几部电影中买电影票,小明希望买到小红满意的电影,如果已知小红对爱情电影的评分公式可能为: 分数 = 3演员颜值 + 5甜蜜程度 + 2*剧情,那么小明就可以轻松判断出小红喜欢看的是哪一部,该评分公式就是所谓的回归方程,而所乘的系数为回归系数。但现实情况往往是小明并不知道小红的评分公式,但小明可以根据以往和小红一起看电影的情况,去估计出一组回归系数,用于接下来的预测。
cost function(如何评判回归系数的好坏?)
线性回归方程可表示为:
$$\hat y=\omega^Tx+b$$
小明根据以往于小红看电影的情况估计出了小红的评分公式,此公式准确意味着用此公式给电影打分,与小红给电影打分基本一致,因此可用 cost function (损失函数)表示模型的好坏,$cost = \sum_{i=1}^{m}(y_i-\hat y_i)^2$,从函数可看出,公式越准确,cost function 越小,cost function 的几何意义为预测值到真实值之间的欧式距离。