殘差在數理統計中是指實際觀察值與估計值（擬合值）之間的差。“殘差”蘊含了有關模型基本假設的重要信息。如果回歸模型正確的話， 我們可以將殘差看作誤差的觀測值。
它應符合模型的假設條件，且具有誤差的壹些性質。利用殘差所提供的信息，來考察模型假設的合理性及數據的可靠性稱為殘差分析。
有多少對數據，就有多少個殘差。殘差分析就是通過殘差所提供的信息，分析出數據的可靠性、周期性或其它幹擾。
普通殘差
設線性回歸模型為
其中Y是由響應變量構成的n維向量，X是
階設計矩陣，β是p+1維向量，ε是n維隨機變量。
回歸系數的估計值
，擬合值
為
，其中
，稱H為帽子矩陣。殘差為
這解釋了帽子矩陣與殘差的關系，因為殘差可以通過帽子矩陣與真實值得出。
在回歸分析中，測定值與按回歸方程預測的值之差，以δ表示。殘差δ遵從正態分布N(0，σ2)。（δ-殘差的均值）/殘差的標準差，稱為標準化殘差，以δ*表示。δ*遵從標準正態分布N(0，1)。實驗點的標準化殘差落在(-2，2)區間以外的概率≤0.05。若某壹實驗點的標準化殘差落在(-2，2)區間以外，可在95%置信度將其判為異常實驗點，不參與回歸直線擬合。
顯然，有多少對數據，就有多少個殘差。殘差分析就是通過殘差所提供的信息，分析出數據的可靠性、周期性或其它幹擾。
殘差分析（residual analysis）就是通過殘差所提供的信息，分析出數據的可靠性、周期性或其它幹擾 。用於分析模型的假定正確與否的方法。所謂殘差是指觀測值與預測值（擬合值）之間的差，即是實際觀察值與回歸估計值的差。在回歸分析中，測定值與按回歸方程預測的值之差，以δ表示。殘差δ遵從正態分布N(0，σ2)。
（δ-殘差的均值）/殘差的標準差，稱為標準化殘差，以δ*表示。δ*遵從標準正態分布N(0，1)。實驗點的標準化殘差落在(-2，2)區間以外的概率≤0.05。若某壹實驗點的標準化殘差落在(-2，2)區間以外，可在95%置信度將其判為異常實驗點，不參與回歸線擬合。顯然，有多少對數據，就有多少個殘差。