杜甫和房琯關系很好，房琯被免去宰相時（當時長安尚未收復），他上書反對，結果觸怒了皇帝，還是靠另壹位宰相張鎬救下來的。第二年收復長安後，肅宗清算房琯壹黨時，被壹並貶斥。
《新唐書》中的記載比《舊唐書》更詳細些：
與房琯為布衣交，琯時敗兵，又以琴客董廷蘭之故罷相，甫上疏言：“罪細不宜免大臣。”帝怒，詔三司雜問。宰相張鎬曰：“甫若抵罪，絕言者路。”帝解，不復問。時所在寇奪，甫家寓鄜，彌年艱窶，孺弱至餓死，因許甫自往省視。從還京師，出為華州司功參軍。關輔饑，輒棄官去。
房琯大敗的時候，杜甫還陷在安史叛軍控制的長安，關於這次戰敗有詩《悲陳陶》《悲青阪》。觸怒肅宗後請假回家時候，有名篇《北征》《羌村三首》。收復長安後，他直接從家到長安，被免職前有《早朝大明宮》（和賈至、王維、岑參等唱和）《曲江二首》等詩。