後來，房玄齡又監修國史《晉書》，房玄齡又與魏征同修唐禮；調整政府機構，省並中央官員；善於用人，不以求備取人，也不問貴賤，隨材授任；恪守職責，不自居功。後世把房玄齡和兵部尚書杜如晦稱為良相的典範，合稱“房謀杜斷”。房玄齡監修的《晉書》壹***130卷，包括帝紀10卷、誌20卷、列傳70卷、載記30卷。《晉書》的內容充實，文字簡練。而且體例比較完備，使它能容納較多的歷史內容，而無繁雜紛亂之感。他的帝紀按時間順序排列史事，交代歷史發展的基本線索，是全書的總綱。
在《晉書》中，房玄齡采用世家之體而取載記之名，用高於列傳的規格，完整地記述了各族政權在中原割據興滅的始末，給各割據政權以適當的歷史地位，較好解決了中原皇朝與各族政權並載壹史的難題。