語言研究所成立於1950年6月，是中國科學院最早建立的哲學和社會科學方面的研究所之壹，1977年中國社會科學院成立後，語言所歸入社科院，至今已經有五十多年的歷史。語言研究所的所址最初是在北京東城翠花胡同，1956年初遷到北京西郊中關村，1958年又遷到北京西城端王府夾道，1969年底全體人員下放到河南息縣“五七幹校”，1972年夏回京後暫駐北京朝內南小街原文字改革委員會大樓的壹部分，1976年進入原北京地質學院主樓，1984年遷到北京建國門內大街中國社會科學院大樓至今。
語言所歷任所長是：羅常培（1950—1958）、呂叔湘（1959—1982）、李榮（1982—1985）、劉堅（1985—1996）、江藍生（1996—1999）、沈家煊（1999至今）。先後擔任過副所長的有：葉籟士、石明遠、趙洵、劉湧泉、陳章太、侯精壹、晁繼周、賀巍、江藍生、孟慶海、董琨、張國憲、蔡文蘭。
語言研究所最早是在北京大學文科研究所語音樂律實驗室的基礎上成立的，研究力量主要是兩方面的來源，壹是前“中央研究歷史語言研究所”的部分成員，二是北京大學、清華大學、燕京大學等高等院校抽調來的部分學者。建所初期，語言所規模不大，卻匯集了丁聲樹、羅常培、呂叔湘、陸誌韋、傅懋*等著名學者，他們領導了語言所早期的漢語語法研究、漢語方言研究、漢語音韻研究、少數民族語言研究、漢語語音研究等學科的工作。到六十年代後期，語言所開展的研究工作還有現代漢語規範、機器翻譯、國外語言學研究動態，編輯出版了《中國語文》等學術刊物，編纂了《現代漢語詞典》（試用本）。
“十年動亂”使語言研究所的工作完全停滯了五六年，直到七十年代初，大部分同誌從幹校回到北京以後，才逐漸恢復了工作。盡管工作環境和研究條件不很理想，壹代學界前輩還是以惜時如金的精神，勤勉地推動著各方面研究的展開。語法小組為撰寫壹部大型《現代漢語語法》積極準備；方言研究、語音實驗研究、機器翻譯研究、《現代漢語詞典》的修訂開始走入正軌；《語言學資料》也更名為《語言學動態》恢復出版，1978?979年***出12期（後改名為《國外語言學》，現名為《當代語言學》）。
1977年，中國社會科學院正式成立，語言研究所改屬社科院後，對原有學科作了進壹步的調整，下設八個研究室，分別是：現代漢語研究室，古代漢語研究室，近代漢語研究室，方言研究室，語音研究室，應用語言學研究室，情報資料室（1980年改為國外語言學研究室，現為當代語言學研究室），詞典編輯室。另有《中國語文》編輯部。
作為國家級的語言研究專門機構，語言研究所不僅推出了壹批又壹批重要的學術成果，而且組織了很多全國性的學術活動，良好的學風影響著壹代又壹代的語言學工作者。