中國科學院於1953年底在數學研究所內組建了力學研究室，進行固體力學和流體力學研究。
1955年10月錢學森回國。在他主持下對力學研究的基本方向進行了研討。
1956年1月5日，中國科學院院務會決定組建力學研究所，報國務院審批。
1956年1月16日，國務院副總理陳毅元帥親筆批復，力學研究所正式成立。
1956年1月，力學所成立後，在所長錢學森、副所長錢偉長的規劃下，設置了彈性力學、塑性力學、流體氣體動力學、自動控制及調節理論、運籌學、化學流體力學和物理力學等研究組。不久以後，自動控制組劃出自動化所。
1958年，確定了力學所的方向任務為“上天、入地、下海、為國民經濟建設服務”四個方面，並成立了上天設計院，郭永懷、楊南生為正副院長。1958年11月遷往上海，改名上海機電設計院。
1959年6月14日，錢學森向中科院提出“關於在中國科學院配合國防需要開展火箭技術探索性研究的意見”報告，獲得中科院批準後，力學所於1959年11月成立二部，分別從事高速氣動力學、高溫強度、液體推進劑及燃燒、試驗設備設計和測量儀表等問題研究和裝置研制。液體推進劑及燃燒研究室人員於1960年10月遷至懷柔。
1961年底，力學所參與了國家科委組織的學科規劃修訂工作，其中力學規劃包含20項內容。
1964年7月，懷柔基地改稱為力學所分部，承擔科學院下達的氫氧發動機研制任務。
1965年5月，中央專委決定由科學院研制地對超低空導彈（代號541）。7月，科學院任命楊剛毅為541任務領導小組組長，郭永懷為總設計師組組長，541辦公室設在力學所。8月，力學所根據任務要求在分部成立201—204室，分別負責541任務的彈體總體、發動機、結構及發射裝置和氣動力設計等工作。
1967年10月中央批復了國防科研體制調整方案後，力學所科研機構進行了調整。1968年3月懷柔分部和相應的實驗設備被中國人民解放軍第五、十壹、十七院接管；1970年5月，從事6405任務的人員和相應的實驗設備被七機部二院接管；1970年9月，高溫氣體組、激波管風洞組和F2風洞組的人員和相應的實驗設備被成字131部隊接管。
1970年7月，力學所軍管結束,又恢復由科學院領導。
1972年7月，力學所下放，實行北京市和科學院雙重領導，隨後又改稱為北京力學所。
1977年以後，相繼開展了全國自然科學規劃和力學學科規劃等工作，力學所的各項工作逐步調整恢復。
1978年1月1日，經國務院批準，力學所正式回歸中國科學院建制。
1982年，明確以應用基礎研究為主，加強推廣等原則，著手開展海洋工程力學、地球物理流體力學、能源、工業中爆炸災害四個新領域工作。同時，以成果轉化、技術開發為目標，前後成立了十余家公司。
1984年2月，確定了優先發展能源、海洋工程、工業新技術和傳統工業的改造項目等。1986年12月中國科學院海洋工程科學技術研究中心成立，辦公室設在力學所。
1988年1月，根據“加快步伐、建立科研新體制”的方針，確定能源開發和節能技術中的力學問題；新材料、新工藝、新技術中的力學問題；環境和國土整治；高技術；基礎性研究等五個科研工作方向。1988年6月，院正式批準成立非線性連續介質力學開放實驗室（LNM）。
1989年12月，根據力學學科特點和力學所現狀，確定科研的五大方向為：材料科學技術中的力學問題，能源科學技術中的力學問題，環境科學技術中的力學問題，高技術中的力學問題，力學基礎研究。
1994年4月，以結構調整為主要目標，推進基礎性研究隊伍建設，強化應用研究和技術開發，推進高技術產業發展,確立了7個研究領域：非線性連續介質力學，高速高溫氣體動力學，微重力科學，環境力學，材料工藝力學，海洋工程力學，爆炸力學。1994年12月，院正式批準成立高溫氣體動力學開放實驗室（LHD）。1997年5月，成立國家微重力實驗室（NML）。
1997年，中國科學院根據結構性調整的指導意見，在全院進行“分類定位”管理。同年10月，力學所通過專家評議，認定為基礎研究基地型研究所。