自幼愛好美術，1914年入省立第壹師範學校，從李叔同學習繪畫和音樂。1918年秋，李叔同在杭州虎跑寺出家，對他的思想影響甚大。1917年與同學組織桐蔭畫會。1919年師範學校畢業後，與同學數人在上海創辦上海專科師範學校，並任圖畫教師。1921年東渡日本短期考察，學習繪畫、音樂和外語。1922年回國到浙江上虞春輝中學教授圖畫和音樂，與朱自清、朱光潛等人結為好友。回國後從事美術、音樂教學，曾任上海開明書店編輯、上海大學、復旦大學、浙江大學美術教授。同時進行繪畫、文學創作和文學、藝術方面的編譯工作。1924年，與友人創辦立達學園。抗戰期間，輾轉於西南各地，在壹些大專院校執教。文藝刊物《我們的七月》4月號首次發表了他的畫作《人散後，壹鉤新月天如水》。其後，他的畫在《文學周報》上陸續發表，並冠以“漫畫”的題頭。自此中國才開始有“漫畫”這壹名稱。1925年成立立達學會，參加者有茅盾、陳望道、葉聖陶、鄭振鐸、胡愈之等人。1926年，任教職於上海藝術大學。1929年被開明書店聘為編輯。1931年，他的第壹本散文集《緣緣堂隨筆》由開明書店出版。七七事變後，率全家逃難。1937年編成《漫畫日本侵華史》出版。1939年任浙江大學講師、副教授。1942年任重慶國立藝專教授兼教務主任。1943年起結束教學生涯，專門從事繪畫和寫作。陸續譯著出版《音樂的常識》、《音樂入門》、《近世十大音樂家》、《孩子們的音樂》等面向中小學生和普通音樂愛好者的通俗讀物，為現代音樂知識的普及作了許多有益的工作。1946年返上海。出版畫冊《子愷漫畫選》。1952年後歷任上海文史館館員、中國美術家協會上海分會副主席、中國美術家協會常務理事、上海市對外文化協會副會長、上海市文聯副主席、全國政協委員等職。中華人民***和國成立後任上海中國畫院院長、中國美術家協會上海分會主席，上海文學藝術界聯合會副主席等。工繪畫、書法，亦擅散文創作及文學翻譯。