1815年在法國，壹位名叫冉阿讓的苦役犯在蹲了19年的牢房後被釋放了。當初他為使他姐姐的壹家人免受饑餓而偷了壹片面包被判了5年徒刑。後來由於他屢次越獄而被延長至19年。冉阿讓進去時青春年少，出來時已老氣橫秋。在服刑期間，他過人的臂力令人驚訝不已。
苦役生涯使他的靈魂壹面上升，壹面墮落。他走到壹個小城，沒有人認識他，也沒有人理會他。盡管他有錢，旅館還是拒絕給食宿，他在街盡頭的壹爿破酒館也遭到了同樣待遇。監獄不收留他，狗把他從狗窩中趕了出來。萬念俱灰，悲慘淒涼，他累倒在石凳上。經人指點，他敲響了卞福汝主教家的門。主教熱情地接待了他。但是，當天晚上，冉阿讓偷了主教的銀器逃跑了。10歲孩子小瑞爾威的銀幣也被他搶走。然而，他很快被警察抓住，把被偷的銀器和人壹起送到主教家中。主教不但沒有怪他，反而替他開脫罪名，說銀器是送他的，還外加了壹對銀燭臺。目瞪口呆的警察只好放了冉阿讓。主教的寬厚、仁慈深深打動了冉阿讓。19年來他第壹次流下了眼淚。他遠走他方，決心重新做人。
他來到海濱小城蒙特漪，由壹名工人做起。由於他聰明肯幹，並因壹項發明得以自立門戶。沒有人知道他的來歷，只知道他叫馬德蘭先生。他開了壹間工廠，雇了許多工人。有壹次，他看到市長先生以驚人的臂力救出了被壓在車輪下的割風老頭，於是便懷疑馬德蘭就是那個力大無比的苦役犯冉阿讓。從此，他暗中對馬德蘭市長進行調查。
這時，從巴黎來了壹位名叫芳汀的漂亮姑娘。她出身貧寒，有壹私生女，寄養在酒店主德納第家。她進了馬德蘭的工廠做了壹名女工。但不久就因有私生女壹事而被解雇。馬德蘭對此壹無所知。德納第是個無賴，滑鐵盧戰役時，他在戰場上專門盜屍。有個受傷的軍官彭眉胥，被他翻動身體時蘇醒過來，以為是德納第救了他的命，其實錢和表早被德納第偷走。他利用偷來的錢開了酒店。芳汀的女兒珂賽特成了他敲詐芳汀的搖錢樹。芳汀為支付撫養費賣掉了長發、門牙。最後淪為娼妓。警官沙威逮捕了她，使她斷了生路。馬德蘭知道這壹切後，決心幫助芳汀。
恰在此時，流浪漢商馬第被誤認為是潛逃的冉阿讓而遭拘捕。眾人壹口咬定他應被判重罪。沙威將此事告訴了馬德蘭，並為自己以往誤會他而道歉，馬德蘭經過激烈的內心鬥爭，不願讓壹個無辜者受害。於是他勇敢地走上公堂，承認自己才是真正的冉阿讓。在大家目瞪口呆之際，他把住址留給了法官，然後去醫院看望芳汀。沙威跟蹤而來，將他強行逮捕。眼看恩人被捕，芳汀氣絕身亡。
後來，冉阿讓利用營救壹名水手的機會再次逃走。不久他找到德納第，領走了珂賽特。他漸漸疼愛起這個女孩來。兩人來到巴黎租了壹處房子住下，相依為命。不料沙威跟蹤而來，冉阿讓攜孩子逃到了壹家修道院。不想遇到了他曾救過的割風老頭。冉阿讓留在了修道院。
珂賽特在修道院漸漸長大。冉阿讓與她在巴黎壹條狹小的街上租房住下。他們常去公園散步。有壹個小夥子老站在遠處盯著珂賽特。冉阿讓為防不測，連夜搬走了。
這個小夥子名叫馬呂斯，就是彭眉胥的兒子。他思想激進，與保守的外祖父鬧翻，他對珂賽特壹見傾心。
馬呂斯和珂賽特雙雙陷入了愛河，兩人經常幽會，感情非常密切。壹天晚上，珂賽特告訴他，她和父親即將去英國。馬呂斯請求他的外祖父同意他們的婚事，可是被拒絕了。他絕望而歸，發現珂賽特也已不見了。這時，巴黎革命者已經開始起義了。馬呂斯熱血沸騰加入了朋友們的行列。戰鬥異常激烈，冉阿讓也趕到了街壘。警官沙威潛入街壘偵察被起義者抓住。冉阿讓要求由他來處死沙威。他把沙威帶到僻靜處，卻並未處死他。他告訴沙威自己就是冉阿讓，然後放了他。沙威帶著迷茫的心情走了。
起義失敗了，革命者遭到屠殺。冉阿讓背起受傷的馬呂斯，躲進了巴黎的下水道。經過數小時奔波，冉阿讓找到壹個出口。但門卻鎖著，德納第拿著鑰匙準備勒索錢財。冉阿讓給了他壹些錢。出來之後，他再次遇見了沙威。沙威內心極度矛盾，信念動搖。他最終放走了冉阿讓，自己跳入塞納河自殺了。
馬呂斯康復後便與珂賽特結婚了。冉阿讓將全部財產都贈給他們，並告訴珂賽特她的身世。冉阿讓還向馬呂斯講述了自己的過去，懇求他們允許自己經常來訪。但馬呂斯誤會了冉阿讓，竟拒絕他再進自己家的門。冉阿讓再次陷入孤獨之中，悲哀使他逐漸衰老下去。
壹天，德納第化名來見馬呂斯，想把自己在塞納河邊的遭遇當作秘密換取壹筆報酬。從他口中馬呂斯才知道從街壘戰中救自己的恩人就是冉阿讓。悔恨之際，他立刻和珂賽特趕往冉阿讓的住處。此時的冉阿讓躺在床上，已奄奄壹息，看到他們，他相信這對年輕人是愛他的，也相信自己的過去是清白的。他看著兩個對他理解的年輕人，看到那對保存已久的銀燭臺，看著墻上的十字架，安詳地離開了人間。