由於這本書中所寫的過程太過復雜繁瑣，黃金沒有煉成，還耗費了很多錢財，直到這個時候，劉向才知道書中所寫的煉金術並不靈驗。劉向煉金不成，皇上罷免了他的官職，吏部也彈劾劉向鑄造假黃金，罪當處死。這時，劉向的哥哥陽城侯劉安民上書皇上，請求交納封地的壹半戶籍，用來贖劉向的罪過。皇上原本愛惜劉向的才華，不久後就赦免劉向復出，擔任了郎中。在漢元帝時，劉向又被提升為散騎、宗正、給事中，成為當時輔政的4位大臣之壹。在此期間，劉向曾用陰陽災異推論時政的得失，並上書彈劾外戚，抨擊宦官專權誤國，因此得罪了不少權臣。他也前後兩次入獄，免官數年。