在2003年年初和中旬，壹個名為“Súmate”（請加入）的公民投票權利組織開始募集發動罷免總統的公投選舉所需的數百萬份簽名，到了2003年8月已經募集大約320萬份簽名，但由擁護查韋斯者占多數的選舉委員會則拒絕接受這些簽名，因為憲法規定必須在總統任期的壹半（也就是三年）過後才能發起罷免，而這些簽名在查韋斯尚未任職滿三年前便已開始收集。反對派和國際間的新聞報道查韋斯開始處罰那些參與連署的人，而查韋斯的擁護者則宣稱許多勞工曾在工作場所被其雇主強迫提供簽名。在2003年11月，反對派又重新收集了壹次連署，在短短4天內收集了高達360萬份簽名。這時有傳聞指稱查韋斯曾使用欺騙手段愚弄簽署的收集者，於是全國各地都發生了暴動。
憲法的條款要求必須收集20%選民的簽名才能發起罷免公投。除此之外，簽署人的國民身分證號碼也並沒有被保密住。反對派還指控查韋斯政府借由給予非法移民和難民們公民權來提升連署的門檻，選民註冊人數在公民投票前提升了200萬人，使得發起罷免公投所需的門檻大幅提升了20%。
許多報道也指稱查韋斯政府對公開郵寄連署簽名的人施加懲罰，政府部門包括國有的委內瑞拉石油公司、卡拉卡斯地鐵、和由查韋斯擁護者控制的公***醫院都被指控曾隨意開除參與簽署的員工。最後，反對派的領導人向國家選舉委員會遞交2,436,830份有效的簽署後，選舉委員會在2004年6月8日宣布召開罷免公投。查韋斯和其政治聯盟也開始動員選民投下“否”的選項。
罷免投票在2004年8月15日舉行，結果有59%的選票投下“否”的選項。歐盟的觀察員宣稱查韋斯政府對他們施加了太多的限制，使他們無法觀察這次選舉。卡特中心的觀察則認為這次選舉是公平而且開放的。批評者宣稱這是虛假的結果，並且以壹些文件來證明完全相反的選舉結果，許多人也質疑由政府所有的投票機器是否真實。反對者宣稱這是壹次“大規模詐騙”的選舉，並且質疑卡特中心的推論，不過，由反對派所進行的五次民意調查也顯示查韋斯會獲勝。