在南越國近百年的歷史中，趙佗本人就在位67年。他近百歲時才逝世，死後被安葬在南越國的國都番禺。據有關史料記載，趙佗在世時搜刮了大量奇珍異寶，死後又將它們都帶入了墳墓。而且，他在世時，就對自己的後事做了縝密的安排。所以，他的墓藏是壹個極大的秘密。
他沒有隨當時的習俗使自己的陵墓外觀雄偉顯赫，而是利用山勢暗造地穴，在地面上沒有留下絲毫痕跡。為避免被掘墳盜墓而做到萬無壹失，他還大設疑冢。甚至連他的死後出葬都做了精心布置，靈柩車從四門而出。至於入土地點，在當時就是個高度機密，幾乎沒有人知道他的墓在哪兒。這樣後人就很難找到他的墓。
傳世的各種史料對他的陵墓的位置的記載大多來自推測，所以各不相同。明代《廣東通誌》中說：“趙佗墓在縣東北八裏”，又說：“在禹山”；《南越誌》中記載：“趙佗墓就在自雞籠崗起至廣州附近的連岡山嶺之地”；晉代的《廣州記》中卻又說：“趙佗墓在城北，墓後有馬鞍崗”；在各個時期的地方誌中，有的說它在白雲山上，有的寫它在越秀山下，真是眾說紛紜，使人無所適從。
由於趙佗墓的考古價值甚高，加上巨大的奇珍異寶墓藏的吸引，從東漢末的三國時候起，2000多年來壹直有無數的人傾力於尋找趙佗墓。史料中記載：“三國時的東吳之主孫權，就曾派呂瑜帶領著幾千兵卒訪掘趙佗墓，想要找到巨額珍寶。他們在嶺南鑿山破石，掘地三尺，幾乎挖遍了廣州附近的大小崗嶺，最終都壹無所獲。”