何謂記憶之宮，須知西方人理性精神極盛，是故相信“按照事物的順序進行記憶，通常而言極為簡便”，以這種方法來存儲記憶，就是利瑪竇所謂“以本物之象，
及本事之象，次第安頓於各處所”（《西國記法·明用篇》），細分起來，有尋常日用的知識，有切要但不常用的專名；有現實經驗，亦有想像臆測以及真假參半的記憶。
因此如何恰當實現次第安頓於各處所，其實即如同建築房屋壹般，而且其規模境界，也因人而異：考慮到利瑪竇所具有的橫跨中西、縱貫古今（指古典學問、中古神學與文藝復興之後的西方世界）學識背景，就理應稱其心靈世界為宏偉的記憶宮殿了。
記憶宮殿法的使用可上溯至古羅馬時期，壹些令人難以置信的記憶絕活也可歸因於它。例如，8次世界記憶冠軍Dominic O’ Brien，他能記住54張桌子上的所有牌（2808張）的順序，每張牌只看壹次。通過運用記憶宮殿法及其變體，人們還取得了無數類似的成就。甚至在小說中都有幾個例證，比如Thomas Harris的小說《漢尼拔》，連環殺手漢尼拔·萊克特就利用記憶宮殿長期儲存了對復雜病歷的極其鮮明的記憶。（遺憾的是，這段在電影裏被刪去了。
傳說，記憶宮殿是歐洲中世紀的秘術，因為印刷術沒有普及，很多書都需要用人腦記，於是產生了記憶宮殿。但大多數人認為掌握記憶宮殿的人都是妖孽，便將他們燒死。
使用此記憶方法壹定要放松，心無雜念。