寂靜嶺的故事在現實世界的寂靜嶺和異世界（表世界和裏世界）的寂靜嶺中展開。大部分時間中，角色都是在表、裏世界中冒險。
現實世界的寂靜嶺
寂靜嶺是壹個虛構的美國小鎮，它位於美國的東北部，據玩家推測是在緬因州的邊界上。根據遊戲的設定，寂靜嶺坐落於托盧卡湖（Toluca Lake，這個湖也是虛構的）。托盧卡湖上充滿了水汽，它常年都被濃霧包裹著，而且發生過遊艇神秘失蹤事件等靈異事件，因此被認為是不吉利的湖。托盧卡湖中有壹個小島，小島上建有教堂。 寂靜嶺是個被森林環繞的寧靜小鎮，也是壹個渡假、療養的勝地。由於商業繁榮，這個鎮壹直能自給自足；它有小學、購物中心、教堂、療養院、兩間獨立的醫院、以及其它商店和旅遊景點。城鎮中主要的商業活動是當地人經營的小型零售店，和影響不大的連鎖店或經銷商，除了Happy Burger漢堡店與Shell加油站。 坐落於托盧卡湖西北方的是帕爾維爾（Paleville），它的東邊是舊寂靜嶺（Old Silent Hill） 和寂靜嶺中央區（Central Silent Hill） 兩個區，舊寂靜嶺是有著大量公寓與住家的住宅區，還有小學和教堂；而寂靜嶺中區則是商業區，有壹個商業中心和各種各樣的商店，那裏也有艾凱蜜拉醫院（Alchemilla Hospital）和數家汽車旅館，還有壹個南方公園（South Park）。 Paleville則是度假區，湖濱有燈塔與湖邊遊樂園（Lakeside Amusement Park），還有湖景酒店（Lakeview Hotel，寂靜嶺2發生之前已經被火燒毀）。
而南方則是幾乎被遺棄的南谷（South Vale），盡管如此，那裏還是有很多旅遊景點、商店和娛樂設施。比如《寂靜嶺2》開始的地點——瞭望臺，從那裏可以看到湖對面的帕爾維爾；薇水公園（Rosewater Park），當年詹姆斯和瑪麗曾經在這裏呆了壹整天； 天堂之夜脫衣舞俱樂部（Heaven’s Night）、布魯克海文醫院（Brookhaven Hospital）、寂靜嶺歷史博物館（Silent Hill Historical Society）和托盧卡監獄（Toluca Prison）、希瑟和道格拉斯住過的傑克旅館（Jacks Inn）、歐內斯特和艾米住過的鮑爾文公館（Baldwin Mansion）、彼特大型保齡球場（Pete’s Bowl-O-Roma）。（參閱寂靜嶺地圖、《寂靜嶺2》在醫院時的有獎問答） 南谷的東方則是殺人魔沃特·沙利文曾經生活過的小鎮——舒適河（Pleasant River）。
（雖然寂靜嶺的位置設定在美國，但是制作地圖的參考資料都是取材自日本，比如十和田湖和田尺湖。在寂靜嶺1中，玩家可以看到加油站的油價是日元的數值）
異世界的基礎
寂靜嶺原本是印第安人的宗教聖地，他們把這裏稱為“寂靜精靈的棲息之地”。這裏說的“精靈”，不單單是指他們的祖先的靈魂，更包含了棲息在花草樹木、巖石、河流之中的精靈。
該鎮的最早歷史可追溯至17世紀初，早期的英國殖民者在此地定居；而在此之前，此地是當地原住民用於宗教活動的聖地。18世紀，壹場奇怪的瘟疫使鎮上的大量居民死亡，活著的人們紛紛逃離，小鎮因此長時間無人居住。而這個地方原來的名字也失傳了。19世紀初，英國將寂靜嶺作為海外流放地，在此開設了監獄和“溪港”醫院（BrookhavenHospital）。 1840年前後，監獄關閉，寂靜嶺再壹次被遺棄。19世紀50年代，另壹批拓荒者在寂靜嶺發現了煤炭儲藏，寂靜嶺又壹次繁榮起來。南北戰爭期間，此地被作為戰俘營，期間曾發生大規模虐殺戰俘的行為。南北戰爭結束後，戰俘營關閉，寂靜嶺開始成為旅遊勝地。
但是這股超自然的力量並沒有消失，盡管它原本是沒有正邪之分的，但是經過歷史的變遷和無數的苦難，這股力量也逐漸被扭曲了。
由於發生在《寂靜嶺1》中的大面積轉換裏世界，小鎮已經成為使人的深層意識實體化的強力催化劑。這裏成了召喚那些心中隱藏著黑暗面的人的地方，有著受折磨的意識的人會很容易被拉進異世界，特拉維斯、詹姆斯、艾迪、安吉拉、阿歷克斯、墨菲就是例子。
現在的寂靜嶺能把現實世界中的人物拖入“異世界”，或者說，小鎮的力量吸收了人的心靈，使人們的幻覺和潛意識物質化。
異世界通常表現出表世界和裏世界兩種狀態。在某些情況下，表裏世界的轉換會突然發生。因此，事實上意識是使表裏世界產生差異的因素。 這種力量不是簡單地顯現他們噩夢的特性，而是真實地實體化他們潛意識裏的東西。如果主題的意識處於混亂狀態，裏世界的狀態同樣雜亂無序。在異世界中，時間和物理限制都被超越了，意識被連接起來，而且人的思維可以直接交流。就像《寂靜嶺2》中，詹姆斯、安吉拉和艾迪可以相互看到對方的異世界的樣子；《寂靜嶺3》中希瑟接到“祝妳生日快樂”電話，還有看到Stanley Coleman的信等等。按照大和久 宏之的說法，發生在小鎮之外的裏世界轉換完全依靠的是壹種特別的力量。這種吸收和反射人類心靈的力量肯定是寂靜嶺所獨有的。但是偶爾也會發生在寂靜嶺以外的地方也發生表裏世界轉換的情況，這種情況比較特殊，依靠的是另壹種力量，目前只有體內帶著神之胚胎時的希瑟·梅森和作為術士的沃特·沙利文做得到。
傳說在寂靜嶺1發售之後，Team Silent並沒有表裏世界的概念，這是由玩家提出來的。但事實上，《寂靜嶺1》的官網裏已經把充滿濃霧的世界稱為表世界 ；把黑暗的世界稱為裏側 、異世界、異界 。在《寂靜嶺2》的官網，介紹怪物Mandarin的時候則已經明確出現了裏世界的字樣。
寂靜嶺的宗教
到了二十世紀初期，以印第安原始信仰為基礎的人們成立了“教會”。沒有人知道教會的名字，人們只是簡單地稱它為“教會”。 由於受到了大部分居民的鄙視，“教會”是隱秘地活動的。教會原本是壹系列組織松散的小團體，盡管有壹個不知名的女性主神， 但他們各自信仰著不同的亞神，比如洛伯塞·維斯（Lobsel Vith）、蘇切爾巴拉（Xuchilbara）、瓦爾提埃爾（Valtiel）、聖母（Holy Mother）等。任何壹作的遊戲中從來沒有出現主神的名字，但她被教徒們稱呼為“樂園的創造者”（Creator of Paradise）、“蛇與蘆葦之王”（Lord of Serpents and Reeds）；而反對教會的人們則將某些惡魔的名字用來稱呼她 （比如起源中有Memo稱呼神為Samael ）。因此凡是認為神或邪教的名字是薩麥爾（Samael）的言論都是錯誤的。
教會實行著活人獻祭、煉金術等神秘學技術，想以此來讓“神”復活。這些人中的真正的信仰者們狂熱地認為他們是被神所選中精英分子之壹。 他們相信借由神的復活，他們將進入“樂園”，而其他不信仰神的人類將會被毀滅。他們還會使用“圓陣取字”（Gyromancy）、“梅塔特隆的護符”（Talisman of Metraton）、“聖母降臨·21聖禮”等常人難以理解的術式。
為了籌募他們活動的資金，教會的成員邁克爾·考夫曼醫生利用寂靜嶺土生土長的植物“白色克勞迪婭”（White Claudia）制造壹種名叫PTV的毒品。毒品交易有助於鄰近地區的居民為了取得PTV而旅行至此，並增加當地的觀光收入。但毒品交易被當地政府所禁止，在沖突中，教會謀殺了市長與數名警察。而且他們的勢力也逐漸滲透到了公***機構之中。教會旗下的組織“寂靜嶺微笑扶持協會”（Silent Hill Smile Support Society，簡稱4S）經營著名為“希望之家”的孤兒院，該組織雖然名為慈善機構，實際上是個綁架小孩，並對其進行虐待、洗腦，使他們成為邪教徒的機構。
在《寂靜嶺1》中，達莉亞·吉雷斯比（Dahlia Gillespie）等數名重要教徒死亡，教會元氣大傷，因此沈寂了壹段時間。在克勞迪婭（Claudia）和文森特（Vincent）掌握教會中的權力後，改組了教會。由於文森特的功績，教會在幾年內急速擴張。在《寂靜嶺1》中教會使用基督教堂來進行宗教活動，而在《寂靜嶺3》中，他們已經擁有了屬於自己風格的教堂。可見在這17年裏，教會的影響力擴大了。
教會的主要派閥
教會有三個主要的派閥。
聖女派：
相信藉由進行特殊儀式讓「神」以胎兒的方式寄宿於具有資質的女性（聖女），再以復活「神」為目標讓聖女生產下「神」。以達莉亞·吉雷斯比（Dahlia Gillespie）為領袖，是勢力最大的派閥。在《寂靜嶺1》的結尾出現的最終Boss，被達莉亞稱呼為神的怪物，是男性的神。但是自從達莉亞死後，勢力開始下跌。
在寂靜嶺3中出現的克勞迪婭是阿萊莎的童年玩伴，她執著地尋找著希瑟·梅森，希望令希瑟誕下“神”，按理說應該是屬於聖女派。然而在寂靜嶺4的追加Memo裏，克勞迪婭·沃夫（Claudia Wolf）的名字並沒有出現在聖女派的解釋中。 這使得克勞迪婭的派別變得非常微妙。在寂靜嶺1至3之間的17年裏，克勞迪婭在文森特神父的幫助下改組了教會，使得信徒大幅度增加。教會的教堂裏有六副油畫描述了神的故事，在這個故事中，神是女性。克勞迪婭希望令到每壹個人都進入“樂園”，然而原本教會中的守舊派教徒卻認為只有被選中的精英才能進入“樂園”，因此她和她的父親雷納德·沃夫（Leonard Wolf）發生沖突，不知是不是克勞迪婭的陰謀，雷納德因為在與人為了宗教分歧而爭論時刺傷別人而被送進了Brookhaven Hospital，被當作精神病人來治療。
這是否意味著在寂靜嶺3的時代，克勞迪婭的地位淩駕於三大派閥之上？
聖母派：
信仰著聖母（Holy Mother），實力比較弱小的派閥。以托比·阿奇博爾特（Toby Archbolt）為領袖。 他們相信可以通過坐落於寂靜嶺森林中的聖母巖和神對話。通過培養“術士”，讓其完成“聖母降臨 - 21聖禮”來讓神（聖母）降臨。 在神使派沒落後，托比·阿奇博爾特通過發展旅遊業和販賣大麻，籌集了大量資金，接管並重開了希望之家。在重開希望之家孤兒院之後，Toby因他對全鎮人民的貢獻而被選為市議員。據說在克勞迪婭死後，托比是教會的最後壹個祭師，在他被“術士”沃特·沙利文（Walter Sullivan）殺死後，教會便不復存在。
神使派（Valtiel派）：
崇拜被稱為神的代理人、神的助產士的天使瓦爾鐵爾（Valtiel），是個新的派閥，由綽號“赤色惡魔”的吉米·斯通（Jimmy Stone）所創立，自認為是最靠近神的存在，並作為處刑人而行動。作為調和聖女派與聖母派的仇恨和爭執的調停者而存在，並在斡旋中逐漸獲得了巨大的權力。 在祭師吉米·斯通和喬治·羅斯登（George Rosten）死後，希望之家和水牢相繼被關閉。
其他派別：
另外教會中還有些人信仰著紅神蘇切爾巴拉（Xuchilbara）。在《寂靜嶺3》中，教堂裏的神話裏說神創造了包括黃神羅伯塞·維斯（Lobsel Vith）、紅神蘇切爾巴拉等神祗和天使。在寂靜嶺2的文獻中，有個神被稱為蘇切爾帕芭（Xuchilpaba）。目前還不清楚蘇寂靜嶺2中提到的蘇切爾帕芭是否和寂靜嶺3中提到的紅神蘇切爾巴拉是同壹個神。也不清楚蘇切爾帕芭的性別。已知歐內斯特·鮑爾文（Earnest Baldwin）是蘇切爾帕芭的信仰者。
它有著讓死者復活的能力。但是從蘇切爾帕芭代表著謊言、霧氣、黑夜與復活（把死人帶回現世）來看，它是和寂靜嶺的1、3、4中的神是有著強烈沖突的——寂靜嶺1的神代表智慧、光和死亡的樂園；寂靜嶺3的神代表著太陽、死亡和死亡的樂園；寂靜嶺4的聖母試圖凈化世界（也是死亡的樂園）。鑒於《寂靜嶺2》中的書《赤色祭祀》是紅色封皮的書，《寂靜嶺4：密室》中有教導人們破壞聖母降臨的《赤色大典》（Crimson Tome，赤の書）也是紅色封皮的書，而且它原本被藏在希望之家2樓。 因此有理由懷疑Xuchilpaba的信仰者們壹直在暗中破壞其他教派的召神計劃。
在《寂靜嶺：暴雨》中，出現了壹個名為Kwekwaxawe的神，暗示這個神與烏鴉有關。 Kwekwaxawe受古代的印第安人所崇拜，目前尚不知道現代是否還有人崇拜它。