赤溪鎮是臺山僅有的純客家鎮,講客家話（也會講普通話、廣州話、臺山話），保持著完整的客家習俗。客家人於清初移入新寧（臺山）境內各地，百多年前的“土客”械鬥，客家人在四處奔逃中，有壹小部分避集於赤溪半島，這就是赤溪客家人的先輩。據《臺山古今概覽》稱“赤溪客家人的祖先於清朝雍正、乾隆年間，從惠（州）、潮（州）、嘉（應州，即梅州）所屬各縣先後遷入新寧（臺山）縣，聚居曹峰山下。”曹峰山為境內南峰山的第三高峰尖。據赤溪縣誌暨該地朱氏族譜記載，該支客家朱氏，其入粵始祖是章甫公。章甫公是朱熹的第七世孫，江西蘆陵參佐銓公的後裔。約於南宋末年或元朝時從江西入粵，在嘉應州以儒學立業。後其子孫經多處流徙，於清朝乾隆年間流入臺山，分居於四九和三合兩個地帶。迨至鹹豐六年，五邑地區爆發土客相鬥，這兩個地區的客家朱氏再流徙至本市東南臨南海的赤溪半島居住。
徙居赤溪的客民中,楊姓占了壹定比例。據楊姓諸譜考，臺山楊姓始祖世廷公，配葉氏（第九十九代），先從興寧縣徙居新寧縣（臺山）沖蔞牛角尤村，世廷公生二子。長子子龍公，配駱氏，生三子，後徙居龍川縣；次子子星公，配葉氏、袁氏、鐘氏（第壹百代），攜四子徙居曹沖（赤溪曹沖管區）萬興（今東陽）村，墾辟荒稅，誌謀勤耕。從子星公繁衍至今，已是第壹百零六代了。楊姓遍及赤溪、田頭兩鎮，人口分布大部分村莊。曹沖管區的東陽、大浪兩村均是楊姓，單是這兩條自然村人口就有5百多人。
赤溪客家人在長期輾轉遷徒中，養成了刻苦耐勞、堅毅剛強、勤勞善思、勇於創業、團結拼搏的精神，盡管受到當地文化習俗的影響，卻依然保留著古老的中原文化、習俗、傳統；講著最古老的語言——客家話，有自己獨特的民俗風情。如重宗義、敬祖先、信神明，每逢時令節日，客家人都虔誠地拜祭祖宗。客家人愛唱山歌抒發感情，婦女愛披紅頭巾，紮紅頭繩，過年家家貼春聯、蒸大籠粄、打米橙、炒花生、分豬角等。