相傳古時候海壇島東面的觀音澳壹帶海域洋流湍急，海況復雜，風急浪高。每到臺風季節更有巨浪侵襲沿岸，沿岸百姓家園被毀，物損人亡，甚是淒涼，本就貧瘠的土地也更是顆粒無收，百姓深受其害。
東方的蓬萊仙境聽聞後，深喑百姓疾苦。遂命壹青牛化身巨牛前來鎮守觀音澳，以保壹方太平。巨牛千裏迢迢自蓬萊仙島而來，行之將至也已是乏累不堪。此時岸邊壹漁婦正在刷糞桶，看到東方來了壹只巨牛是又驚又奇，於是她邊呼喚友鄰來看，邊將手中的糞桶刷指向巨牛。這壹指本是不打緊，可這糞便本就是汙穢之物，巨牛也已是疲憊不堪了，這壹指煞了仙氣，也折了最後壹絲氣力。巨牛就這樣長臥於此，幻化成島擋住了大部分的風浪，蓬萊的仙牛引來了更豐富的物產，島成了漁民的寶山島，漁民的收成也好了，日子太平了，為了紀念巨牛就把這座島叫做“牛山島”。