林紹良家祖輩以種田為生，有祖傳的水田30畝，壹頭水牛和壹些農田。林的父親為人樸實敦厚，他在父母的教誨和熏陶下，性情溫和。幼年林紹良在村中林氏祠堂念私塾，先後念完了“四書”、《詩經》、《左傳》等書，養成推崇忠烈俠士以及儒家道德觀念的思想。