首先，卡斯特羅有壹個名叫黛比·卡斯特羅（DaliaSotodelValle）的妻子，兩人在1980年結婚，並育有五個子女。
其次，卡斯特羅身邊還曾經有過幾位情人，包括古巴女歌手蘇珊娜·裏瓦斯（SusanaPerez），還有現任曼努埃拉·利_裏亞（ManuelaLiborio）等。
此外，卡斯特羅逝世前還和多位女性保持著密切關系，包括他私人醫生費爾南多·赫爾南德斯·阿克勒（FernandoHernandez-Akler）的妻子亞歷克西斯·莫拉萊斯（AlexisMorales），以及古巴記者凱莉·本思托斯（KelliBentes）等。