民國10年（1921年）第五屆遠東運動會在上海舉行時，曾組織水球表演。當時《申報》記載了這次表演賽：“水球表演分白、藍二組，各隊7人，結果為4與2之比，勝利歸藍隊。”當時場地設置較小，池水也淺，比賽時間較短。民國24年6月《勤奮體育月報》介紹了當時水球場地，池寬為20碼（18.3米），池長19碼（17.4米）至30碼（27.4米）。水深1碼（0.914米），正式比賽為14分鐘。（現代水球場地寬20米、長30米、深不得淺於1.8米。比賽分四節，每節7分鐘）。由於開展很不普遍，壹直沒有舉行正式比賽。民國37年，第七屆全運會在上海舉行，水球列為表演項目，上海派出溫敬令等10人參加，在預賽中輸於菲律賓華僑隊，未能參加決賽。
解放後，國家體委於1955年8月曾在上海組織了全國遊泳競賽大會，其中包括水球。上海臨時從遊泳愛好者中選拔組成水球隊參加。該賽***五支水球隊參加，上海隊獲第二名。次年，國家體委組織七單位遊泳對抗賽和全國水球賽，上海仍臨時組織業余隊參加，仍獲第二名。
1958年，為迎接第壹屆全運會，市體委開始組建集訓隊，由夏雲任領隊，教練由印尼歸僑洪裕科擔任，隊員吳承璘、陳約翰（陳傑）、侯引程、蔡興邦、奚伯康、朱伯華、肖春熙等都是大學生。鐵路工人徐妙根擔任隊長，在全運會上獲第五名。
1960年，上海體院運動系成立，設水上班，其中包括水球，留下了原集訓隊的徐妙根、陳約翰、黃爾敏、盛春生、奚伯康、唐振鑫、另有部分遊泳隊員轉練水球，教練由葉廉華擔任。
1960年，國家體委設甲、乙組水球聯賽，上海在甲級賽中奪得第三。以後由於國家經濟困難，聯賽取消。各省水球隊大部分解散，僅留三支隊伍，上海得以保留。但當時老隊員多數退役，僅留5名隊員，後又充實了6名新手，從而保持了隊伍的完整。
1964年，部分老隊員退役，李明光、何連德等新手入隊，全隊***有20余人。當年，上海隊曾以7：7戰平印尼國家隊。
1965年3月，全隊赴湛江訓練，每天在海水中訓練達8小時，隊員的體力和技、戰術都有了較大進步，第二屆全運會時，以戚吉慶任領隊奚伯康任教練的市隊獲第三名。
1966年，奚伯康赴柬埔寨任教練，“文化大或革命”開始後，訓練與比賽均停止。
1971年，全國水球恢復比賽。上海隊尚留有10名隊員：趙英華、唐振鑫、徐鳴德、李明光、何連德、徐立三、蔣金日、龔吉祥、鮑賢良、陳約翰（教練）。在當年比賽中獲冠軍。1972、1973年連續保持冠軍稱號。
[上海水球隊在訓練中]
1973年，國家體委為迎接第七屆亞運會，組建國家集訓隊，上海唐振鑫等6人入選集訓。1974年8月,國家隊組成，趙英華任隊長，何連德、徐立三、鮑賢良等入選，奚伯康任教練，獲第七屆亞運會亞軍。
1974年以後，老隊員相繼退役，並陸續充實新手。1975年，在第三屆全運會上，由趙英華兼領隊，徐鳴德任教練的市隊保持了第三名。
1976年，趙英華、徐立三、瞿保衛、李謀時再度選入國家隊。
1977年，國際比賽規則作了壹系列改動，鼓勵運動員在快速遊動中發展技、戰術。對運動員的體力提出了更高的要求。而當時上海隊正值青黃不接，運動水平壹度下降至全國第五、六位。直至1979年第四屆全運會時，由蘇永良任領隊，奚伯康、唐振鑫任教練的市隊，成績再度回升至第三位。
1980年，國際遊泳聯合會接納中國入會，增加了國際交流的機會。上海隊承擔著向國家隊輸送運動員和教練員的任務。由於主力隊員大多去國家隊訓練，上海只留下二線隊伍，由於人員不足，技、戰術發展都不快，在全國比賽中成績較平。但上海選手被選入國家隊者人員增多，在壹系列國際比賽中取得了較好的成績。
1978～1990年上海入選國家水球隊運動員、教練員及國際比賽名次表
年代
入選國家隊運動員、教練員
比賽名稱
名次
1978
徐立三 瞿保衛
第八屆亞運會
1
1979
瞿保衛
第十屆世界大學生運動會
10
1980
瞿保衛
第二十二屆奧運會預選賽
未出線
1981
瞿保衛 翁彤 孫奎 唐振鑫＊
第十壹屆屆世界大學生運動會
7
瞿保衛 翁彤 孫奎 王敏輝 潘盛華 唐振鑫＊
第十壹屆屆國際邀請賽
3
1982
瞿保衛 翁彤 潘盛華 王敏輝
第九屆亞運會
1
潘盛華 王敏輝 翁彤 唐振鑫＊
第四屆世界錦標賽
10
1983
瞿保衛 潘盛華 唐振鑫＊
第十二屆世界大學生運動會
7
1984
瞿保衛 潘盛華 唐振鑫＊
亞洲比賽
1
瞿保衛 潘盛華
第二十三屆奧運會
9
1985
崔世平 潘盛華 王敏輝
第十三屆世界大學生運動會
8
1986
葛堅清 唐振鑫 王敏輝
第十屆亞運會
1
1987
崔世平 俞翔 李明光＊ 王敏輝
第十四屆世界大學生運動會
6
1988
崔世平 俞翔 唐振鑫＊ 王敏輝 葛堅清
第三屆亞洲錦標賽
1
崔世平 俞翔 唐振鑫＊ 王敏輝 葛堅清
第二十四屆奧運會
11
1990
崔世平 葛堅清 江逸華 王敏輝
第十壹屆亞運會
1
說明：＊參加集訓，未參加比賽。
1980至1990年，市隊在全國比賽中處於前三名行列，1988年下半年至1990年曾連續五次在全國錦標賽中得冠軍。這段時期，教練有李明光、何連德、唐振鑫、陳德友（1988年離隊）、瞿保衛（1987年離隊）。市隊入選國家隊後獲得亞洲冠軍的有8人，在第五、六屆全運會，以蘇永良為領隊的上海隊均得第三名。在第五屆全運會上，上海隊評為精神文明運動隊，潘盛華、陳德友被評為精神文明運動員。1993年第七屆全運會時，由李明光為領隊的上海隊獲第二名。
全隊先後有25人獲運動健將稱號，教練中有李明光、唐振鑫為高級教練。1982年何連德被國際遊聯批準為國際級裁判，另有5人被批準為國家級裁判。何連德曾連續參加第二十三、二十四、二十五屆奧運會水球賽的裁判工作。
70年代末，國家體委在全國比賽中設青年組,上海隊青年隊曾得了3次亞軍，2次第三。有9名隊員先後選入國家青年隊或參加了世界青年錦標賽。他們分別為：1983年葛堅青、毛清；1987年桂敏、江逸華、吳偉；1989年蔡衛疆；1991年李文華、石雲峰、林海波。
上海水球隊在全國比賽中的名次表
年代
比賽名稱
成年隊
青年隊
1955
全國遊泳大會
2
1956
七單位水球對抗賽
2
1957
四單位水球對抗賽
4
全國水球錦標賽
6
1958
全國水球錦標賽
5
1959
全國水球錦標賽
5
第壹屆全運會
5
1960
全國水球甲級隊聯賽
3
1963
全國遊泳跳水水球錦標賽
3
1965
第二屆全運會
3
1971
全國遊泳跳水水球比賽
1
1972
全國跳水水球賽
1
1973
全國跳水水球賽
1
1
1974
全國跳水水球賽
3
2
1975
第三屆全運會
3
1977
全國水球比賽
5
4
1978
全國水球比賽（壹）
6
6
全國水球比賽（二）
5
7
1979
第四屆全運全
3
1980
全國水球賽
3
2
1981
全國水球聯賽（壹）
2
5
全國水球聯賽（二）
3
4
1982
全國水球聯賽（壹）
3
1983
第五屆全運全
3
全國水球聯賽
8
6
全國青年水球賽
2
1984
全國水球聯賽
2
3
1985
全國水球聯賽
3
5
1986
全國水球聯賽（壹）
2
2
全國水球聯賽（二）
2
2
全國青年水球賽
5
1987
第六屆全運會
3
全國青年水球賽
4
1988
全國水球錦標賽（壹）
6
4
全國水球錦標賽（二）
1
5
1989
全國水球錦標賽（壹）
1
全國水球錦標賽（二）
1
1990
全國水球錦標賽（壹）
1
4
全國水球錦標賽（二）
1
4
1991
全國水球錦標賽（壹）
2
2
全國水球錦標賽（二）
3
1
1992
全國水球錦標賽（壹）
2
1
全國水球錦標賽（二）
2
1
1993
全國水球錦標賽
2
第七屆全運會
2
說明:（壹）指壹階段;（二）指二階段。