伯牙是當時著名的琴師，善彈七弦琴，技藝高超。既是彈琴能手，又是作曲家，被人尊為“琴仙”。《荀子?6?1勸學篇》中曾講“伯牙鼓琴而六馬仰斜”，可見他彈琴技術之高超。《呂氏春秋·本味篇》記有伯牙鼓琴遇知音，鐘子期領會琴曲誌在高山、流水的故事。《琴操》記載：伯牙學琴三年不成，他的老師成連把他帶到東海蓬萊山去聽海水澎湃、群鳥悲鳴之音，於是他有感而作《水仙操》。現在的琴曲《高山》《流水》和《水仙操》都是傳說中伯牙的作品。後人以伯牙摔琴謝知音的故事為題材還創作了琴歌《伯牙吊子期》。
歷代文獻關於伯牙的記載頗多，最早見於荀況的《勸學》篇：“昔者瓠巴鼓瑟，而沈魚出聽；伯牙鼓琴，而六馬仰秣”。用誇張的手法極言其音樂演奏的生動美妙。
在《呂氏春秋》和《列子》中，記載有伯牙與鐘子期的故事,壹直為後世所傳誦。
據《呂氏春秋．本味篇》記載：伯牙鼓琴，鐘子期聽之，方鼓琴而誌在泰山，鐘子期曰：“善哉乎鼓琴！巍巍乎若泰山”。少時而誌在流水。鐘子期曰：“善哉鼓琴，洋洋乎若流水”鐘子期死，伯牙摔琴絕弦，終身不復鼓琴，以為世無足復為鼓琴者。
而《列子?6?1湯問》的記載為：伯牙善鼓琴，鐘子期善聽。伯牙鼓琴，誌在高山，鐘子期曰：“善哉，峨峨兮若泰山！”誌在流水，鐘子期曰：“善哉，洋洋兮若江河 ！”伯牙所念，鐘子期必得之。子期死，伯牙謂世再無知音，乃破琴絕弦，終身不復鼓。
《琴操》、《樂府解題》記載有伯牙學琴的故事：著名琴家成連先生是伯牙的老師，伯牙跟成連學了三年琴卻沒有太大的長進。成連說自己只能教彈琴技藝，而其師萬子春善移情，便帶伯牙去東海找萬子春請教移情之法。可伯牙到了東海，並未見到方子春，只看見洶湧的波濤，杳深的山林和悲啼的群鳥，伯牙心中豁然壹亮，感慨地說：“先生移我情矣！”於是創作了《水仙操》。