幾乎由零值組成的矩陣叫稀疏矩陣。
在矩陣中，若數值為0的元素數目遠遠多於非0元素的數目，並且非0元素分布沒有規律時，則稱該矩陣為稀疏矩陣；與之相反，若非0元素數目占大多數時，則稱該矩陣為稠密矩陣。定義非零元素的總數比上矩陣所有元素的總數為矩陣的稠密度。
矩陣中非零元素的個數遠遠小於矩陣元素的總數，並且非零元素的分布沒有規律，通常認為矩陣中非零元素的總數比上矩陣所有元素總數的值小於等於0.05時，則稱該矩陣為稀疏矩陣（sparse matrix），該比值稱為這個矩陣的稠密度。
與之相區別的是，如果非零元素的分布存在規律（如上三角矩陣、下三角矩陣、對角矩陣），則稱該矩陣為特殊矩陣。比較基本的定義是矩陣中的大多數元素為零，並且可以利用零元素節約大量存儲、運算和程序運行時間。
矩陣：
矩陣指在數學中，按照長方陣列排列的復數或實數集合，最早來自方程組的系數及常數所構成的方陣，由1英國數學家凱利首先提出。它是高等代數學中的常見工具，其運算是數值分析領域的重要問題。將矩陣分解為簡單矩陣的組合，可以在理論和實際應用上簡化矩陣的運算。
成書最遲在（東漢）前期的《九章算術》中，用分離系數法表示線性方程組，得到了其增廣矩陣。在消元過程中，使用的把某行乘以某壹非零實數、從某行中減去另壹行等運算技巧，相當於矩陣的初等變換。
但那時並沒有現今理解的矩陣概念，雖然它與現有的矩陣形式上相同，但在當時只是作為線性方程組的標準表示與處理方式。矩陣正式作為數學中的研究對象出現，則是在行列式的研究發展起來後。邏輯上，矩陣的概念先於行列式，但在實際的歷史上則恰好相反。