在矩陣中，若數值為0的元素數目遠遠多於非0元素的數目，並且非0元素分布沒有規律時，則稱該矩陣為稀疏矩陣；與之相反，若非0元素數目占大多數時，則稱該矩陣為稠密矩陣。
最常用的稀疏矩陣存儲格式為列壓縮存儲(compressedcolumn storage,CCS) 或行壓縮存儲( ompressedrow storage,CRS)。
階包含 nnz 個非零元的稀疏矩陣需要用列指針、行指標和非零值三個壹維數組表示，其中 nnz 維非零值數組按列記錄所有非零元素，同樣維數的行指標記錄每列非零元所在的行，n+1 維的列打針向量記錄每壹列(包括 n+1 列) 的開始位置。還有三元組表和鏈接存儲等其他格式等。符號稀疏矩陣(symbolic sparse matrix) 只需列指針和行指標兩個數組。此外，稀疏向量是稀疏矩陣的特例，只需用指標和非零值兩個數組表示，最近在電路、電子結構等領域得到越來越多的重視。