古詩詞大全網 - 成語查詢 - tidb

tidb

TiDB 是 PingCAP 自主研發的開源分布式關系型數據庫,具備商業級數據庫的數據可靠性,可用性,安全性等特性,支持在線彈性水平擴展,兼容 MySQL 協議及生態,創新性實現 OLTP 及 OLAP 融合。

TiDB 3.0 版本顯著提升了大規模集群的穩定性,集群支持 150+ 存儲節點,300+TB 存儲容量長期穩定運行。易用性方面引入大量降低用戶運維成本的優化,包括引入 Information_Schema 中的多個實用系統視圖、EXPLAIN ANALYZE、SQL Trace 等。在性能方面,特別是 OLTP 性能方面,3.0 比 2.1 也有大幅提升,其中 TPC-C 性能提升約 4.5 倍,Sysbench 性能提升約 1.5 倍,OLAP 方面,TPC-H 50G Q15 因實現 View 可以執行,至此 TPC-H 22 個 Query 均可正常運行。新功能方面增加了窗口函數、視圖(實驗特性)、分區表、插件系統、悲觀鎖(實驗特性)。

截止本文發稿時 TiDB 已在 500+ 用戶的生產環境中長期穩定運行,涵蓋金融、保險、制造,互聯網, 遊戲 等領域,涉及交易、數據中臺、 歷史 庫等多個業務場景。不同業務場景對關系型數據庫的訴求可用 “百花齊放”來形容,但對關系數據庫最根本的訴求未發生任何變化,如數據可靠性,系統穩定性,可擴展性,安全性,易用性等。請跟隨我們的腳步梳理 TiDB 3.0 有什麽樣的驚喜。

3.0 與 2.1 版本相比,顯著提升了大規模集群的穩定性,支持單集群 150+ 存儲節點,300+TB 存儲容量長期穩定運行,主要的優化點如下:

1. 優化 Raft 副本之間的心跳機制,按照 Region 的活躍程度調整心跳頻率,減小冷數據對集群的負擔。

2. 熱點調度策略支持更多參數配置,采用更高優先級,並提升熱點調度的準確性。

3. 優化 PD 調度流程,提供調度限流機制,提升系統穩定性。

4. 新增分布式 GC 功能,提升 GC 的性能,降低大集群 GC 時間,提升系統穩定性。

眾所周知,數據庫查詢計劃的穩定性對業務至關重要,TiDB 3.0 版本采用多種優化手段提升查詢計劃的穩定性,如下:

1. 新增 Fast Analyze 功能,提升收集統計信息的速度,降低集群資源的消耗及對業務的影響。

2. 新增 Incremental Analyze 功能,提升收集單調遞增的索引統計信息的速度,降低集群資源的消耗及對業務的影響。

3. 在 CM-Sketch 中新增 TopN 的統計信息,緩解 CM-Sketch 哈希沖突導致估算偏大,提升代價估算的準確性,提升查詢計劃的穩定性。

4. 引入 Skyline Pruning 框架,利用規則防止查詢計劃過度依賴統計信息,緩解因統計信息滯後導致選擇的查詢計劃不是最優的情況,提升查詢計劃的穩定性。

5. 新增 SQL Plan Management 功能,支持在查詢計劃不準確時手動綁定查詢計劃,提升查詢計劃的穩定性。

1. OLTP

3.0 與 2.1 版本相比 Sysbench 的 Point Select,Update Index,Update Non-Index 均提升約 1.5 倍,TPC-C 性能提升約 4.5 倍。主要的優化點如下:

1. TiDB 持續優化 SQL 執行器,包括:優化 NOT EXISTS 子查詢轉化為 Anti Semi Join,優化多表 Join 時 Join 順序選擇等。

2. 優化 Index Join 邏輯,擴大 Index Join 算子的適用場景並提升代價估算的準確性。

3. TiKV 批量接收和發送消息功能,提升寫入密集的場景的 TPS 約 7%,讀密集的場景提升約 30%。

4. TiKV 優化內存管理,減少 Iterator Key Bound Option 的內存分配和拷貝,多個 Column Families ***享 block cache 提升 cache 命中率等手段大幅提升性能。

5. 引入 Titan 存儲引擎插件,提升 Value 值超過 1KB 時性能,緩解 RocksDB 寫放大問題,減少磁盤 IO 的占用。

6. TiKV 新增多線程 Raftstore 和 Apply 功能,提升單節點內可擴展性,進而提升單節點內並發處理能力和資源利用率,降低延時,大幅提升集群寫入能力。

TiDB Lightning 性能與 2019 年年初相比提升 3 倍,從 100GB/h 提升到 300GB/h,即 28MB/s 提升到 85MB/s,優化點,如下:

1. 提升 SQL 轉化成 KV Pairs 的性能,減少不必要的開銷。

2. 提升單表導入性能,單表支持批量導入。

3. 提升 TiKV-Importer 導入數據性能,支持將數據和索引分別導入。

4. TiKV-Importer 支持上傳 SST 文件限速功能。

RBAC(Role-Based Access Control,基於角色的權限訪問控制) 是商業系統中最常見的權限管理技術之壹,通過 RBAC 思想可以構建最簡單“用戶-角色-權限”的訪問權限控制模型。RBAC 中用戶與角色關聯,權限與角色關聯,角色與權限之間壹般是多對多的關系,用戶通過成為什麽樣的角色獲取該角色所擁有的權限,達到簡化權限管理的目的,通過此版本的叠代 RBAC 功能開發完成。

IP 白名單功能(企業版特性) :TiDB 提供基於 IP 白名單實現網絡安全訪問控制,用戶可根據實際情況配置相關的訪問策略。

Audit log 功能(企業版特性) :Audit log 記錄用戶對數據庫所執行的操作,通過記錄 Audit log 用戶可以對數據庫進行故障分析,行為分析,安全審計等,幫助用戶獲取數據執行情況。

加密存儲(企業版特性) :TiDB 利用 RocksDB 自身加密功能,實現加密存儲的功能,保證所有寫入到磁盤的數據都經過加密,降低數據泄露的風險。

完善權限語句的權限檢查 ,新增 ANALYZE,USE,SET GLOBAL,SHOW PROCESSLIST 語句權限檢查。

1. 新增 SQL 方式查詢慢查詢,豐富 TiDB 慢查詢日誌內容,如:Coprocessor 任務數,平均/最長/90% 執行/等待時間,執行/等待時間最長的 TiKV 地址,簡化慢查詢定位工作,提高排查慢查詢問題效率,提升產品易用性。

2. 新增系統配置項合法性檢查,優化系統監控項等,提升產品易用性。

3. 新增對 TableReader、IndexReader 和 IndexLookupReader 算子內存使用情況統計信息,提高 Query 內存使用統計的準確性,提升處理內存消耗較大語句的效率。

4. 制定日誌規範,重構日誌系統,統壹日誌格式,方便用戶理解日誌內容,有助於通過工具對日誌進行定量分析。

5. 新增 EXPLAIN ANALYZE 功能,提升SQL 調優的易用性。

6. 新增 SQL 語句 Trace 功能,方便排查問題。

7. 新增通過 unix_socket 方式連接數據庫。

8. 新增快速恢復被刪除表功能,當誤刪除數據時可通過此功能快速恢復數據。

TiDB 3.0 新增 TiFlash 組件,解決復雜分析及 HTAP 場景。TiFlash 是列式存儲系統,與行存儲系統實時同步,具備低延時,高性能,事務壹致性讀等特性。 通過 Raft 協議從 TiKV 中實時同步行存數據並轉化成列存儲格式持久化到壹組獨立的節點,解決行列混合存儲以及資源隔離性問題。TiFlash 可用作行存儲系統(TiKV)實時鏡像,實時鏡像可獨立於行存儲系統,將行存儲及列存儲從物理隔離開,提供完善的資源隔離方案,HTAP 場景最優推薦方案;亦可用作行存儲表的索引,配合行存儲對外提供智能的 OLAP 服務,提升約 10 倍復雜的混合查詢的性能。

TiFlash 目前處於 Beta 階段,計劃 2019 年 12 月 31 日之前 GA,歡迎大家申請試用。

未來我們會繼續投入到系統穩定性,易用性,性能,彈性擴展方面,向用戶提供極致的彈性伸縮能力,極致的性能體驗,極致的用戶體驗。

穩定性方面 V4.0 版本將繼續完善 V3.0 未 GA 的重大特性,例如:悲觀事務模型,View,Table Partition,Titan 行存儲引擎,TiFlash 列存儲引擎;引入近似物理備份恢復解決分布數據庫備份恢復難題;優化 PD 調度功能等。

性能方面 V4.0 版本將繼續優化事務處理流程,減少事務資源消耗,提升性能,例如:1PC,省去獲取 commit ts 操作等。

彈性擴展方面,PD 將提供彈性擴展所需的元信息供外部系統調用,外部系統可根據元信息及負載情況動態伸縮集群規模,達成節省成本的目標。

我們相信戰勝“未知”最好的武器就是社區的力量,基礎軟件需要堅定地走開源路線。截止發稿我們已經完成 41 篇源碼閱讀文章。TiDB 開源社區總計 265 位 Contributor,6 位 Committer,在這裏我們對社區貢獻者表示由衷的感謝,希望更多誌同道合的人能加入進來,也希望大家在 TiDB 這個開源社區能夠有所收獲。

TiDB 3.0 GA Release Notes: /v3.0/releases/3.0-ga/