高性能、分布式的時序數據庫
TDengine TSDB 是一款高性能、集群開源、云原生、極簡的時序數據庫,它能安全高效地將大量設備每天產生的高達 TB 甚至 PB 級的數據進行匯聚、存儲、分析和分發,并提供 AI 智能體對數據進行預測與異常檢測,提供實時的商業洞察。
TDengine TSDB 產品簡介
TDengine TSDB 核心是一款高性能、集群開源、云原生的時序數據庫(Time Series Database,TSDB),專為物聯網 IoT 平臺、工業互聯網、電力、IT 運維等場景設計并優化,具有極強的彈性伸縮能力。同時它還帶有內建的緩存、流式計算、數據訂閱等系統功能,能大幅減少系統設計的復雜度,降低研發和運營成本。作為一款高性能、分布式的物聯網 IoT、工業大數據平臺,TDengine TSDB 能安全高效地將大量設備、數據采集器每天產生的高達 TB 甚至 PB 級的數據進行匯聚、存儲、分析和分發,對業務運行狀態進行實時監測、預警,提供實時的商業洞察。
2019 年 7 月,濤思數據將 TDengine TSDB 單機版開源,又分別在 2020 年 8 月和 2022 年 8 月,將 TDengine TSDB 集群版和云原生版開源。開源后,TDengine 迅速獲得了全球開發者的關注,多次登上 GitHub 全球趨勢排行榜首位。
TDengine TSDB 產品分類
TDengine 包括開源版 TDengine TSDB-OSS、企業版 TDengine TSDB-Enterprise 以及云服務 TDengine Cloud。
TDengine TSDB 主要功能與特性
TDengine TSDB 既不依賴任何第三方軟件,也不是優化或包裝了一個開源的數據庫或流式計算產品,而是基于濤思數據團隊對眾多傳統關系型數據庫、NoSQL 數據庫、流式計算引擎、消息隊列等軟件的深入吸收和自主創新。TDengine TSDB 具備時序數據匯聚、存儲、分析與分發的功能,并擁有獨特的技術優勢。
數據匯聚:
TDengine TSDB 能將各種類型的數據源,包括 MQTT、OPC UA、OPC DA、Kafka、CSV,傳統實時數據庫如 PI System、Wonderware 等數據進行匯聚,并進行數據的清洗、加工和轉換,確保入庫數據的質量、便于集中監測和數據整體分析。
數據存儲:
TDengine TSDB 將匯聚的數據進行高效存儲,通過列式存儲、兩級壓縮以及針對不同數據類型的不同壓縮算法等技術手段,實現了比通用數據庫高十倍以上的壓縮率。同時,通過按時間段分區、按設備分片、存算分離等技術,TDengine TSDB 提供了強大的水平擴展能力。
數據分析:
TDengine TSDB 支持標準的 SQL 查詢,并提供時序數據擴展函數 (如時間加權平均)。它還支持嵌套查詢、UDF 和實時流式計算。通過標準的 JDBC、ODBC 接口,TDengine TSDB 能與眾多的可視化、BI、AI/ML 工具,如 Grafana、Power BI 等無縫集成,方便用戶進行更高級的數據分析。
數據分發:
TDengine TSDB 提供數據訂閱功能,允許將一個數據庫、一張超級表、一組表或單張表的數據、以及在特定時間段聚合、過濾加工處理后的數據實時分發給第三方應用。這一功能不僅實現了數據分發的顆粒度精細可控,而且通過權限控制及加密等措施確保了數據分發的安全。
TDengine TSDB 與典型時序數據庫的區別
由于充分利用了時序數據特點,并采用獨特創新的“一個數據采集點一張表” “超級表”的屬于模型,與其他時序數據庫相比,TDengine TSDB 擁有以下特點:
快 10 倍以上的讀寫性能:
充分利用時序大數據的特點,TDengine TSDB 設計了新穎的存儲引擎,大幅提升了數據的寫入和查詢速度,同時也大幅提高了數據壓縮率。相對通用數據庫,讀、寫、數據壓縮性能至少高十倍以上;TSBS 基準測試結果顯示,相對于 TimescaleDB、InfluxDB,性能也是遠超。
不到 1/10 的存儲成本:
TDengine TSDB 提供多種壓縮算法,壓縮比業界領先,能將數據集壓縮至原始大小的 1/10。并且提供了數據分級存儲、S3 存儲等功能,將不同時間段的數據存儲在掛載的不同介質上的目錄里,從而實現不同“熱度”的數據存儲在不同的存儲介質上,充分利用壓縮、存儲,節約成本。支持 10 億數據采集點的水平擴展能力,TDengine TSDB 從設計的第一天起,就是水平擴展的。從 3.0 起,TDengine TSDB 支持云原生,能充分利用云平臺的存儲、計算、網絡資源的彈性能力。在 10 億時間線,100 個數據節點的情況下,TDengine TSDB 性能也能得到很好的保證。時序數據處理中的“高基數”問題完全得到了解決。零代碼的高效數據匯聚,TDengine TSDB 能將來自各種類型數據源(如 PI System、MQTT、OPC 等)的工業數據匯聚到一起,并可以進行數據的清洗、加工、轉換工作,以保證入庫數據的質量,便于集中監測、進行總體數據分析。TDengine TSDB 是一個零代碼平臺,只需很少的配置,即可實現工業數據源的 ETL 流程。
全棧時序數據處理平臺:
為了降低系統設計復雜度和運行成本,TDengine TSDB 充分利用時序數據的特點,構建了自己的緩存、流式計算和數據訂閱功能。它不僅提供了一種高效的時序數據存儲和分析方式,還為時序數據的處理提供了一種極簡的解決方案。
開放的生態系統:
不僅核心代碼開源,支持標準 SQL 查詢,還提供標準化接口,可以通過 ODBC、JDBC 及各種編程語言連接器集成可視化、AI/BI 工具。支持 PI System、MQTT、OPC 等工業數據接口,簡化工業數據的 ETL 流程。高效的數據訂閱工具實現便捷、安全的數據共享,避免被廠商綁定。
技術生態
在整個時序大數據平臺中,TDengine TSDB 扮演的角色如下:
典型適用場景
作為一款基礎軟件,TDengine TSDB 的應用領域極其廣泛。原則上,所有涉及機器、設備、傳感器采集數據的場景都適用,包括但不限于 IoT、工業互聯網、車聯網、IT 運維、能源、金融證券等領域。需要指出的是,TDengine TSDB 是針對時序數據場景設計的專用數據庫和專用大數據處理工具,因其充分利用了時序大數據的特點,它無法用來處理網絡爬蟲、微博、微信、電商、ERP、CRM 等通用型數據。下面本文將對適用場景做更多詳細的分析。