陶建輝： 為什么要做“超融合”呢？目前通用的大數(shù)據(jù)平臺，往往要集成五六個甚至七八個軟件，對于研發(fā)者來講挑戰(zhàn)很大，因為你不只要學(xué)一個軟件、掌握一個工具，而是要同時掌握好多個工具。對于企業(yè)管理人員來講，連招人都很困難。而且每個開源軟件，你認真細究都會出問題。如果我們把所有這些功能集成在一起，只需要一個軟件就能提供所有功能，就能夠把開發(fā)的難度大大降低。而且因為我們使用的是標(biāo)準(zhǔn)的 SQL 接口，只要學(xué)過計算機的人，幾乎沒有不會用的，因此我們就讓研發(fā)和維護都變得極其簡單，這點改進是非常重要的。同時，TDengine 也有它特別的地方，它只面向物聯(lián)網(wǎng)行業(yè)。它不適合做輿情分析，不適合做用戶畫像，不適合好多通用的互聯(lián)網(wǎng)行業(yè)應(yīng)用場景，我們只能做物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、運維監(jiān)測這些場景，比如風(fēng)力發(fā)電、國家電網(wǎng)物聯(lián)網(wǎng)的建設(shè)等。

InfoQ：能不能再談一談怎么實現(xiàn)“超融合”，技術(shù)上可以分為哪幾塊?

陶建輝： 數(shù)據(jù)庫插入數(shù)據(jù)的時候，一般需要先進入消息隊列緩存起來。而物聯(lián)網(wǎng)的數(shù)據(jù)很特殊，它實際上非常類似消息隊列，因為物聯(lián)網(wǎng)采集的數(shù)據(jù)是按照時間順序源源不斷發(fā)過來的，它本身就是一個隊列。第二點，物聯(lián)網(wǎng)最重要的特點就是要看實時狀態(tài)，因此我們會把每個設(shè)備的數(shù)據(jù)都直接緩存在內(nèi)存里一段時間，緩存的時間會根據(jù)它采集的時間長度定。而互聯(lián)網(wǎng)應(yīng)用的緩存不是由這個決定的，它的緩存是由用戶行為決定的，比如說這條微博點擊的人特別多，就要一直緩存著。但物聯(lián)網(wǎng)數(shù)據(jù)不是這樣的，對于物聯(lián)網(wǎng)數(shù)據(jù)，大家最關(guān)心的是剛采集到的數(shù)據(jù)，已經(jīng)過去幾個小時或幾天的數(shù)據(jù)，大家都不在乎。因此我們巧妙地利用了這些特點實現(xiàn)了消息隊列和緩存。另外還有流式計算，因為物聯(lián)網(wǎng)數(shù)據(jù)本身就是流式的，我們能夠順其自然地推出流式計算，當(dāng)然最后這些數(shù)據(jù)也要存起來，數(shù)據(jù)庫也要能做歷史數(shù)據(jù)的分析，這都是數(shù)據(jù)庫本來就擅長的。

InfoQ：從性能測試結(jié)果來看，TDengine 在讀寫性能、集群水平擴展性能等各方面表現(xiàn)都非常驚人。能否談?wù)勀銈冊诩夹g(shù)上做了哪些創(chuàng)新？

陶建輝： 主要是我們的數(shù)據(jù)模型不一樣。我們的數(shù)據(jù)模型要求對每個采集點，或者每個采集設(shè)備單獨建表。比如說你有一千萬個智能電表，它就建一千萬張表。單獨建表的好處是什么？單獨建表之后，每個設(shè)備采集的數(shù)據(jù)在內(nèi)存里或者硬盤上，就會是一塊一塊連續(xù)存放的。當(dāng)然，不可能完全無限連續(xù)，但可以做到 4K、16K、64K 這樣連續(xù)。這樣一來，讀數(shù)據(jù)的時候就會讀完整的一塊。因為物聯(lián)網(wǎng)還有一個特點是從來不關(guān)心單個點的值，而更多關(guān)心的是整個趨勢。因此物聯(lián)網(wǎng)場景下做查找的時候，往往是查 5 分鐘的數(shù)據(jù)。但 5 分鐘的數(shù)據(jù)又包含很多點，因此我們這種設(shè)計，就能夠讓查詢速度大大加快。按照我們的數(shù)據(jù)模型設(shè)計，一次讀取可能可以讀一千條記錄出來，而按照以前的數(shù)據(jù)庫設(shè)計，如果要讀一千條記錄可能就要一千次 IO 操作，一定會慢。

那么寫操作為什么我們也能夠做到很快？對于物聯(lián)網(wǎng)設(shè)備來講，我們設(shè)計成一個設(shè)備一張表以后，每寫一張表其實就是一個設(shè)備在寫。因為物聯(lián)網(wǎng)的數(shù)據(jù)，比如說車或者智能電表、智能手環(huán)，數(shù)據(jù)一定是某一個設(shè)備產(chǎn)生的，一張表對應(yīng)的數(shù)據(jù)生產(chǎn)者是唯一的，同時只會有一個設(shè)備在寫這個表，從技術(shù)上來看就很簡單了。另一方面，物聯(lián)網(wǎng)數(shù)據(jù)是按時間順序來的，這就意味著它是一個追加操作，所以寫操作自然就很快。

但是我們這種數(shù)據(jù)模型，也有另外一個問題，那就是表的數(shù)量太多了，比如說一千萬個智能電表，那就一千萬張表。這些表如果只是單獨看，那我們這個方法已經(jīng)足夠好了。對單個電表或者單個汽車的數(shù)據(jù)的插入、查詢速度，都不可能有比我們快的。但是如果要做聚合，那就很麻煩。因此，我們還有另外一個很重要的創(chuàng)新，叫超級表。超級表指的是將同一類型的設(shè)備看作一個表，每個表可以帶標(biāo)簽，比如喜來登酒店 11 樓某個房間的電表，聚合的時候只要統(tǒng)計 11 樓的十幾個電表，或者整個喜來登酒店一百個電表，查詢起來還是很快的。如果沒有這個超級表的創(chuàng)新，我們的產(chǎn)品也不太可能受歡迎。

InfoQ：TDengine 在高可靠性方面做了哪些工作？其可靠性可以做到什么程度？

陶建輝： 我們研發(fā) TDengine 的時候是基于一個假設(shè)，那就是任何軟件、任何硬件都是不可靠的，也就是說任何軟件不可能沒有 Bug，任何硬件不可能不出問題。基于這個假設(shè)，我們就要做一個多副本的分布式系統(tǒng)，數(shù)據(jù)都可以丟，硬盤都可以換，甚至我們做到了什么程度呢？我們支持熱插拔，硬盤壞了可以當(dāng)場換，甚至 IDC 機房遷移的過程中，數(shù)據(jù)庫仍然可以繼續(xù)工作，做到了這種程度。

在可靠性方面，我們主要用到了業(yè)內(nèi)公開的一些 NoSQL 分布式數(shù)據(jù)庫的方法。當(dāng)然我們也充分利用了物聯(lián)網(wǎng)數(shù)據(jù)的特點，才能夠做得足夠好。我們堅信物聯(lián)網(wǎng)一定會發(fā)展起來，可能不到五年或五年左右的時間，世界上 90% 的數(shù)據(jù)都會是物聯(lián)網(wǎng)類型的數(shù)據(jù)。

InfoQ：與現(xiàn)有的時序數(shù)據(jù)庫產(chǎn)品相比，TDengine 的優(yōu)勢是什么？

陶建輝：TDengine 的優(yōu)勢是高性能而且簡單易學(xué)，它的安裝包只有 1.5MB，從下載到安裝成功運行不會超過 5 秒鐘，這是現(xiàn)在沒有任何大數(shù)據(jù)軟件能做到的。但我們跟現(xiàn)有的大數(shù)據(jù)產(chǎn)品相比當(dāng)然也有弱點，我們的產(chǎn)品僅僅開發(fā)了兩年時間，生態(tài)還有待完善，而 InfluxDB 數(shù)據(jù)采集接口和應(yīng)用軟件的接口已經(jīng)有很多了，這是我們后面要長期努力的目標(biāo)。

InfoQ：TDengine 做到了高性能和易用性，但技術(shù)沒有完美的技術(shù)，TDengine 是否在其他方面做了平衡和妥協(xié)？

陶建輝： 我們做的妥協(xié)是什么？第一個，剛才我一直強調(diào)，我們是專門做物聯(lián)網(wǎng)的數(shù)據(jù)，做不了微博的數(shù)據(jù)，做不了微信、電商的數(shù)據(jù)，這些都做不了，我們真正做的是物聯(lián)網(wǎng)、車聯(lián)網(wǎng)，這是一個。第二個妥協(xié)是，從技術(shù)的角度來看，我們是采用結(jié)構(gòu)化方法實現(xiàn)的，這意味著開發(fā)者需要自己定義表的結(jié)構(gòu)。而像 InfluxDB、OpenTSDB 是不需要定義表的結(jié)構(gòu)的，因為他們都是 NoSQL，不用定義 Schema，開發(fā)者愛怎么寫數(shù)據(jù)就怎么寫，如果已經(jīng)習(xí)慣了這種做法可能就會覺得 TDengine 不好用。但如果你歷來都只是用 MySQL、Oracle 這種結(jié)構(gòu)化數(shù)據(jù)庫，那就沒有問題。但結(jié)構(gòu)化的方法在物聯(lián)網(wǎng)、車聯(lián)網(wǎng)行業(yè)并不是個問題，這是我們在準(zhǔn)備開發(fā)之前就決定的。因為物聯(lián)網(wǎng)數(shù)據(jù)都是由硬件設(shè)備采集的，硬件的數(shù)據(jù)格式是固定的，一般很少改動，除非固件更新，但固件更新的可能性很小。而互聯(lián)網(wǎng)應(yīng)用開發(fā)則需要頻繁迭代和更新，變化太大，所以它用 Schemaless 這種不需要定義結(jié)構(gòu)的方法就是很合適的。但物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)的數(shù)據(jù)格式可能一輩子都不更新，所以結(jié)構(gòu)化就不是很大的障礙。

InfoQ：現(xiàn)階段大部分企業(yè)都已經(jīng)搭建了自己的大數(shù)據(jù)平臺，讓他們整套切換到一個新的大數(shù)據(jù)平臺并不現(xiàn)實，TDengine 是否可以與已有的大數(shù)據(jù)生態(tài)兼容？對于 TDengine 的落地應(yīng)用和推廣，您是怎么考慮的？

陶建輝： 基礎(chǔ)軟件切換的成本極其高，最終還是要看這個企業(yè)有沒有遇到真正的難點和痛點，現(xiàn)在我們付費的客戶都是已經(jīng)遇到了難點和痛點，他覺得非得拋棄眼前已有的大數(shù)據(jù)平臺。那么難點和痛點在哪里？第一，我們有一個做車聯(lián)網(wǎng)的客戶，目前已經(jīng)擁有 PB 級別的數(shù)據(jù)，查歷史數(shù)據(jù)幾乎讀都讀不出來，他們現(xiàn)在就用 HBase 層的，他們老板找他，無論怎么搞都要查出來，哪怕幾秒鐘也行，但問題是幾秒鐘都查不出來，他非得解決這個問題，就成了我們的客戶。還有另外一個客戶，他們的數(shù)據(jù)量已經(jīng)很大了，他們覺得成本太高了，而我們能夠把他們的總擁有成本降到原來的 20% 都不到，比如原來需要十臺服務(wù)器，現(xiàn)在一臺就夠了。因為 TDengine 的存儲做得很好，以前 10 個 T 的數(shù)據(jù)，到我們這里變成一個 T 了，那這肯定就要換，因為能省很多錢。還有一類是什么？因為大數(shù)據(jù)系統(tǒng)，尤其是 Hadoop 這個體系已經(jīng)深入人心了，但其實它在很多場景下數(shù)據(jù)量并不大，但是 Hadoop 要做一套私有化部署的時候，可能要裝 HDFS、HBase、Kafka 等一系列的東西，這個成本真的高，不是機器的成本，而是安裝部署維護的成本極其高。那如果我們能夠提供一個統(tǒng)一融合的解決方案，只要一個小軟件全部搞定，就能大大簡化安裝部署維護的難度，那么客戶就會有足夠的動力來換。同時，對于已經(jīng)自建大數(shù)據(jù)平臺的企業(yè)，我們也會提供一些工具，比如數(shù)據(jù)遷移的工具，甚至我們會兼容一些現(xiàn)有的接口，對于用戶來說接口和以前可能一模一樣，只要換個 IP 地址就行了。

InfoQ：目前已經(jīng)有客戶在試用或在實際業(yè)務(wù)中使用 TDengine 了嗎？

陶建輝： 我們試用的客戶有好幾十家了，而最終買單的客戶馬上就超過十家，包括車聯(lián)網(wǎng)、電力、數(shù)控機床、智慧城市等不同行業(yè)場景的客戶。

InfoQ：當(dāng)前 TDegine 還存在哪些問題有待解決？

陶建輝： 應(yīng)該不算是問題，而是一些需要不斷改善的地方。其中一個是我們的流計算做得還不夠，比如說我們現(xiàn)在支持簡單的滑動窗口，未來需要把它變成事件驅(qū)動的流計算，然后我們還要支持用戶自定義函數(shù)。等我們把用戶自定義函數(shù)和事件驅(qū)動完善后，TDengine 會在物聯(lián)網(wǎng)領(lǐng)域發(fā)揮機器大的作用，數(shù)據(jù)清洗、規(guī)則引擎都可以用一套軟件完全搞定，很多工具都不再需要了。

InfoQ：對于 TDengine 接下來的研發(fā)重點和推廣部署，您還有什么進一步的計劃？

陶建輝： 今天我們就是來宣布 TDengine 開源的，開源是我們的一個推廣方式。當(dāng)然我們確實越需要開源，尤其是要把我們最核心的代碼開源出來。就像剛才講的，為什么 TDengine 能夠比其他產(chǎn)品快一二十倍？如果你不相信，你可以去看我們開源的源代碼，看完之后你就知道，這個代碼保證快。在中國，很多用戶都不愿意付費，都希望用開源軟件，那我們就開源給你用，這是我們的一個推廣方式，我們希望把這個社區(qū)經(jīng)營起來，從而打造品牌、擴大影響力。另外一方面，我們也非常歡迎其他開發(fā)者加入進來共同為這個項目做貢獻，比如說我們需要各種數(shù)據(jù)采集接口，開源之后可能就會有人參與進來一起貢獻代碼。

另外一方面，我們除了開源版之外，還會有企業(yè)版。企業(yè)版是要收費的，它是一個高可靠可擴容升級的版本，并且會提供專業(yè)的一對一服務(wù)。我們還有第三個版本就是云服務(wù)版本，我們會將這個版本放在阿里云、AWS 等不同的云平臺上面，企業(yè)可以直接購買我們的服務(wù)，按照用量和使用時長來收費。

InfoQ：現(xiàn)在 TDengine 已經(jīng)在 GitHub 正式開源，你們采用的是什么樣的開源許可？

陶建輝： 我們采用是 AGPL 許可，這個開源許可意味著，只要你使用了我們的開源軟件，你也必須開源。

InfoQ：作為一款開源產(chǎn)品，肯定繞不開開源和商業(yè)盈利模式的問題，TDengine 開源之后的盈利模式，您是怎么考慮的？

陶建輝： 我們開源的技術(shù)一定會盡最大的努力去維護，但我們還有企業(yè)版，就像我們的競爭對手，比如說 InfluexDB，我們的模式幾乎跟它一模一樣，都是有開源版、企業(yè)版和云端版。像 MongoDB 也是這樣，有企業(yè)版、社區(qū)版和云端版本。

InfoQ：但其實現(xiàn)在 MongoDB 跟云廠商之間也存在一些糾葛，那你們未來和云廠商之間的關(guān)系是怎么考慮的？

陶建輝：當(dāng)然，我們希望跟云廠商采取合作的方式，但你完全免費地拿這個東西在云上提供服務(wù)，我們的 AGPL 許可是不允許的。不可能我們整個團隊辛辛苦苦開發(fā)的代碼，直接被你拿去賺錢，這是整個開源社區(qū)和云廠商之間最大的問題。比如說 MySQL 這么流行，結(jié)果云廠商什么貢獻都沒做卻從 MySQL 賺了很多錢。我們所使用的 AGPL 許可和 MongoDB 搞的服務(wù)器端公共許可證（SSPL）都是來解決這個問題的，包括 Redis，最近大家修改開源協(xié)議的原因都是為了避免這樣的情況發(fā)生。

InfoQ：目前 TDengine 跟國內(nèi)云廠商已經(jīng)有一些合作了嗎？

陶建輝： 還沒有。但我的信號十分明確，肯定不能讓他們免費使用我們的開源代碼，他們必須有貢獻。等我們的開發(fā)者社區(qū)和用戶群慢慢壯大起來，我相信一定能走到合作的一天。其實開源和云不是天生敵人，而是可以互利互贏的。

InfoQ：那么下一步 TDengine 的開發(fā)者社區(qū)和生態(tài)，您打算怎么去推進？

陶建輝： 這是下一步整個公司的重心，我們新上線的網(wǎng)站里面會有博客，我們會在 GitHub 上、Twitter 上、微博上、Stackoverflow 上，各種技術(shù)論壇與開發(fā)者互動，我們也會參加比如像 ArchSummit 架構(gòu)師峰會這樣的開發(fā)者大會，我們也會自己組織活動，線上線下一起來推動社區(qū)的發(fā)展。

采訪嘉賓介紹：

陶建輝，濤思數(shù)據(jù)創(chuàng)始人，1986 年考入中國科大，1994 年到美國印第安納大學(xué)攻讀天體物理博士，曾在美國芝加哥 Motorola、3Com 等公司從事 2.5G、3G、WiFi 等無線互聯(lián)網(wǎng)的研發(fā)工作，國際頂尖無線數(shù)據(jù)專家。2008 年回到北京創(chuàng)辦和信，專注移動互聯(lián)網(wǎng) IP Push 和 IP 實時消息服務(wù)，2010 年和信被臺灣聯(lián)發(fā)科收購。2013 年再度創(chuàng)業(yè)，創(chuàng)辦快樂媽咪，專注母嬰智能硬件和母嬰健康服務(wù)，2016 年初快樂媽咪被太平洋網(wǎng)絡(luò)收購。2017 年 5 月創(chuàng)辦濤思數(shù)據(jù)，專注時序空間大數(shù)據(jù)的實時高效的處理（存儲、查詢、計算等），其產(chǎn)品 TDengine 比其他業(yè)內(nèi)標(biāo)桿能好 10 倍以上，可廣泛運用于物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)大數(shù)據(jù)、金融等領(lǐng)域。

今日薦文

《思科回應(yīng)上海裁員；韓企被爆用免費飲料換 GitHub 上的 star；蘋果合同工定期監(jiān)聽 Siri 錄音丨 Q 新聞》

點擊“了解更多”，查看文章