前言
在過去60年間，機械硬盤的容量呈指數級增長的同時體積也越來越小。1956年IBM一塊 5兆的巨型硬盤需要數人推上車去運輸，到2016年一塊3.5寸的機械硬盤就有10TB的大小，60年增長了9個數量級。但與容量和體積的變化相比，機械硬盤的性能增長非常緩慢，吞吐率基本保持在200兆每秒上下。IOPS增長更慢，一塊7200轉的硬盤在不同的iodepth下的IOPS次數大概在100-200范圍內。這是容量與性能上的失衡。
而另一方面，目前市場上固態硬盤和機械硬盤報價，單GB的成本可以相差10倍，巨大的差價就是巨大的優化空間。
容量與性能、成本的失衡促使美團云存儲研發團隊開始推進混合存儲系統的研究。
設計混合存儲系統的意義
通常，根據成本和性能這兩個維度，我們可以將云硬盤分成3檔：
① 容量型云硬盤：成本比較低，性能也比較低的產品
② 效率型云硬盤：成本及性能適中的產品
③ 性能型云硬盤：性能比較高，價格也比較高
| 容量型 | 效率型 | 性能型 | |
| IOPS | 數百 | 小幾千 | 兩萬 |
| 吞吐率（MB/s） | 數十 | 一百多 | 兩百多 |
| 延遲（ms） | <10 | <3 | <3 |
| 單價（元/GB/月） | 低 | 中 | 高 |
因為性價比適中，所以我們在云平臺上給用戶創建最多就是效率型的云硬盤。
我們不妨計算一下，如果要求云平臺為100個云硬盤同時提供4000并發IOPS能力的話，我需要準備一個什么樣的系統。有兩種實施方案：
第一種，如果用傳統的機械硬盤去搭建這個系統，大致需要6千塊硬盤，產生48千瓦的功耗，3年TCO就會達到千萬元。
第二種，用單盤性能3萬（保守估計）IOPS的固態硬盤，則只需40塊，功耗是0.1千瓦，3年TCO只有20萬。
兩種方案同樣達到目標的情況下呈現出50倍的成本差距，固態硬盤性價比優勢更明顯。
因此，當我們設計存儲系統的時候，性能和容量主要為滿足需求，當這需求確定了之后，就會有一個最優成本方案。這也是我們設計混合存儲系統的一個主要思路。下面具體講一下如何通過對混合存儲系統進行成本優化和性能優化來實現這一想法。
混合存儲-成本優化路徑
緩存優化
在如何平衡需求與成本獲得最優解的思考中，我們很自然地想到將機械硬盤的很多flash組合起來形成混合存儲，并讓每一塊flash都發揮出比較顯著的優勢。那么如何優化呢？
優化的方式有以下兩種：
一種是RAID卡緩存，把閃存當作機械硬盤的混存。如果要是這樣混存的話，其實最簡單的就是在RAID卡上面有加一個小的閃存給做緩存；
另一種是內核緩存，為內核增加了一些模塊，如用flash給機械硬盤做緩存。
緩存的優化方案有很高的性價比，加上去之后效果是立竿見影。但是有一些缺陷，優化效果受限于緩存的命中率，對隨機讀測試無效，無法實現產品承諾。所以我們沒有放棄了這一方案。
糾刪碼
降低成本還有一種方式就是糾刪碼，傳統的分布式存儲一般是3塊數據，每一塊數據分3個副本，一共要存12塊。換了糾刪碼的話，3塊數據通過數據運算產生兩個校驗塊，則是存6塊，達到空間下降一半的效果。
但是糾刪碼分布式存儲條件下，尤其是熱的分布式可讀可寫的情況下，實現糾刪碼是一個非常復雜的過程。而且它在寫作的時候對性能是有影響，因為寫的時候有編碼，而編碼會對IO流程產生一些影響，會對性能產生負面效果。
所以我們嘗試了一些其他的方案。首先我們進行了一個性能測試，用不同的測試方式對SSD隨機寫的性能IOPS和機械硬盤順序寫的IOPS分別進行了測試。
測試結果顯示，機械硬盤隨機IO非常差，但是順序IO結果不錯，大致可以達到跟一塊SSD的水平。這一結果啟發了我們，可以在機械硬盤上用順序寫的方式重新寫。
當客戶端要讀數據的時候，數據就直接從閃存里面去讀；當寫的時候，寫到閃存里，同時順序的寫到兩塊機械硬盤上面。這樣的話，讀是從固態硬盤讀，可以保證良好性能；寫的時候固態硬盤隨機寫性能也好，換了這方式以后整個系統的性能就實現了均衡。
前文提到在機械硬盤上是順序寫，順序寫有一個問題，因為順序寫相當于排列隊列，讀的時候就需要知道到隊列的位置去讀。所以這種方式對讀很不利，我們還是要把專用的順序寫到專用數據，回寫到所謂數據塊里面。所以，這需要系統允許在比較閑置的時機，將數據回寫到Journal，保證這順序有高有低的。實測，線上workload存在明顯的波峰波谷現象，所以也證明了通過糾刪碼實現混合存儲這一方案實現成本優化的可行性。
上述混合存儲的思路是基于美團云的塊存儲系統得以實現的，整個系統是美團云存儲團隊完全自主研發。關于該存儲系統的詳解，可點擊http://tech.meituan.com/block-store.html《分布式塊存儲系統Ursa的設計與實現》了解詳情。后續我們還將分享糾刪碼的相關內容，請持續關注美團云官方微信的更新。
混合存儲-性能優化路徑
固態硬盤的性能非常好，如果想要把固態硬盤性能發揮出來的話，需要在軟件上做很多的優化。第一個方面是優化代碼效率，第二是發覺利用并行性。
代碼效率
在代碼效率方面的優化，有幾個方面：
-
避免使用Iostream
Stack vs new/delete
Resource poling&caching
Logging
SSE/AVX（CRC、EC）
避免使用Sendfile()
保持可維護性
上述幾種方式中，Sendfile有一個非常大的問題，它不支持異步文件讀取，這樣的話會影響服務端的并發處理，反而會降低性能，所以我們不建議用sendfile。還有iostream，我們注意到有些開源存儲系統在使用，雖然在IO提升方面可能是比較方便的方式，但是效率比較低，因此我們也不建議使用。
并行
在并行的方面，有四個優化方向：
① 無關任務獨立并行執行
在服務端把無關的每一個Disk都有一個或多個進程進行服務，客戶端每virtual disk 一個進程；
② 盤內并行
使用異步API；
③ 任務流出：流水化處理
磁盤和網絡并行運行。
從這圖上可以看出來網絡的流水化對IOPS提升非常明顯。
④ 任務完成：亂序完成
慢請求不阻塞其他請求。
SubChunk
IOPS方面，機械硬盤吞吐率表現較差一些。所以我們會把機械硬盤上面做SubChunk來提高吞吐率。
確定優化方案后，我們對該方案進行了一些性能評估。測試環境中我們用了三臺服務器，其中一臺服務器配了12塊SSD，另外配了12塊HDD。
-
在吞吐率方面我們的混合存儲方案性能可以跟SSD性能相差不大；
在IOPS方面可以說兩種方式基本上是沒有什么顯著區別的；
在延遲上，我們首先用了ping-4KB做測試，大概是一百多us的延遲，然后按照SSD ping-4KB、SSD-Hybrid、SSD3R分別去讀寫數據測延遲，SSD-Hybrid與SSD3R的延遲基本持平。這個延遲對于TCP網絡加以太網還是不錯的。
因此這一混合存儲方案從性能和成本是上能夠滿足產品需求的。性能上面還有一些潛力可挖，比如說用RDMA等，對此，我們今后還將持續優化。
版權聲明：本文內容由互聯網用戶自發貢獻，該文觀點僅代表作者本人。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如發現本站有涉嫌抄襲侵權/違法違規的內容， 請發送郵件至 舉報，一經查實，本站將立刻刪除。