ParaText: 以2.5GB每秒的速度處理CSV文件

自然科學思維 2016-09-14

展開全文

作者：Damian Eads, June 7, 2016

盡管在數據驅動的工作中，大多數人們都會使用分布式數據庫與文件系統(tǒng)，但是在單機上快速讀取一個文件的需求仍然堅挺地存在著。令人驚訝的是，大多數現代的文件讀取器并沒有利用起多核的架構，導致在高性能存儲系統(tǒng)中大量的I/O帶寬被閑置。在這里介紹的ParaText可以在單個多核機器上并行地讀取文件以更有效地使用帶寬。Alpha版本包含了一個并行CSV讀取器。

在大約50年里，CSV一直被用做表格式數據的格式。由于CSV文件隨處可見，且在實際的工作流中處理CSV文件的需求也隨處可見——在這里速度，精度和容錯率都是必須的指標——因而我們決定構建一個并行的CSV讀取器。

我們還額外比較了ParaText和7個CSV讀取器以及5個二進制讀取器的性能。更多細節(jié)請參考我們的性能白皮書。在我們的測試中，ParaText可以以2.5GB/s的速度從一個磁盤加載一個CSV文件到內存，以及4.2GB/s的速度從內存寫入外存。ParaText可以在30分鐘內對一個5TB的CSV文件完成解析及基于外存的計算。

為什么選CSV？

CSV的簡潔性是十分誘人的。從概念上講，CSV十分易于解析。它也是人類可讀的。電子表格軟件以及COBOL時期遺留的一些數據庫至少可以讀寫CSV文件。的確，CSV被廣泛用于交換表格化數據，但是不幸的是，RFC標準沒有跟緊實踐的步伐，導致CSV文件的擴展道路被扭曲了。CSV的格式缺少一個全世界都接受的模式，導致即使是“合適”的CSV文件也可能有模糊不清的語義，進而使每個應用對其有了不同的解釋。

盡管CSV存在這樣的問題，社區(qū)仍舊需要魯棒的工具來處理CSV數據。我們開始時構建了一個迅速的，內存使用高效的，通用的多核文本讀取器。我們的CSV讀取器是第一個使用這一基礎讀取器的成果。

發(fā)布與性能的亮點

ParaText CSV讀取器支持整型，浮點型，文本以及可分類數據類型。它總是使用最窄的比特深度來節(jié)省內存。文本域可以多行擴展。一個小型的可分類編碼可以將重復的字符串映射為整數來降低內存占用率。

ParaText可以用一行代碼加載一個CSV文件到Pandas DataFrame。

ParaText列迭代器可以將數據填入很多種數據結構中（例如Python的字典類型，Pandas DataFrames, Dato SFrames, 或者Spark DataFrames.）

在這里，expand關鍵字強制ParaText使用字符串來表示類別，而不是使用整型。forget可以讓迭代器去釋放已經被解析器訪問過的列數據所占據的空間。

在我們的性能分析中，我們證明了ParaText的速度，效率，更多細節(jié)請參考性能白皮書。

數據

用于我們的性能測試的文件的大小從21MB到5.076TB。白皮書中描述了每個數據集的特性以及如何下載他們。

每個數據集及每種文件格式的文件大小。二進制文件要比CSV文件更小。

1.ParaText是很快的！

ParaText有比其他任何在每個數據集上都測試過的CSV讀取器更高的吞吐量。

什么使得一個讀取器更快？一個快速的讀取器可以利用存儲系統(tǒng)的能力。四個數據集：car(6.71GB, 大量可分類數據)，floats4(25.5GB, 大量浮點數)， mnist8m(14.96GB, 小整數)和messy2(2.1GB, 大量文本)。每個CSV加載器的吞吐展示在圖中。I/O帶寬用黑色來表示，便于比較。遺漏的條形或者是由于崩潰，或者是錯誤，或者是不一致性導致。