(相關(guān)資料圖)

隨著云存儲(chǔ)成為事實(shí)上的數(shù)據(jù)湖，回想起就在幾年前，SQL-on-Hadoop還是一個(gè)競(jìng)爭(zhēng)激烈的戰(zhàn)場(chǎng)，有超過12個(gè)不同的開源和專有引擎參與其中，這幾乎是很奇怪的。隨著Cloudera和Hortonworks的合并，Hadoop市場(chǎng)逐漸萎縮，大家的目光都集中在如何訪問越來越多存儲(chǔ)在云對(duì)象存儲(chǔ)中的數(shù)據(jù)上?，F(xiàn)在，每個(gè)云數(shù)據(jù)倉庫平臺(tái)都提供了一種將查詢聯(lián)合到云對(duì)象存儲(chǔ)的方法。

但是，如果您不想掛載Hadoop集群或建立數(shù)據(jù)倉庫呢？幾年前，AWS與雅典娜合作，后者直接詢問S3。在引擎蓋下，雅典娜使用了普雷斯托。這是臉書開發(fā)的基于hadoop的交互式SQL查詢技術(shù)。它曾經(jīng)被認(rèn)為是唯一一個(gè)不受主要供應(yīng)商支持的框架。那不是黑斑羚。黑斑羚后面是克勞迪婭。一個(gè)來自IBM的Db2產(chǎn)品，BigSQL從關(guān)鍵做起；這也不是升級(jí)后的霍頓工廠蜂巢。翻譯？如果習(xí)慣了Presto，只能靠自己了。

收購哈達(dá)特的Teradata在被剝離之前就開始填補(bǔ)這一真空。——公司現(xiàn)更名為星暴數(shù)據(jù)，想在Teradata核心市場(chǎng)之外的中端市場(chǎng)自由發(fā)展。

此外，云成本控制已成為企業(yè)首要問題。

反映大數(shù)據(jù)世界仍然包括，但也比Hadoop更廣泛的事實(shí)，您將不會(huì)看到許多在Hadoop框架上比較SQL的基準(zhǔn)測(cè)試?？紤]到兩者都是基于谷歌Dremel項(xiàng)目開發(fā)的(現(xiàn)已公開為云BigQuery數(shù)據(jù)倉庫服務(wù))，Presto經(jīng)常被比作Impala。有人聲稱黑斑羚在個(gè)人查詢方面還是比較快的。然而，正如在Apache Spark上的測(cè)試所揭示的，Presto之所以強(qiáng)大，是因?yàn)樗哺谀槙鴥?nèi)部的大數(shù)據(jù)查詢引擎，該引擎被成千上萬的用戶使用。

更重要的是，Hadoop仍然是大數(shù)據(jù)的重要組成部分，但它與云存儲(chǔ)的對(duì)抗也是如此。Hadoop社區(qū)正在努力讓云對(duì)象存儲(chǔ)成為像HDFS一樣的第一等公民，但正如Mike Olson最近評(píng)論的那樣，Hadoop社區(qū)仍在等待AWS s3兼容存儲(chǔ)的最終答案。

在Teradata之后的生活中，Starburst數(shù)據(jù)將自己定位為聯(lián)合查詢提供者。是的，Teradata仍將轉(zhuǎn)售給其客戶群，但更多時(shí)候，Starburst的數(shù)據(jù)將與像Dremio這樣資金充足的競(jìng)爭(zhēng)對(duì)手競(jìng)爭(zhēng)。星暴沒有接受風(fēng)險(xiǎn)投資，而是一直在發(fā)展自己，在這么早的階段就奇跡般的實(shí)現(xiàn)了盈利。與Dremio相比，Starburst在數(shù)據(jù)目錄和Kubernetes支持方面做得更好，在安全性、可用性和性能方面做得更好。今天發(fā)布的最新版本增加了一個(gè)新的“任務(wù)控制”控制臺(tái)，可以輕松地將Starburst連接到不同的數(shù)據(jù)源。

雖然Starburst將自己定位為獨(dú)立于云和數(shù)據(jù)庫(例如，它比Impala有更多的連接器)，但它的最佳定位將是提供AWS Athena的第三方替代品。在這樣做的過程中，它可能會(huì)從Dremio獲得一些靈感，并在其路線圖中增加集裝箱化和Kubernetes支持。它還面臨著來自AWS的競(jìng)爭(zhēng)。盡管Starburst聲稱其性能優(yōu)于雅典娜，但其整個(gè)運(yùn)行時(shí)(包括最近引入的查詢優(yōu)化器)都是開源的。亞馬遜可以輕松獲得同樣的技術(shù)，這意味著性能差距縮小可能只是時(shí)間問題。無論如何，AWS的一個(gè)主要客戶已經(jīng)將其許多數(shù)據(jù)平臺(tái)遷移到亞馬遜堆棧，但它仍然是Starburst查詢S3的堅(jiān)定客戶之一。