當前位置: 華文問答 > 數位

為什麽在中國搞不出 Spark 和 Hadoop 這種東西?

2017-01-26數位

上周去深圳參加了ECUG的十周年盛會,工程師的盛會是沒有紅毯沒有香檳的,只有純凈水和小麵包,然後就是幾百人坐下來聽技術大牛們做分享。

ECUG是個民間組織,關註的是雲端運算前沿技術的經驗分享和分布式開發、運維的最佳實踐。

Home - 實效雲端運算使用者組(ECUG)

每年會選在一個地方舉行,今年是在深圳舉辦,贊助方還是七牛雲端儲存。會議內容就是請各個領域的專家做技術分享。

兩天的時間裏我聽了十多個演講,其中有兩個給我留下深刻印象,一個是 劉奇老師的TiDB,一個是Luke Han老師的Apache Kylin。

TiDB是分布式資料庫,Kylin是分布式分析引擎,都是屬於大數據雲端運算領域的基礎設施計畫。

這兩個計畫有很多共同點:

他們都是中國人主導的計畫,由中國人發起,設計,營運,並且貢獻了大多數程式碼,

他們都是開源的全球化計畫,程式碼都是開放的,有中英文文件,計畫的使用者和參與者來自世界各個國家。

他們都是由商業化的公司在運作的計畫

TiDB是

PingCAP

Kylin是

Kyligence Home - Kyligence Inc.

,同時它還是Apache基金會的計畫

Apache Kylin | Home

這不是某幾個個人的業余作品,是一群對技術有追求的人的事業。

商業化的運作保證了計畫的資金和人員的穩定性,收入主要來自捐贈和技術咨詢服務。

我舉這兩個例子是想說明,有些事情在起變化。過去二十年我所參與了解的中國技術圈,基本都是套用開發為主,基礎技術都是來自國外,大多是美國,普通工程師是面向SDK API編程,高手也就是讀懂別人的計畫做些局部最佳化和客製,很少有自己創新的東西,很長時間中國開源屆也就靠LVS等計畫撐撐面子。

但是最近幾年不一樣了,國人主導的開源計畫真實如雨後春筍般出現。尤其在一些比較熱門前沿的領域,比如前端開發,Vue,Electron等。

所謂厚積薄發,美國人引領全球IT技術那是他們從二戰就開始積累的結果,而那時候中國人還在戰亂和饑荒裏面掙紮。經過30多年的經濟建設,終於產生了那麽一批人,他們有足夠深厚的技術積累,有豐富的計畫經驗,有廣闊的技術視野,並且有一定的經濟基礎,可以投入到他們熱愛的純技術領域,可以幾年不求短期報酬地去打磨技術。

查下歷史可以看到,Hadoop立項是2006年,理論基礎來自2003年google的論文,而google能釋出這樣的理論想必也經歷了多年的研究,這是紮實的理論和多年工程積累的結果。

中國如果想有類似的計畫,10年的積累是必不可少的。

相信還有很多類似的計畫在發展在成長,過去幾年國內開源技術領域創新有個小爆發,原因我覺得就是70後到了四十不惑,80後到了三十而立,而部份90後已經吃喝不愁了,改革開放後受教育的幾代人成長起來了。而這只是剛剛開始,後面的發展可能會超乎大家的想象,等到90後都四十不惑的時候,中國成為全球技術創新的發源地也不是不可能的。

如果你年輕,有想法,對技術有追求,可以去參與這樣的計畫,向前輩大牛學習,開拓視野提升技術能力。PingCap 和 Kylin都在招人,也招實習生。