当前位置: 华文问答 > 数码

为什么在中国搞不出 Spark 和 Hadoop 这种东西?

2017-01-26数码

上周去深圳参加了ECUG的十周年盛会,工程师的盛会是没有红毯没有香槟的,只有纯净水和小面包,然后就是几百人坐下来听技术大牛们做分享。

ECUG是个民间组织,关注的是云计算前沿技术的经验分享和分布式开发、运维的最佳实践。

Home - 实效云计算用户组(ECUG)

每年会选在一个地方举行,今年是在深圳举办,赞助方还是七牛云存储。会议内容就是请各个领域的专家做技术分享。

两天的时间里我听了十多个演讲,其中有两个给我留下深刻印象,一个是 刘奇老师的TiDB,一个是Luke Han老师的Apache Kylin。

TiDB是分布式数据库,Kylin是分布式分析引擎,都是属于大数据云计算领域的基础设施项目。

这两个项目有很多共同点:

他们都是中国人主导的项目,由中国人发起,设计,运营,并且贡献了大多数代码,

他们都是开源的全球化项目,代码都是开放的,有中英文文档,项目的用户和参与者来自世界各个国家。

他们都是由商业化的公司在运作的项目

TiDB是

PingCAP

Kylin是

Kyligence Home - Kyligence Inc.

,同时它还是Apache基金会的项目

Apache Kylin | Home

这不是某几个个人的业余作品,是一群对技术有追求的人的事业。

商业化的运作保证了项目的资金和人员的稳定性,收入主要来自捐赠和技术咨询服务。

我举这两个例子是想说明,有些事情在起变化。过去二十年我所参与了解的中国技术圈,基本都是应用开发为主,基础技术都是来自国外,大多是美国,普通工程师是面向SDK API编程,高手也就是读懂别人的项目做些局部优化和定制,很少有自己创新的东西,很长时间中国开源届也就靠LVS等项目撑撑面子。

但是最近几年不一样了,国人主导的开源项目真实如雨后春笋般出现。尤其在一些比较热门前沿的领域,比如前端开发,Vue,Electron等。

所谓厚积薄发,美国人引领全球IT技术那是他们从二战就开始积累的结果,而那时候中国人还在战乱和饥荒里面挣扎。经过30多年的经济建设,终于产生了那么一批人,他们有足够深厚的技术积累,有丰富的项目经验,有广阔的技术视野,并且有一定的经济基础,可以投入到他们热爱的纯技术领域,可以几年不求短期回报地去打磨技术。

查下历史可以看到,Hadoop立项是2006年,理论基础来自2003年google的论文,而google能发布这样的理论想必也经历了多年的研究,这是扎实的理论和多年工程积累的结果。

中国如果想有类似的项目,10年的积累是必不可少的。

相信还有很多类似的项目在发展在成长,过去几年国内开源技术领域创新有个小爆发,原因我觉得就是70后到了四十不惑,80后到了三十而立,而部分90后已经吃喝不愁了,改革开放后受教育的几代人成长起来了。而这只是刚刚开始,后面的发展可能会超乎大家的想象,等到90后都四十不惑的时候,中国成为全球技术创新的发源地也不是不可能的。

如果你年轻,有想法,对技术有追求,可以去参与这样的项目,向前辈大牛学习,开拓视野提升技术能力。PingCap 和 Kylin都在招人,也招实习生。