编写健壮的 TypeScript 库？

大数据处理的最终目的就是创建一个可信数据集，然后下游系统可以依赖此数据源进行业务分析和数据计算。

对于大数据的处理，主要有下面的几个工具引擎。

Apache Hive

它是将SQL请求转换为MapReduce任务链的引擎。它主要实现的功能是对传入的SQL进行排序然后优化排序结果，最终得到高效率的请求结果。2018年它将MapReduce替换为Tez作为搜索引擎。它具有机器学习功能，并且在和其他流行的大数据框架进行集成。

Apache Spark

这是最著名的批处理框架。它是Hadoop生态系统的一部分，是一个托管集群，可提供强大的并性，有着精准的监控和出色的UI。它还支持流处理(结构化流)。基本上，Spark在内存中运行MapReduce作业，其性能是常规MapReduce性能的100倍。它与Hive集成以支持SQL，并可用于创建Hive表，视图或查询数据。它具有很多集成，支持多种格式，并且拥有庞大的社区。所有云提供商都支持它。它可以在YARN上运行作为Hadoop集群的一部分，还可以在Kubernetes和其他平台中使用。它具有许多的第三方库可以使用。

Apache Flink

第一个统一批处理和流传输的引擎，它可以用作像Kafka这样的微服务的主干。它可以作为Hadoop集群的一部分在YARN上运行，它还针对其他平台(如Kubernetes或Mesos)进行了优化。它非常快，并且提供实时流传输，使其成为针对低延迟流处理(尤其是有状态流)的一个比Spark更好的选择。它还具有用于SQL，机器学习等的库。它比Spark更快，是数据流的更好选择。

Apache Storm

是一个免费和开源的分布式实时计算系统，它专注于流传输，是Hadoop生态系统的托管解决方案部分。它具有可扩展性，容错性，可确保您的数据将得到处理，并且易于设置和操作。

Apache Samza

一个出色的有状态流处理引擎。Samza允许您构建有状态的应用程序，它可以从多个来源实时处理数据。它不仅可以在YARN集群上运行，也可以作为独立库单独运行。

Apache Beam

它本身不是引擎，而是将所有其他引擎结合在一起的统一编程模型的规范。它提供了可以与不同语言一起使用的编程模型，因此开发人员在处理大数据管道时不必学习新的语言。然后，它为可以在云或本地运行的处理步骤插入了不同的后端。Beam支持前面提到的所有引擎，您可以在它们之间轻松切换并在任何平台上运行它们：云，YARN，Mesos，Kubernetes。如果您要开始一个新项目，那么建议您从Beam开始，因为Beam是面向未来的。
 

中国信通院主办的云计算产业盛会召开

10月29日消息，日前由中国信息通信研究院(简称：中国信通院)主办的云计算产业盛会——“2020云原生产业大会”在京召开，本届大会以“云原生应用”为主题，探讨如何推动云原生实践落地和数字化转型。

阿里巴巴助力全国首个云上智慧医院上线

近日，由阿里巴巴携手浙大一院共同打造的“未来医院”信息系统在浙大一院总部一期(余杭院区)上线，这是全国首个基于云架构的智慧医院信息系统，使得浙大一院成为首家正式迈入云计算时代的智慧医院。

谷歌第三季度财报：云业务本季度增速最快

10月30日凌晨，谷歌母公司Alphabet公布了截至2020年9月30日的2020财年第三季度财报。财报显示第三季度谷歌云业务营收为34.44亿美元，同比增长45%。谷歌云业务已成为本季度增速最快的业务。

亚马逊第三季度财报：云计算业务增长29%

10月30日，亚马逊公布了第三季度业绩报告。报告显示，第三季度净利润为63.31亿美元，与去年同期的净利润21.34亿美元相比增长197%。其中，云计算业务AWS是亚马逊比较大的利润推动力，它的收入增长了29%。

（编辑：淮南站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!