加入收藏 | 设为首页 | 会员中心 | 我要投稿 淮南站长网 (https://www.0554zz.cn/)- 管理运维、图像技术、智能营销、专属主机、5G!
当前位置: 首页 > 站长资讯 > 动态 > 正文

大数据杀熟防不胜防该怎么治

发布时间:2021-01-30 14:52:03 所属栏目:动态 来源:互联网
导读:易于开发和维护: 一个微服务只会关注一个特定的业务功能,所以它业务清晰、代码量较少。 开发和维护单个微服务相对简单。而整个应用是由若干个微服务构建而成的,所以整个应用也会被维持在一个可控状态。 单个微服务启动较快: 单个微服务代码量较少, 所以

易于开发和维护: 一个微服务只会关注一个特定的业务功能,所以它业务清晰、代码量较少。 开发和维护单个微服务相对简单。而整个应用是由若干个微服务构建而成的,所以整个应用也会被维持在一个可控状态。

单个微服务启动较快: 单个微服务代码量较少, 所以启动会比较快。

局部修改容易部署: 单体应用只要有修改,就得重新部署整个应用,微服务解决了这样的问题。 一般来说,对某个微服务进行修改,只需要重新部署这个服务即可。

技术栈不受限:在微服务架构中,可以结合项目业务及团队的特点,合理地选择技术栈。例如某些服务可使用关系型数据库MySQL;某些微服务有图形计算的需求,可以使用Neo4j;甚至可根据需要,部分微服务使用Java开发,部分微服务使用Node.js开发。

微服务虽然有很多吸引人的地方,但它并不是免费的午餐,使用它是有代价的。使用微服务架构面临的挑战。

运维要求较高:更多的服务意味着更多的运维投入。在单体架构中,只需要保证一个应用的正常运行。而在微服务中,需要保证几十甚至几百个服务服务的正常运行与协作,这给运维带来了很大的挑战。

分布式固有的复杂性:使用微服务构建的是分布式系统。对于一个分布式系统,系统容错、网络延迟、分布式事务等都会带来巨大的挑战。

接口调整成本高:微服务之间通过接口进行通信。如果修改某一个微服务的API,可能所有使用了该接口的微服务都需要做调整。

重复劳动:很多服务可能都会使用到相同的功能,而这个功能并没有达到分解为一个微服务的程度,这个时候,可能各个服务都会开发这一功能,从而导致代码重复。尽管可以使用共享库来解决这个问题(例如可以将这个功能封装成公共组件,需要该功能的微服务引用该组件),但共享库在多语言环境下就不一定行得通了。

四、Serverless架构

当我们还在容器的浪潮中前行时,已经有一些革命先驱悄然布局另外一个云计算战场:Serverless架构。
 

大数据与HPC的结合衍生出了HPDA(High Performance Data Analysis,高性能数据分析)技术。IDC数据显示,目前有67%的HPC资源用于HPDA,而机器学习/深度学习、欺诈检测的需求就是其中较为典型的应用。大数据时代的到来将使HPDA应用成为HPC的下一个强力增长点。预计到2021年,全球HPC存储市场空间可达148亿美金,其中新兴的HPDA和HPC-based AI场景将以年化17%、29.5%的增速快速增长。

在最新发布的超级计算机TOP500榜单上,连续两届蝉联第一的Fugaku(富岳)超级计算机将其在新的混合精度HPC-AI基准上的性能提高到了2.0 exaflops,超过了6个月前1.4 exaflops的纪录。之所以日本方面非常强调这一指标,一定程度上反应了日本超级计算机的发展思路,即瞄准日趋丰富的AI场景化应用打造更高性能超算平台。这一技术构建趋势,很好匹配了IDC最新研究报告对于新兴HPDA和HPC-based AI场景应用的预测。

随着CPU、GPU等处理器性能的快速提升,以及多元化算力的融合发展,打造HPC的门槛和难度正在大幅降低,HPC从小众走向大众是必然趋势。HPC作为一种计算能力更强的平台,不仅作为数字经济时代和新基建的重要基础,继续在诸如科研、天文、能源、军事等方面继续发挥重要作用,同时在基因测序、气象科学、工业创新、大数据分析、智能医疗、深度学习、人脸识别等新兴领域,更广泛的服务于大众需求。

HPC前行的存储瓶颈

这是一个最好的时代,也是一个最坏的时代。

随着5G、大数据、AI等技术的快速发展,我们看到了HPC与大数据、AI的融合趋势,也坚定地认为,HPDA、HPC-based AI等新兴HPC场景将在各行各业全面开花,HPC普及化的时代已经到来。

然而,在CPU以摩尔定律为牵引快速提升性能的过程中,HPC发展却面临存储以及I/O速度与计算能力越来越不匹配所带来的“存储墙”问题。众所周知,在计算机发展过程中,CPU性能的增长是远高于存储性能和I/O性能的,这导致在计算机不断发展过程中,计算、存储、I/O 间的速度差距会越来越显著。

2014年某机构针对数据中心的性能调查显示,当年CPU性能增长52%,内存性能增长9%,I/O性能增长6%,而存储性能的提升最慢,因为这不仅与介质物理性能有关,还与存储协议有关,这种介质与协议的变化其实非常缓慢。存储性能落后于CPU、内存带宽性能,就意味着数据访问能力落后于数据的处理能力。

对高性能计算机而言,由于采用的是并行计算机体系架构,由多CPU和GPU级联打造的高性能并发算力,会如潮水一般涌入,使得“存储墙”问题更难以克服。最终导致的结果是,CPU空转等待存储器访问的时间占了很大比例,并行计算效率大幅下降。目前大规模并行计算机在实际应用中的效率只有5%左右,存储性能成为提升效率的最大制约。

随着HPDA、HPC-based AI等新兴场景应用的全面爆发,企业对于高性能、实时化的大数据分析需求将变得更加迫切。

(编辑:淮南站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读