2021年技术趋势预测

随着生产越来越多地转移到分散的地点，工业物联网实现的这些好处变得更加重要。对于许多制造商来说，操作监控、维护和故障排除不再驻留在单一的物理位置。

确保成功实施工业物联网

制造商的工业物联网部署将每分钟从数百或数千个不同的数据点收集数百万条流数据。这种收集数据的过程有助于发现违规行为，并相应地将问题传达给楼层工人。这是一项庞大的数据工作，而成功的工业物联网项目所固有的时间敏感性给快速高效的数据管理带来了巨大的责任。

能源部门在过去十年中经历了类似的转变，因为可再生能源的兴起使能源生产越来越分散。随着这种从少数几个大型发电厂向成百上千的单个生产商(如风力涡轮机或太阳能电池板)的转变，传感器数据在优化发电量方面发挥了关键作用。

例如，风速的变化会使产生的能量产生相当大的波动，连接的系统可以实时检测到这些波动，从而触发适当的响应，如对其他能源生产商进行节流、激活临时存储以及在必要时改变销售价格。

但是，数据管理需要分散记录每分钟数百万个数据的各种格式，用附加信息丰富生成的时间序列数据，实时分析，以及即时数据传输以实现可视化和可操作的响应。

从容量和性能的角度来看，传统数据库无法满足这些数据需求。纯基于SQL的数据库运行速度太慢，而NoSQL数据库缺乏所需的功能和便利性，无法真正有效地使用这些数据库。同时，大型和传统的数据库在处理复杂的时间序列数据时并不具有成本效益。

相比之下，为时间序列数据设计的较新数据库结合了关系数据库的优点和非关系数据库的优点，提供了建立在更灵活的NoSQL主干上的SQL功能。此外，时间序列数据库提供分布式数据存储、零共享架构和云服务交付，使其成为制造商工业物联网应用程序的理想选择;即使在最苛刻的环境中也是如此。

分布式无共享体系结构意味着数据库系统的每个节点都是相同的，因此可以通过添加新节点来提高整个系统的性能，同时提高可用性。

同时使用SQL和NoSQL

对于制造商来说，利用SQL和NoSQL的优秀组件的能力使他们能够继续使用带有SQL接口的现有应用程序，并实际地利用他们对这些解决方案的现有知识。大多数时间序列数据库在数据和应用程序级别都提供了广泛的接口，允许制造商根据其工业物联网系统的特定需求实施复杂的数据管理解决方案。

例如，可以通过流行格式(如MQTT、JSON和其他格式)的流式网关将机器和传感器数据读入数据库并在数据库中进行丰富。在应用层，数据可以可视化、监视、分析和实时传递，有助于优化设备总体效能的最重要的制造指标。

制造商的工业物联网实现的成功不仅仅需要正确的传感器阵列：它还取决于部署一种能够高效、优化地使用收集到的数据的数据管理策略。展望未来，随着新兴技术，如人工智能和机器学习需要系统能够利用大量的数据，现代时间序列数据库架构提供铺平了坚实的基础，为今天的工业物联网用例和更清晰的路径规模。
 

Presto

Presto是一个开放源代码的分布式SQL查询引擎，适合于对各种大小，各种数据源进行交互式分析查询。

Presto是专为交互式分析而设计和编写的，当它的规模扩展到一定的规模的时候，它也可以实现商业数据仓库的处理速度。

Presto允许查询数据存在多个地方，包括Hive，Cassandra，关系数据库甚至专有数据存储。一个Presto查询可以合并来自多个来源的数据，从而可以在整个组织中进行分析。

Presto适用于期望响应时间从亚秒到数分钟不等的分析师。Presto打破了使用昂贵的商业解决方案进行快速分析或使用需要大量硬件的慢速“免费”解决方案之间的错误选择。

总结

处理引擎是当前在大数据词中使用的很著名的工具。作为大数据工程师，您将经常使用这些引擎。了解这些引擎的分布式特性并知道如何优化它们，保护它们并监视它们至关重要。

请记住，还有一些OLAP引擎提供了一种查询大量数据的单一解决方案，而无需编写复杂的转换，而是通过以一种特定的格式加载数据来提高查询的性能。

对于一个新项目，建议您研究Apache Beam，因为它在所有其他引擎的基础上提供了一个抽象，使您无需更改代码即可更改处理引擎。

对于流处理，特别是有状态流处理，请考虑Flink或Samza。对于批处理，请使用Spark。

（编辑：淮南站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!