速来报名！戴尔科技PRAVEGA创客大赛圆你创新梦

 

　　​一个窨井盖坏了

　　多久能被工作人员发现?

　　在上海浦东

　　只需要几分钟

　　这离不开物联网设备提供的

　　实时数据支持

　　IDC预测到2025年

　　全球物联网设备数量

　　将达到416亿台

　　如何存储、利用这些

　　实时产生的流数据

　　成为一个亟待解决的问题

　　美剧《上载新生》大开“脑洞”，对未来数字化生活“狠狠”进行了一番畅想，人工智能提醒你买菠菜补铁，虚拟交警借助无人机飞到违章车主面前罚款……如果将迈向新阶段的数字化生活比作向目的地高速行驶的汽车，那么数据就是提供源动力的燃料。

　　如今，“燃料”的供应来源正在扩大。数据的创建、使用和存储位置不再局限于传统的数据中心，也不再仅限于云端。数据源源不断地从各种来源和位置流式传输而来，包括通过无线和移动方式传送的数据。

　　随着边缘的数据量呈指数级增长，如同水龙头里的水，流数据哗哗地流出，5G网络的兴起，更是为流数据打开了流量“阀门”。容器云、高性能存储硬件水平的不断提高，让实时流处理拥有越来越广泛的市场前景。

　　流数据，简言之，是指没有明确定义开始或结束的连续数据流。比如，我们看的“下饭”综艺属于视频流、上下班听的音乐属于音频流。流数据的来源包括日常生活中的移动应用程序、安全摄像头、无人机等边缘设备。

　　这些来源丰富的流数据呈现出以下特点：

　　1

　　数据实时到达;

　　2

　　数据规模宏大且不能预知其最大值;

　　3

　　数据到达次序独立，不受应用系统所控制;

　　4

　　数据一经处理，除非特意保存，否则不能被再次取出处理，或者再次提取数据代价昂贵。

　　流数据的这些特点，令企业开始重新审视应用程序以及基础架构的部署。加之，数字化时代，用户需要沉浸式、实时的数字体验和互动，流数据处理解决方案面临着诸多需求。

　　一方面，传统的批处理数据引擎已经完全无法满足现代企业对实时性的要求;另一方面，现有的流数据系统大都基于消息模型，例如Kafka、Spark等，这些系统从本质上看，仅仅只是一些高速消息系统，因此很难适应当今物联网趋势下的各种复杂数据处理需求。

　　为了满足层出不穷的实时应用场景，同时降低大数据应用平台的投入，戴尔易安信流数据处理平台（Streaming Data Platform,SDP）应运而生。作为一个可弹性扩展的平台，SDP用于实时获取、存储和分析连续的流数据，可在同一个应用程序中同时处理实时和收集的历史数据。

　　该平台可以从各种来源捕获和存储流数据，这些来源包括物联网设备、网络日志、工业自动化、财务数据、实时视频、社交媒体源、应用程序和事件流。SDP能够处理来自多个来源的数百万个数据流，并确保低延迟和高可用性。

　　在今年的戴尔科技集团全球峰会，升级后的戴尔易安信流数据平台全新亮相。新的SDP能够在边缘提供强大的实时分析能力。同时占用空间较小，非常适合在边缘实时捕获、存储和分析流数据。

　　目前，戴尔易安信流数据平台已经在工业制造、建筑等行业得到实际应用，为客户业务提供预防性维护、检测等服务，并参与到戴尔科技为中国赛艇队、皮划艇队开发的综合智能训练辅助系统中，提供边缘流数据处理解决方案。

　　而SDP的成功落地离不开其“得力干将”——流数据存储引擎Pravega。

　　“Good Speed”是如何实现的

　　Pravega在梵语中意为“Good Speed”，其设计宗旨是成为流的实时存储解决方案。作为平台内的自研开源组件，Pravega是戴尔易安信流数据平台最基础的组件，承担着为所有其它组件提供流式数据存取服务的重任。

 

　　应用程序将数据持久化存储到Pravega中，Pravega的Stream可以有无限制的数量并且持久化存储任意长时间，使用同样的Reader API提供尾读(tail read)和追赶读(catch-up read)功能，能够有效满足两种处理方式的统一。

　　Kafka和Pulsar等消息中间件提供了非常适合当今数据密集型应用程序的现代Pub/Su基础架构。Pravega进一步增强了这种流行的编程模型，提供了云原生流媒体基础设施，并解决了令Kafka和Pulsar束手无策的架构问题，如分区的自动扩展、如何为大量分区保持高性能。

 

　　▲Pravega架构图

　　Pravega采取了存储分层的设计：

　　Tier 1存储

　　Tier1的存储通常部署在Pravega集群内部，主要是提供对低延迟，短期的热数据的存储。在每个Segment Store结点都有Cache以加快数据读取速率，Pravega使用Apache Bookeeper来保证低延迟的日志存储服务。

　　Long-term存储

　　Long-term的存储通常部署在Pravega集群外部，主要是提供对流数据的长期存储，即冷数据的存储。不仅支持HDFS、NFS，还会支持企业级的存储如戴尔易安信Isilon、ECS等产品。

　　存储分层使Pravega在延迟与吞吐量之间达到了一个最佳状态。这使得Pravega成为向实时和批处理（分析）应用程序提供数据的理想存储基础。并且，Pravega是以Kubernetes Operator来对集群各组件进行有状态的应用部署，这可以使得应用的弹性伸缩更为灵活方便。

　　Pravega解决了使用传统消息队列数据丢失问题和自动伸缩难题，客户可以借助其降低存储和计算成本，减小运维压力，提高代码开发效率。此前，Pravega还联合TiDB构建了实时数据仓方案，提高了实时数仓系统的并行性，可用性与安全性。

　　丰富的应用场景，令Pravega拥有广阔的空间大施拳脚。下面我们跟随戴尔易安信流数据平台产品营销经理Amy Tenanes的介绍，一起来了解下它是如何为企业降低运营成本、提供实时洞察力和流程优化的。

　　Pravega的典型应用场景

　　游乐园设施的预防性维护

　　通过使用Pravega，客户可以从游乐园过山车沿线的数千个传感器中，获取实时流数据。这些数据可用于识别关键点，比如过山车上轨道上有多少辆车，这些车在某一点经过时传感器每秒经历多少次振动。

　　假设一个正常的振动读数是每秒3000次，当振动读数过高时，Pravega可以提醒维护技术人员某个特定的游乐设施需要维护。同样的数据可以在以后使用完全相同的工具进行访问，有助于客户在更长的时间段内进行比较，总结出趋势，以预测故障或确定维修需求。

　　不仅是过山车，汽车行业同样也可以用到Pravega。它能够为油温、轮胎压力表等设置阈值，在轮胎漏气、发动机状况不佳等问题进一步恶化前，提醒客户进行预防性维护。

　　工业物联网中的异常检测

　　在制造业环境中，异常检测对节省时间、资源和开支极为重要。借助安置在生产线上的物联网传感器和摄像头，Pravega可以捕获图像和数据，比如传送带的速度和温度。

　　摄像机图像可以自动发现不符合规格的零部件或产品，然后发出警报，提醒哪里存在异常现象。利用来自传感器的数据，客户很容易发现机器的环境温度是否太高、传送带的速度是否正常等。

　　此外，异常检测还可用于制造业之外的许多行业。比如它可以用于金融业，检测移动支票存款中的异常情况;可以用于咖啡饮品行业，通过监测数据对机器的预防性维护，并提供自动重新订购用品;还可以用于发电站，以发现水力发电设施的不足之处，其实际应用非常广阔。

　　建筑业中施工的准确性和资源跟踪

　　在建筑环境中，无人机将实时视频和遥测数据流传送到Pravega。通过其提供的建筑项目实时进展情况，最新进展报告可以将项目的数字效果图与实际进展情况进行比较，确保施工的准确性和规划时间的适当性。

　　同时，通过在地面建筑设备上安装传感器，Pravega可以实现物体检测，并对设备、人员和材料进行跟踪，确保在多个项目中对每一部分的资源进行最佳分配、利用。

　　“智能厨房”中的温度控制

　　Pravega可与大型储存冷柜中的数字温度计一起使用，实时获取流式温度读数，并在温度超出范围时发出警报。这可以防止冷藏食品在冷柜门没关好的情况下变质，从而让食品获得尽可能长的保质期。

　　随着自动驾驶、股票交易等更多流数据应用场景的兴起，戴尔易安信流数据处理平台将服务更多领域，Pravega的价值也会进一步放大，“飞入”各行各业，帮助客户加速数字化转型。

　　各位少侠、侠女且留步

　　We want you！

　　与小伙伴合力闯荡

　　流世界的机会来了

　　今天，实时流无处不在

　　而Pravega为流式计算

　　重新构建了全新的存储

　　想不想

　　全面了解Pravega的优秀特性

　　与业界大牛来一场亲密接触

　　展示你和小伙伴

　　对于实时数据分析的奇思妙想

　　由戴尔科技集团举办的

　　Pravega创客大赛

　　火热报名中！

　　为你们提供快速实现想法的机会

　　iPhone12等丰厚奖品已备好

　　让更多志同道合的人

　　一起拥抱流的世界!

　　欢迎扫描下图二维码

　　或点击文末报名参赛

 

　　除了Pravega创客大赛

　　2021戴尔科技峰会也将于

　　8月18日盛大开幕

　　为您呈现未来企业竞争力！

　　2021

　　戴尔科技峰会

　　“智汇·商业新磁场”

　　8月18日

　　上海跨国采购国展中心

　　诚邀您的莅临

 

　　相关内容推荐：戴尔科技新一代边缘服务器 | 最关键的五个要点

　　文章来自公众号戴尔易安信解决方案