边缘分析之即时本地洞察的利与弊

许多数据科学家联系我询问有关上期 IoT 专题博客中所讨论数据存储和处理问题。他们所有的问题大多围绕同一个主题:他们对于如何处理他们的数据感到困惑。他们是应该存储还是丢弃他们的企业数据,如果是存储的话,他们可以采取哪种最佳方法来让这些数据成为公司的战略资产。

虽然目前传感器被广泛投入应用,但遗憾的是,绝大多数收集的工业物联网或 IIoT 数据从未经过分析。许多现有的 IoT 平台解决方案非常缓慢、昂贵而且消耗资源,这就让分析剩下的这些数据变得极其困难。

据 Gartner 称,90% 部署的数据将毫无用处,而 Experian 则表示美国企业中 32% 的数据都是不准确的。这里传递的关键信息是数据对任何企业而言都是最宝贵的资产。因此,完全丢弃数据或者让其在弃用的数据湖中休眠将会是一大可惜。所有数据科学家都急需深挖他们不断扩张的 IoT 数据池,充分解读各种不同端点的信息,并帮助得出最终可提升业务成效的结论。我完全反对不进行处理就将数据丢弃。

正如在“IoT 博客”中所述,在几年之内,相比现在,将另外新增 150 到 400 亿台从边缘生成数据的设备[1]。这会带来新的挑战。假设有一台将这些数据传输到数据湖和处理中心进行处理的基础架构。在接下来数月和数年,这种负载将继续呈指数级增长,造成了新的问题,不断挑战这一基础架构的极限。

这些数据无论是“物”流量还是来自于监控摄像头,所具备的唯一优势将来自于分析。在对时间要求严格的情况中,如果我们延迟这一分析,则可能会“为时已晚”。这种延迟可能由多种原因造成,比如网络可用性有限或者中央系统过载。

 

140123ac

 

人们运用一种名为“边缘分析”的相对较新的方法来解决这些问题。其本质简言之就是在生成数据的点执行分析,即实时在现场展开分析。“物”的架构设计应考虑内置分析。例如,用于提供智能交通监控和管理的列车或交通信号灯传感器应具备足够强大的功能,能够根据对当地周边环境的分析向邻近的消防局或警察局发出警报。安全摄像头是另外一个很好的例子。只传送实时视频而不显示任何变化几乎没有什么用处。有一些算法可以用来检测变化,如果新图像能够从之前的图像生成,它们将只发送变化。这些类型的事件相比通过网络发送然后进行分析,更适合在本地处理。因此我们必须清楚什么情况适合使用边缘分析,以及如果“设备”不支持本地处理,我们该如何构建一个互联的网络来解读最近位置的传感器和设备生成的数据。像 Cisco、Intel 以及其他公司都是边缘计算的拥护者,他们正大力宣传,希望用户使用他们的网关作为边缘计算设备。IBM Watson IoT 是 IBM 和 Cisco 联合开展的一个项目,正通过随时随地提供强大的分析功能,重塑分析架构设计。服务器硬件供应商 Dell 开发了专用设备 (Dell Edge Gateway) 来支持边缘分析。Dell 还打造了专用于分析的完备系统、硬件和软件,旨在让用户能够在一个位置或云端创建分析模型,然后部署到生态系统的其他部分。

但是,我们必须知道,边缘分析也存在一些弊端。它只能处理和分析一小部分的数据。分析结果通过网络传送。这意味着,我们实际上会丢弃一些原始数据,并可能错失一些有用的洞察。那么问题就来了,这一“损失”是否可以承受?我们是否需要全部数据,或者说分析得出的结果已足够我们使用?这会产生什么影响?关于这些问题并没有统一的答案。飞机系统不容许漏掉任何数据,因此应传输所有数据来进行分析,以检测是否存在任何可能导致异常的模式。但是呢,在飞行期间传输数据非常不方便。因此,在飞行期间离线收集数据并实施边缘分析是个更好的选择。而具有一定容错性的其他系统则可以接受不分析所有数据。随着企业开始踏入这一新的 IoT 分析领域并审视所获成效,我们必须通过亲身经验才能掌握其中奥秘。

再次强调一下,数据非常宝贵。应对所有数据进行分析以便发现模式并形成市场分析。相比传统公司,数据驱动型公司正在斩获更大的进展。IoT 边缘分析是一个激动人心的领域,并且是数据维护和可用性的答案所在,许多大公司都在投资 IoT 边缘分析。据 IDC FutureScape IoT 报告称,到 2018 年,40% 的 IoT 数据将在传输到网络之前,在其生成位置进行存储、处理、分析和操作[2]。数据传输成本很高,我们需要在不影响及时作出明智决策的情况下削减成本,鉴于此,边缘分析无疑是理想之选。

 

资料来源:

  1. [1]《物数据:边缘分析与 IoT 如何携手并进》,2015 年 9 月。
  2. [2] Bernard Marr 所撰写 Forbes 文章《边缘分析是否是大数据未来?》,2016 年 8 月。
  3. http://www.forbes.com/sites/teradata/2016/07/01/is-your-data-lake-destined-to-be-useless
    http://www.kdnuggets.com/2016/09/evolution-iot-edge-analytics.html
    https://www.datanami.com/2015/09/22/the-data-of-things-how-edge-analytics-and-iot-go-hand-in-hand
  4. https://developer.ibm.com/iotplatform/2016/08/03/introducing-edge-analytics/
  5. http://www.forbes.com/sites/bernardmarr/2016/08/23/will-analytics-on-the-edge-be-the-future-of-big-data/#7eb654402b09http://www.ibm.com/internet-of-things/iot-news/announcements/ibm-cisco/
  6. https://www.experianplc.com/media/news/2015/new-experian-data-quality-research-shows-inaccurate-data-preventing-desired-customer-insight/

 

| Last Updated: January 23rd, 2019

Most Downloaded Resources

Browse our most popular resources - You can never just have one.