如何利用RDA 解决数据问题并加速AIOps实现

译文
人工智能 机器学习
机器人数据自动化不仅仅是一个框架,还包括一套技术和产品功能,帮助企业实现数据自动化。

【51CTO.com快译】什么是机器人数据自动化 (Robotic Data Automation 以下简称 RDA)

机器人数据自动化 (RDA) 是一种新模式,它有助于自动化数据集成和数据准备活动,这些活动涉及到处理用于分析和人工智能/机器学习应用程序的机器数据。RDA 不仅仅是一个框架,还包含了一套实现数据自动化的技术和产品能力。

RDA 使企业能够大规模操作机器数据,从而推动人工智能。

RDA 在企业领域具有广泛的适用性,首先,CloudFabrix 采用 RDA 框架并将其应用于解决 AIOps 问题——以帮助简化和加速 AIOps 实现,并使其更加开放和可扩展。

RDA使用数据机器人自动执行重复的数据集成、清理、验证、成形、丰富和转换活动,这些数据机器人被调用以在“低代码”数据工作流或管道中连续工作。RDA有助于轻松地将数据移入和移出AIOps系统,从而简化和加速AIOps实现,否则这些实现将依赖于大量手动数据集成和专业服务活动。

为什么需要 RDA

AIOps需要处理从各种混合 IT 数据源获得的大量数据,这些数据分布在本地、云和边缘环境中。这些数据有多种格式和交付模式。此外,此类数据处理的结果还需要与 IT 生态系统中的其他工具(例如:ITSM/闭环自动化/协作工具和 BI/报告工具)进行交换。

所有这些都需要以高效、可重用和可扩展的方式集成、摄取、准备、验证、清理、转换、整合、分析和将数据移入或者移出 AIOps 系统。这些基本任务在 AIOps 实施中常常被忽略,并且导致了严重的延迟和增加了 AIOps 项目的成本。

挑战

让我们了解一下在实施 AIOps 项目时,数据准备和数据集成活动中的一些关键挑战。

• 不同的数据格式(文本/二进制/json/XML/CSV)、数据传输模式(流、批处理、批量、通知)、编程接口(API/Webhooks/Queries/CLI)
• 复杂的数据准备活动,包括完整性检查、清理、转换和行成数据(聚合/过滤/排序)
• 原始数据通常缺乏应用程序或服务上下文,需要从外部系统引入上下文来进行更新实时数据。
• 实施数据工作流需要专业的编程/数据科学技能
• 源系统或目标系统的更改需要重写/更新连接器

AIOps 中数据处理的传统方法

在传统方法中,AIOps 供应商提供了一组现成的集成,将 AIOps 解决方案连接到数据源,处理数据的方法和结果如下:

• 数据采集、处理和集成的黑盒方法。
• 用例和场景仅限于平台支持的内容。
• 集成大多是预定义/硬编码的限制重用。
• 需要专业/编程技能(Javascript、Python 等)的复杂脚本模块或说明书。
• 难以引入外部集成,用于间歇数据处理(例如:富集)。
• 难以以编程方式访问数据,以实现补充功能(例如:脚本、报告、仪表板、自动化等的数据访问)。

这些都是通过增加延迟和成本(手动数据准备/处理活动)来有效处理 AIOps 的障碍。

短时需求:AIOps 的机器人数据自动化

机器人数据自动化 (RDA)是AIOps 2.0 的关键技术

RDA 的自动化 DataOps,类似于 RPA 自动化业务流程。RDA是AIOps平台不可分割的一部分,可提供增强的数据准备和集成功能能力。RDA 既是一个数据自动化框架,也是一个加速和简化AIOps实现中所有数据处理的工具箱。

重点

• 使用数据机器人实现低代码数据管道。
• 原生 AI/ML 机器人程序。
• CFXQL — 统一查询语言。
• 内联数据映射。
• 数据完整性检查。
• 数据屏蔽、编辑和加密。
• 数据整合:聚合/过滤/排序。
• 数据提取/指标获取。
• 合成数据。

好处

• 简化和加速 AIOps 用例的实现。
• 减少与数据准备和集成相关的时间/工作/成本。
• 适用于 DevOps/ProdOps 人员(不需要数据科学家技能)。

用例和场景

• 日志集群: 从云和本地获取应用程序日志,运行 ML 模型以集群日志,将结果推送到Kibana/CFX仪表板。
• CMDB 同步:从 CFX 获取最新的资产清单并将其推送到CMDB。
• 从合作伙伴/子公司 ITSM 到客户ITSM的标签电子绑定(例如:BMC 事件到 ServiceNow)。
• 事件 NLP 分类:从 ServiceNow 获取标签,OpenAI(GPT-3)进行NLP分类,并在 ServiceNow 中丰富标签。
• 异常检测:从Prometheus(或任何监控工具)获取节点的历史 CPU 使用率(每小时)。应用回归在Slack上发送一条消息,并将异常列表作为附件。
• 标签集群:从ServiceNow获取最近 24 小时的事件,对标签应用集群,并将结果推送到新数据集,以便在 CFX 仪表板中进行可视化。
• 变更检测:获取AWS EC2 虚拟机的基准清单,并与当前状态进行比较以突出计划外的变更。

 

原文标题:Taming the Data Problem and Accelerating AIOps Implementations With RDA,作者:Tejo Prayaga

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

 

责任编辑:梁菲 来源: 51CTO
相关推荐

2024-03-05 13:51:16

2013-01-28 10:18:36

无线信号无线网络路由器

2021-03-18 12:41:42

AIOps机器学习人工智能

2015-08-03 15:06:13

2009-06-10 08:45:31

LinuxWhile文件等待

2017-07-20 07:30:16

大数据数据互联网

2018-11-15 11:52:36

百度云运维AIOps

2021-05-10 17:20:55

AIOps开发人员人工智能

2015-04-14 10:23:18

戴尔云计算

2018-08-09 15:04:19

DevOpsAIOps运维

2020-04-24 16:01:26

物联网数据IOT

2021-10-13 08:00:00

数据算法人工智能

2022-05-30 14:33:55

MLOpsIDC人工智能

2013-10-30 09:37:19

LinuxLinux命令

2020-03-16 10:56:06

大数据IT安全

2011-08-11 15:23:04

iPhoneNSBundleXcode

2022-07-07 14:23:06

人工智能机器学习大数据

2015-06-29 11:29:08

2016-07-28 13:32:28

大数据物联网

2022-12-12 08:13:27

Redis数据倾斜
点赞
收藏

51CTO技术栈公众号