A.艾拓先锋ITIL CHINA

在可观察性时代,如何有效利用运维大数据进行IT运维管理

1736587089367.png


“全面可观测性时代,如何用好运维大数据”,简单来说就是探讨在运维这个大舞台上,怎么利用大数据这把利器,让我们的系统更加透明,管理起来更得心应手。文章呢,咱们分四块来聊,先说说啥是可观测性,再看看咱们面临啥挑战,然后是具体的技术招数,最后来个总结。

 

先说说可观测性是个啥

可观测性这词儿,最早是从控制理论那边来的,就是说咱们能从系统的外在表现来推断它内在的秘密。这不仅仅是看指标、翻日志、追踪调用链那么简单,它还得能帮咱们探索那些还没发现的问题,也就是“未知的未知”。要实现这个,咱们得收集对的数据,还得会玩儿数据探索。

 

可观测性跟监控是啥关系

监控嘛,就是咱们为了提高系统的可观测性而做的各种努力,而可观测性就是衡量系统有多健壮、跑得快不快、能不能轻松变大变小的一个标准。监控是让系统变得超级可观测的关键一步,但光有它还不够。

 

咱们现在有啥技术底子

说到运维,咱们现在手里头的技术牌可不少,比如数据采集(指标、日志、调用链)、数据统一标准(OpenTelemetry)、数据管理系统(TSDB、ES、GraphDB、数仓等等)、算法(异常检测、日志聚类/异常检测、根因分析、异构数据融合)还有可视化工具(Grafana、Kibana、GraphVis)。

 

咱们现在面临啥挑战

虽然手里头有技术,但挑战还是有的,比如数据深度关联、灵活探索和统一管理。数据深度关联得解决标签太多和融合不深的问题,目标是让指标、日志、调用链、告警这些能有更深的联系。数据统一管理得搞定异构数据的关系代数和查询优化,目标是建个高效的异构数据管理系统。数据灵活探索得把查询和算法结合起来,目标是让咱们能更轻松地查询复杂对象。

 

技术解决方案是啥

为了解决这些挑战,咱们得用上各种技术解决方案。在数据深度关联上,咱们得用实体提取、实体图和时序元数据融合,还有文本特征和时序特征的融合,让异构数据能深度关联起来。在异构数据查询系统上,得支持时间序列、文本、图、键值等不同数据的统一管理和查询。面向关联的查询系统得能做基于时间、属性值和类型的关联查询,还有基于bitmap的数据分块和查询处理,让指标、日志、调用链能关联起来。基于自然语言的数据探索得用自然语言到SQL的转化引擎,降低学习门槛,提高表达能力和扩展性。交互式数据分析引擎得融合多种算法,支持不同语言开发的算法和输入数据格式的智能学习。

 

 

可观测性主要是为了解决“未知的未知”问题,面临的三个数据挑战是深度关联、统一查询和灵活探索。通过结合异构数据、查询和算法,咱们能提升运维过程中的数据探索能力,更好地应对系统中的未知问题。

 

 

 IT运维管理:ITIL先锋论坛—全面可观测性时代,如何用好运维大数据.pdf 

 


← 返回网友热议