混沌工程技术实践与创新丨TF108回顾

目前大规模分布式云平台和微服务架构应用普遍，因系统的复杂性显著增大，系统的不确定性、稳定性成为企业的挑战，所以近几年不少国内企业开始关注混沌工程。同时因为混沌工程要求在生产环境和过程中进行，企业技术团队如果没有很好的工程实践和经验保障，不敢承担风险落地实践。为了更好地帮助大家开展混沌工程实践，CCF TF软件质量工程SIG策划了本次“混沌工程技术实践与创新”活动，讲者来自大、中、小等不同规模的企业，他们的技术实践经验相互补充，使之更具有普适性，能更好地满足国内IT企业在实施混沌工程中不同应用场景的需求。

CCF TF第108期“混沌工程技术实践与创新”邀请了亚马逊资深技术专家黄帅、PingCAP混沌工程负责人殷成文、Shopee技术专家王相等3位从事混沌工程的企业技术专家，结合企业自身在故障注入、自动化诊断、服务自愈和应用安全等方面的技术实践，从不同角度来讨论混沌工程背后的原理、技术应用、实施过程中注意事项等，分享他们在混沌工程技术实践中所积累的经验。

来自亚马逊资深的技术专家黄帅跳出混沌工程圈定的范围，而是用一种系统的视角来审视软件系统的可靠性，提出“数字免疫”的概念及其实践框架，有了全面和统一的视角之后，才能真正支撑起你的云原生生产系统的稳定性，从而确保系统韧性、产品快速交付、安全性和可靠用户体验等。这个框架包含了六大部分，混沌工程是技术核心。

可观测体系：实现系统状态可视化，持续监测和链路跟踪；

自治化测试：无需人工干预，可独立完成，涉及自动规划、自动创建、自动维护和自动分析；

混沌工程：探索性测试，旨在发现系统中的漏洞和弱点，在将系统部署到生产环境之前确保系统有足够的韧性；

系统自愈力：无需运维工程师参与，在检测到问题时，能及时恢复，自动问题修复；

站点可靠性工程：在速度、稳定性和风险之间取得平衡，增强站点可靠性，提升用户体验；

软件供应链完全：处理在整个软件供应链中的潜在风险，使软件供应链透明、安全和可验证。

PingCAP混沌工程负责人殷成文分享了在 PingCAP 探索混沌工程和自动化诊断的历程中，如何将混沌工程和自动化诊断相结合、相辅相成，更好帮助改善系统的稳定性问题。在分享中，殷成文强调要考虑清楚稳定性问题，基于良好的工程逻辑来设计混沌工程实验，有一个比较完整的体系去评估整个系统的稳定性，如收集多种数据去探索整个系统的变化情况，而不是用一个简单的阈值的方式去判断整个系统的稳定性。其次，一定要把整个混沌工程融入迭代开发的流程中，和研发团队有良好的协作，这样才能保证达到实验的目的。

Shopee技术专家王相首先介绍了开源混沌工程工具Chaos Mesh的主要功能，然后围绕应用级的故障注入（即将混沌工程直接添加到应用程序中，以一种快速、简单且有趣的方式来增加对系统稳定性的信心）方法来讨论混沌工程实践，其中重点分享了Golang failpoint以及在TiDB-DM中的具体应用，通过几个具体的例子，详细探讨了如何对应用内部进行故障注入的步骤、技巧和注意事项。

互动环节，各位参会者对混沌工程技术实践的相关内容进行了踊跃提问，如“在自动诊断过程中比较常用的方式是什么？如何提高准确性和效率？”、“在一键关停的设计中，需要关注的点是哪些？是否需要人工介入？若自动关停，判断指标的考虑原则是什么？”、“单实例的偏业务的服务在做应用级别的演练比较常用的故障场景有哪些？”等问题，各位嘉宾根据分享的主题内容进行了充分的回答。

软件质量工程SIG活动安排：

欢迎关注CCFTF及CCF业务总部公众号，精彩陆续开启！

关注CCFTF获取TF活动资讯

关注CCF业务总部优惠预定会议场地

合作单位