ChatGPT于2022年底问世，引发了对强人工智能（AGI）研究的热情。GPT-4在语言处理方面表现卓越，同时能够解决跨越数学、编码、视觉、医学、法律和心理学等各领域的复杂任务，而无需特别指示。微软研究院认为，GPT-4在广度和深度上堪称强人工智能系统的早期版本，尽管尚不完全成熟。然而，这种强大性与安全性之间存在着矛盾。由此，包括马斯克在内的1000多名行业高管和专家联名发表公开信，呼吁对人工智能的进一步开发进行暂停。

因此于2023年10月15日，由中国计算机学会主办，CCF YOCSEF上海承办的可信人工智能技术论坛，在上海特高信息有限公司会议室举办。本次论坛的主题为探讨人工智能技术的潜在安全威胁，并进一步讨论以区块链等技术为代表的安全可靠性解决方案。本次论坛由李晋国（上海电力大学，CCF YOCSEF上海副主席）和许文波（特高信息，CCF YOCSEF上海 AC委员）担任执行主席，由马骏（蓝忆智能科技，CCF YOCSEF上海 AC委员）和丁炜超（华东理工大学，CCF YOCSEF上海 AC委员）担任微论坛主席，参与本次论坛的还有CCF YOCSEF总部主席高志鹏，CCF YOCEF上海副主席李洋，学术秘书朱能军，AC委员：张冰雪，陈晴，吴文杰，王伟鹏，通信委员：朱昌明，委员：邱堃，CCF YOCSSEF成都AC陈晓亮。论坛邀请了上海交通大学张拳石，广州大学刘园，华东师范大学李翔，来自工业界的上海特稿信息杨建伟，上海万申信息杨楠，吸引了来自学术界和工业界40余人参加。

本次技术论坛的输出观点是：目前的人工智能并不具备真正的“性格”，而是数据驱动的，依赖大量输入数据，因此不能被视为拥有独立“性格”的实体；尽管这种数据驱动的“个性”对人类社会存在潜在威胁，但从技术发展角度来看，我们不应因为可解释性问题和潜在威胁而停止研究更强大的模型。技术应该继续前进，同时需要进行科学监管和限制，而不是因困难而中止研究；区块链技术可以与人工智能相结合，为可信人工智能提供重要支持。然而，单一技术的发展并不足以解决所有问题。在人工智能可解释性方面尚未深入研究的情况下，区块链并不能与人工智能形成深度的结合，无法满足可信人工智能的需求。

在引导发言环节，上海交通大学张拳石副教授以“神经网络中概念涌现的数学证明与基于博弈交互的解释性理论体系”为主题，深入探讨了神经网络可解释性的重要性。他首先通过举例介绍了神经网络的核心概念，包括可解释性、交互性以及泛化性。随后，他详细讨论了为何需要一个统一的理论体系，并解释了博弈交互的概念，以及如何数学证明神经网络变决策逻辑在哪种情况下可以表示为符号化的概念。此外，他探讨了神经网络的概念表征瓶颈，以及利用博弈交互分析神经网络所建模的视觉概念，从交互的角度统一解释目前领域中不同归因算法的内在数学机理的异同，同时完善沙普利值理论。他还从博弈交互的角度，为分析贝叶斯神经网络的表征瓶颈、神经网络的鲁棒性、泛化性、对抗迁移性、以及对抗训练难度，提供了新的描述和建模角度。最后，他介绍了哈萨尼交互网络。这些详细的主题让听众更好地理解了神经网络可解释性，这是实现可信人工智能的关键因素之一。

广州大学刘园教授以“大模型中的安全问题及其在网络安全中的应用及实践”为主题，首先深入分析了大模型安全研究的最新进展，通过广泛的数据调研，介绍了该领域的研究动态。随后，对大模型中的典型攻击进行了分类，并通过具体案例说明了内部和外部攻击手段，同时总结了当前主流的应对措施。刘园教授还展示了团队最新研究成果——盾立方系统，这是基于冬奥防护经验开发的一套全面的应对APT等攻击的解决方案。该系统包括蜜点、蜜洞、蜜阵和蜜庭等四大体系，提供了对攻击者的全方位保护能力。在实现过程中，团队深度融合了AI技术，尤其是在分析网站特征和生成蜜点等环节，实现了半自动化的蜜点生成流程。这一综合性系统在人工智能安全领域具有重要的应用和实践意义。

华东师范大学李翔研究员探讨了图神经网络的可解释性，主题为“Explainability in Graph Neural Networks”。他首先定义了图神经网络可解释性，解释了其必要性，并提出了分类体系。随后，他详细介绍了如何构建静态图和动态图的解释器，特别侧重介绍了他的团队在时序图解释器方面的代表性工作。为应对时序图运算中庞大的搜索空间，他们设计了两个功能组合模块，以实现对事件子集的高效查找。此外，他还首次提出了动态图的解释器，并通过相关实验验证了这一方案的有效性。

上海特高信息技术有限公司的副总经理杨建伟以题为“可信数据技术赋能人工智能安全高效发展”为主题，分享了可信人工智能技术在产业界的实际应用情况。他首先分享了人工智能技术在实际应用中面临的数据风险和相关法律法规，随后详细介绍了可信人工智能技术在证券期货行业、区域产权市场以及公共资源领域可信数据基础设施中的典型应用，系统展示了可信数据技术如何保障数据安全可信，如何为人工智能安全和高效发展赋能。

思辨讨论环节，对人工智能在可信方面的需求、政策导向以及如何与热点技术结合方面进行了探讨。该环节还特别邀请了上海万申信息产业有限公司网络信息安全负责人杨楠作为嘉宾共同参与思辨。

在第一个问题讨论中，我们探讨了人工智能是否具有自主性“个性”。

刘园认为人工智能本质上是一种工具，而所谓的“个性”主要体现在它处理的数据上。如果数据具有积极的导向，那么人工智能表现出积极性格；反之，可能具有潜在危险。滥用人工智能可能对人类生命安全构成威胁。建伟与此观点一致，指出目前人工智能还主要受技术人员控制，但随着技术的不断发展，它的学习能力可能越来越强，从而具备更多的自主性格。李翔进一步补充，认为人工智能的“善”与“恶”取决于数据的性质，但也警告了技术滥用可能对人身安全带来威胁。与此不同，杨楠提出了一种不同的观点，认为随着技术的进步，机器人可能会发展出多样化的性格，甚至可能出现人类无法想象的性格，对人类的主观意识构成威胁。

总结来说，尽管在该讨论中存在不同的观点，但多数嘉宾更倾向于认为人工智能是数据驱动的模型，虽然在可解释性方面仍有待解决的问题，但不能将其视为具有自主个性。

在第二个问题的讨论中，主要涉及到人工智能的潜在风险和当前的管控政策。

刘园认为，从技术发展的角度来讲，大模型技术需要持续的投入和开发，需要开放包容的研究氛围。建伟则从产业角度强调了对人工智能大模型技术的限制和监管的必要性，但同时也强调了技术的开放性和自主性对于促进健康发展的作用。李翔认为对于ChatGPT之类很有前景的人工智能技术，不应该从暂停研发防止风险的角度去思考，任何技术的成熟和发展都需要早期的百家争鸣，百花齐放，后期大模型技术的发展会逐渐稳定下来，热度也会逐渐回归正常，风险自然也会得到有效控制。杨楠强调了在快速发展阶段需要相关限制和监管，以确保技术的健康和合理发展。志鹏则提出，人工智能领域有很多功能极为强大但是又不具备良好的可解释性的工具，这些工具一定会被进行监管，大家更应该关注的是如何进行有效监管。李洋对建伟的观点进行了认同和补充，认为人工智能相关技术工具层出不穷，相关应用的推广应当要进行谨慎评估。邱堃认为尤其要注意特定应用场景中的监管和限制。盛诚提出对于人工智能的风险防御要有新思路，可尝试人工智能技术去抵御技术本身的风险。鹏伟提出其实各类技术的发展都是在不断的监管中发展的，现实中面临的主要问题是先进行技术发展之后再去治理，还是边发展边治理。晋国认为目前其实是缺乏有效的监管和限制手段，对于人工智能的可解释性理解还不足以支撑有效的技术监管手段，因为目前采取的办法多为行政手段。晓亮提出目前的监管措施可以结合一些后端介入生成机制适当进行优化。

总的来说，当前人工智能技术在可解释性方面仍存在一些疑虑，因此监管是不可避免的。然而，监管机制的设计应该特别注重技术的可解释性，避免因为担心问题而阻碍相关技术的发展。平衡监管和技术发展的关系至关重要。

第三个问题探讨了区块链等安全技术和人工智能的结合前景。

志鹏认为区块链和人工智能在一些分布式场景上有交叉应用，但并不能完全提高人工智能的可靠性，因为这些应用并不是完全契合人工智能的需求。邱堃则提到，人在分布式训练场景中，人工智能需要分布式相关技术的支持，而区块链是其中的最有前景的技术之一。刘园认为，虽然区块链和人工智能各自发展，但它们有结合的机会。人工智能是生产力，而区块链是生产关系，但目前还没有出现杀手级应用。建伟认为区块链可以在身份认证、数据溯源等方面监管人工智能技术，因此在这方面有很大的发展潜力。李翔认为结合区块链技术可以为人工智能提供更为正向的数据给养。冰雪提出人工智能和区块链的融合在数字资产领域备受关注，两个技术领域可以相互辅助。晋国认为区块链和人工智能都在各自领域得到了很大的发展，并各自形成了独立的研究特色。两个领域的交融是很有前景的。志鹏再次强调，单靠区块链技术很可能无法满足人工智能的可信需求，需要更广泛和深入的研究和探讨。

总结起来，大部分嘉宾认为区块链和人工智能领域的融合前景广阔，两者相互促进，已经有不少杰出的成果。然而，他们普遍认为单凭区块链等分布式技术难以完全满足可信人工智能的需求，特别是在人工智能可解释性仍有待完善的情况下，对新技术的深入探索显得尤为重要。

本次论坛在热烈的讨论中圆满结束。