►大模型安全框架设计
大模型安全框架首先从大模型生产研发的角度，将大模型的生命周期进行拆解，划分为数据处理、大模型训练部署、大模型应用三个不同阶段，并且对这三个阶段可能涉及的资产进行了梳理。接着，大模型安全框架围绕大模型的安全生命周期，从全局视角剖析了在大模型安全研发应用流程中存在的安全风险问题，以及如何应用这类安全风险的可能解决方案。
大模型安全框架的设计旨在具备全局性、实用性和前瞻性:
(1)全局性:大模型的研发应用是集数据、模型、算法、应用于一体的有机体，经历了数据处理、模型训练、模型评估、模型部署等多个阶段。大模型安全应用框架面向大模型研发应用的所有关键基础组件，覆盖大模型全生命周期，提出全面且有针对性的安全建议。
(2)实用性:目前面对新出现的大模型安全风险，目前行业内还未形成成熟完善的解决方案。大模型安全应用框架旨在提供大模型生命中周期中实用的、可操作的、有针对性的安全建议。
(3)前瞻性:目前行业内已经暴露出诸多大模型安全风险，然而目前大模型安全仍然属于一个新兴的安全领域，许多安全攻防理论和技术仍然处于建设阶段。因此大模型安全应用框架的设计，不局限于当前已发现的安全风险的解决，而是立足于保障大模型技术安全应用这一目标，同样关注未来可能出现的安全风险问题，提出能有效应对新风险的大模型安全框架。
►大模型安全框架的实践思路
大模型安全框架自顶向下包含大模型生命周期、大模型安全风险、大模型安全目标、大模型安全技术和大模型安全管理五个模块。大模型安全框架首先围绕大模型生命周期剖析了大模型各个阶段所面临的安全风险。大模型安全目标是构建可信、可控的大模型应用的基础，为大模型安全建设指明方向。大模型安全能力是大模型安全建设的重点，是解决大模型安全问题的关键。大模型安全管理是落实大模型建设的支撑。
1.大模型生命周期:根据大模型生产应用流程，将大模型的生命周期划分为大模型数据处理、大模型模型训练部署、大模型落地应用三个阶段。其中数据处理阶段主要收集、处理、储存大模型训练需要的各类训练数据;训练部署阶段基于海量的数据设计合适的算法对大模型进行训练、评估;大模型应用阶段将大模型应用于各类场景，如推荐、广告、搜索等。
2.大模型安全目标:通过分析大模型面临的安全风险和根源，从数据、算法、模型、环境、应用几个维度提出大模型安全的建设目标。
3.大模型安全技术:数据、模型、算法、基础组件、应用是大模型全生命周期中的核心资产，也是大模型安全中的重点保护对象。因此，大模型安全框架围绕这些核心资产所面临的安全风险，提出风险收敛的技术手段。
►大模型安全风险
在大模型生命周期的不同阶段，面临着不同的安全风险。在大模型数据处理阶段，潜在数据泄漏、数据投毒风险;在大模型训练部署阶段，潜在模型篡改、AI组件漏洞、平台漏洞、硬件漏洞、供应链投毒的风险，由于这一阶段同样涉及训练数据，因此同样潜在数据泄漏风险;在大模型落地应用阶段，潜在事实性错误、隐私泄漏、提示注入、对抗攻击、内容安全、大模型滥用的风险。
(1)数据泄漏:大模型的训练过程中需要大量的数据，数据在清洗、处理、传输过程中存在数据非法获取或泄露的风险。这可能包括个人隐私数据、商业敏感数据、政府机密数据等各种类型的数据。数据泄漏可能导致一系列的问题，如隐私侵犯、经济损失、法律责任等。
(2)数据投毒:大模型的训练依赖于大规模高质量的数据集，训练集的来源包含网页获取、众包标注和开源数据等。一方面，这些来源没有经过严格的可靠性验证，其中可能包含恶意模式，例如被广泛验证的后门攻击，攻击者通过篡改少部分的训练样本并植入触发器，使得最终模型在正常测试样本上表现异常，却会在包含触发器的样本上预测错误，这种攻击十分隐蔽，会在实际生产中造成巨大损失。
(3)模型篡改:大模型生命周期中，模型是核心资产，也是重点防护对象。在模型研发流程中，潜在模型篡改的风险，例如修改模型文件，为模型植入后门，攻击者插入一个特定的模式或“触发器”，使得模型在遇到这个触发器时产生预设的行为。这种行为通常是不符合模型正常行为的，可能是错误的输出，也可能是恶意的行为。
