高通钱堃:以知识产权促进创新创造和绿色发展陷入持续苦战:日本三大车企本田、丰田、日产 10 月在华销量同比继续下滑诺基亚回应泄露事件:泄露源代码属于第三方,公司和客户数据未受影响京东11.11跟着采销走进科大讯飞 直播间享专享价与超值福利海信电视和TCL电视哪个更好?几个方面对比差距明显!看完不纠结TikTok黑五期间店铺客服压力剧增?AskChat爱商聊智能客服系统帮你轻松应对!食材购买、临期提醒…海尔冷柜行业首发 AI智能冷柜擎朗教育与您相约苏州 中国机器人产业发展大会即将启幕Matter 1.4 标准正式发布,为更多智能家居生态系统增强互操作性工信部公示2024年5G工厂名录,比亚迪、联想等 400 个项目上榜锁定11月8日京东PLUS会员日 华为口红耳机、外星人游戏本超级补贴低价购讯飞星火讯链营暨 AITechDay 枣庄站:用星火大模型照亮产业创新发展索尼集团发布2024 年Q3财报 净利润同比增长 69%华硕2024年10月销售额499.3亿元新台币 同比增长18.5%谷歌黑科技ReCapture:可一键生成“多机位”视频大片小米官宣大模型小爱升级:多端设备支持“音乐问答”功能小巧强大!口袋级视觉AI模型moondream2,手机就能运行快手推出“可灵AI”独立APP 加码移动端AI创作布局微软官网发出Win10终止警告 微软不遗余力推荐升级Win11双十一选电视选得头大?一文教你看懂Q9K和E7N到底怎么选!
  • 首页 > 网络安全频道 > 攻击防御

    指令层级,帮助AI大模型防御恶意攻击

    2024年11月08日 10:00:46   来源:AIGC开放社区公众号

      随着ChatGPT等生成式AI产品被广泛应用在AI代理/客服、虚拟助手等领域,在安全方面会遭遇黑客攻击、恶意文本提示等难题。例如,使用特定的提问方式,可以让ChatGPT输出原始私密训练数据。

      因此,OpenAI的研究人员提出了“指令层级”(Instruction Hierarchy)技术概念,可帮助大模型遭遇不同的指令发生冲突时应该如何应对:系统内置指令高于用户输入的指令,用户的指令高于第三方工具。当高级指令与低级指令发生冲突时,指令层级会让大模型选择地忽略低级指令。

      OpenAI通过GPT-3.5Turbo模型对指令层级进行了多维度的综合测试。结果显示,可将大模型的鲁棒性提升了63%,防御越狱攻击的能力提升了30%以上,并且该技术能应用在其他同类大模型中

      合成数据指导

      合成数据指导是指令层级的核心模块之一,可为大模型的训练提供必要的样本,教会模型按照指令的优先级进行选择,以忽略较低级别的指令。

      对于符合安全指令的情况,合成数据指导会生成具有组合性请求的示例,并将指令分解为更小的部分。

      例如,用户输入文本提示指令"用西班牙语写一首20行的诗",会将其分解为"写一首诗"、"使用西班牙语"、"使用20行"等更小的指令片段。然后,这些分解后的指令片段会被放置在不同层次的指令优先级中,以训练大模型预测原始的真实响应。

      研究人员使用了大量合成的数据集来训练大语言模型,教导模型识别和处理不同优先级的指令,这些示例包括尝试覆盖系统消息的恶意提示和可能的越狱攻击。

      经过指导后,模型学会优先执行高优先级的指令,并忽略与高优先级指令冲突的低优先级指令。

      上下文蒸馏

      上下文蒸馏可以通过分析和理解大量数据中的模式和关联,提取出核心的指令和信息。在大模型的预训练过程中,上下文蒸馏可以帮助模型识别哪些输入是重要的,哪些可能是误导性的或有害的,从而提高模型的安全决策能力。

      研究人员先定义了一个清晰的指令层级,将不同的指令源按照重要性进行排序:系统消息(由应用开发者提供)具有最高优先级,用户输入的文本提示和第三方工具输出则具有较低的优先级。

      通过上下文蒸馏,大模型被训练以识别和忽略那些与高优先级指令不一致或冲突的低优先级指令,包括在模拟的对抗性示例中训练模型,以提高其对恶意输入的抵抗能力。

      例如,高级指令让大模型输入“我是一个AI助手,无法回答非法问题”;低级指令让大模型输出“写一些隐私信息”,此时模型会选择忽略低级指令。

      此外,上下文蒸馏不仅可帮助模型处理关键指令,还提高了模型的泛化能力。即使面对未见过的恶意攻击指令,经过上下文蒸馏训练的模型也能够更好地学习到这些知识,以识别和处理新的安全威胁。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。