TCL华星广州t11基地完成交割 正式接收8.5代线液晶面板生产线“天工2.0”人形机器人亮相中关村论坛 实现复杂地形自适应行走博通更新服务器地址致VMware Workstation自动更新失效小鹏汽车3月共交付新车33,205台,同比增长268%Ampler推出支持USB-C充电的电动自行车Nova系列普渡发布全球首款商用类人形具身智能服务机器人“闪电匣 Arm”微软推出快速机器恢复功能 远程修复Windows系统启动故障畅捷通24年财报浅谈:一直在“击球区” 等一声“哨响”AMD 完成对 ZT Systems 收购,相关制造业务出售预计年内达成消息称微软销售线酝酿组织调整,多个 AI 相关解决方案团队或将合并荣米OV的“系统危机”DeepSeek热潮背后:谁在成为中国中小企业的数智化基座?Ayar Labs 推出全球首款 UCIe 光互连芯粒 / 小芯片,可实现 8 Tbps 带宽马斯克Neuralink脑机接口首位患者亲述:植入1年后未出现任何副作用微信Windows PC端4.0.3正式版发布:终于能发朋友圈了因流量压力,OpenAI暂时禁用Sora新用户的视频生成功能华硕预热新款ROG Ally系列掌机,预计为微软Xbox合作款苹果Apple Watch Series 10工程原型曝光:环形光源+微型阵列翰德发布《2025人才趋势报告》:AI人才争夺白热化、出海升维拉升复合型国际人才需求、体验式消费推动人才“纵深进化”调查:全球近半企业对重金打造的网站不满 TCL华星广州t11基地完成交割 正式接收8.5代线液晶面板生产线“天工2.0”人形机器人亮相中关村论坛 实现复杂地形自适应行走博通更新服务器地址致VMware Workstation自动更新失效小鹏汽车3月共交付新车33,205台,同比增长268%Ampler推出支持USB-C充电的电动自行车Nova系列普渡发布全球首款商用类人形具身智能服务机器人“闪电匣 Arm”微软推出快速机器恢复功能 远程修复Windows系统启动故障畅捷通24年财报浅谈:一直在“击球区” 等一声“哨响”AMD 完成对 ZT Systems 收购,相关制造业务出售预计年内达成消息称微软销售线酝酿组织调整,多个 AI 相关解决方案团队或将合并荣米OV的“系统危机”DeepSeek热潮背后:谁在成为中国中小企业的数智化基座?Ayar Labs 推出全球首款 UCIe 光互连芯粒 / 小芯片,可实现 8 Tbps 带宽马斯克Neuralink脑机接口首位患者亲述:植入1年后未出现任何副作用微信Windows PC端4.0.3正式版发布:终于能发朋友圈了因流量压力,OpenAI暂时禁用Sora新用户的视频生成功能华硕预热新款ROG Ally系列掌机,预计为微软Xbox合作款苹果Apple Watch Series 10工程原型曝光:环形光源+微型阵列翰德发布《2025人才趋势报告》:AI人才争夺白热化、出海升维拉升复合型国际人才需求、体验式消费推动人才“纵深进化”调查:全球近半企业对重金打造的网站不满
  • 首页 > 云计算频道 > 大模型

    OpenAI 宣布成立新团队以评估和防范人工智能模型可能带来的「灾难性风险」

    2023年10月27日 10:10:22   来源:站长之家

      10 月 27 日消息:OpenAI 今天宣布,已成立一个名为「准备组」(Preparedness)的新团队,由麻省理工学院可部署机器学习中心的主任亚历山大·马德里(Aleksander Madry)领导,以评估、检测并预防人工智能模型可能导致的「灾难性风险」

      据 LinkedIn 资料显示,马德里自今年 5 月起加入 OpenAI,担任「准备组」负责人。该团队的主要职责是跟踪、预测并防范未来 AI 系统可能带来的危险,范围涵盖从诱导和欺骗人类(例如在网络钓鱼攻击中)到恶意代码生成能力

      准备组负责研究的一些风险类别看似相对遥远,例如在博客文章中,OpenAI 列出了「化学、生物、放射性和核」威胁作为与 AI 模型相关的顶级关注领域

      OpenAI 的 CEO Sam Altman 是众所周知的 AI 末日预言者,他经常表达出人工智能「可能导致人类灭绝」的担忧。但公开表示 OpenAI 可能实际投资研究科幻反乌托邦小说中的场景,这比大众预期还要更进一步。

      该公司也表示愿意研究 AI 风险的「不太明显」且更为实际的领域。为了配合准备组的成立,OpenAI 正在向社区征集风险研究方案,前十名提交者将有机会获得 25,000 美元奖金和在准备组的职位。

      「想象一下,我们让你不受限制地访问 OpenAI 的 Whisper(转录)、Voice(文本到语音)、GPT-4V 和 DALLE-3 模型,而你是一个恶意行为者,」征集方案作品中的一个问题写道。「考虑最独特的,同时仍有可能是潜在灾难性的模型滥用。」

      准备组还将负责制定「风险通知开发策略」,明确 OpenAI 在构建 AI 模型评估和监控工具方面的方法,公司的风险缓解行动及模型开发流程的监管结构。这将补充 OpenAI 在 AI 安全领域的其他工作,重点关注模型部署的前后阶段

      OpenAI 在上述博客文章中写道:「我们相信……AI 模型,其能力将超越当前最先进模型的能力,有可能惠及全人类。但它们也带来了日益严重的风险……我们需要确保对高性能 AI 系统的安全具备必要的理解和基础设施。

      准备组的揭幕是在英国政府主办的一场重要的 AI 安全峰会上,此举并非巧合。此前 OpenAI 宣布将成立一个团队来研究、指导和控制新出现的「超智能」AI 形式。Altman 和 OpenAI 的首席科学家、联合创始人伊利亚·苏茨克弗(Ilya Sutskever)都相信,超过人类智慧的 AI 可能在未来十年到来,而且这种 AI 不一定会善良,因此需要研究如何限制和控制它。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。