白雪走珠笔天猫价格相当于京东2倍 下单前多比价避免买贵AIGC时代来临,网络视听准备好了吗?极光GPTBots.ai通过中国信通院“大模型基础完备性测评”X平台惊爆大规模数据泄露 近30亿条用户信息遭窃内测已久的Manus开启收费,与阿里合作探索国产模型新可能黄仁勋透露:GAA技术2028年为NVIDIA新GPU提20%性能春季过敏退退退!华为天气健康服务上线,主动提醒早预防科大讯飞入局智驾 官方称“今年大概会有车陆续量产”英特尔酷睿Ultra 200HX新品分享会引围观 多款AI游戏本新品上线京东优创数据荣膺ISG保险科技领导者 生态协同与智能技术驱动产业升级模型云平台——引领3D设计与AI融合的云端创新力量锐龙AI Max 300系列引期待,锐龙9000G系列四季度或登场苹果2025至2027年产品规划曝光:M 系列芯片升级与 Mac 重大改版钛钽预告LG600一体式水冷散热器:3.95英寸可定制屏支持模块化拆装DIY玩家打造树莓派Zero拍立得相机 支持热敏纸即时打印华为:2024年全球销售收入8621亿元 净利润626亿元AI版论文搜索Ai2PaperFinder:输入主题AI自动搜索全部相关论文Wayve推完整世界模型GAIA-2:支持同时生成5个视角的视频,可模拟高风险场景飞猪首度公布AI成果:在线客服效率激增54%,商家发品人效翻倍告别节点噩梦!ComfyUI-C opilot发布,具备GPT-4o同款图像生成与编辑能力
  • 首页 > 云计算频道 > 大模型

    Galileo发布Luna,重新定义GenAI评估,成本降低97%、速度提升11倍

    2024年06月07日 14:41:20   来源:站长之家

      Galileo 近日发布了一款名为 Luna 的全新产品,这一革命性的 Evaluation Foundation Models 套件重新定义了企业对 GenAI 系统的评估方式。Luna 承诺在速度、成本和准确性方面进行了前所未有的突破。

      “Galileo 推出 Luna,旨在解决当前 GenAI 评估方法的局限性,这些方法通常速度缓慢、成本高昂,而且往往不准确。”Galileo 联合创始人兼首席执行官 Vikram Chatterji 在接受 VentureBeat 采访时表示。“推动我们开发 Luna 的初衷源自对在生产环境中进行超低延迟、成本效益高和高准确性评估的需求。”

      Luna 的研发标志着 Galileo 取得了重要的里程碑,该公司自2021年初成立以来一直处于企业 GenAI 的最前沿。公司对推动人工智能评估边界的执着可从 Luna 的开发过程中窥见端倪,该过程历时近一年,进行了密集的研发工作。

      Luna,Galileo 划时代的 Evaluation Foundation Models 套件,在接收器操作特征曲线下面积(AUROC)得分的基准比较中胜过了领先的人工智能评估方法。更高的 AUROC 值达到了0.78,表明 Luna 在评估企业生成式人工智能系统的准确性方面更胜一筹,超越了 GPT-3.5、Trulens Groundedness 和 RAGAS Faithfulness 等竞争对手。

      Luna 创新的核心在于其专为特定评估任务设计的小型语言模型,精心为幻觉检测、语境质量评估、数据泄漏防护和恶意提示识别等任务量身定制。这种专业设计使得 Luna 在速度、成本和准确性三个关键指标上表现卓越。

      “Luna 通过几项创新的方式超越了 GPT-3.5在速度、成本和准确性方面,”Chatterji 解释道。“Luna 利用专为特定评估任务量身定制的小型语言模型,大大降低了计算开销和成本。这种设计选择使得评估的成本比使用 GPT-3.5低97%,速度则比使用 GPT-3.5快11倍。”

      然而,这并不仅仅是关于速度和成本。Luna 还以行业领先的准确性脱颖而出,在检测幻觉、提示注入、个人可识别信息(PII)等方面,其性能比以往方法高出多达20%。“多头小型语言模型和智能分块等先进技术确保 Luna 模型更好地保持上下文并提供更准确的评估,”Chatterji 补充道。

      在对评估100万次查询的月度成本进行比较时,Galileo 的 Luna 大幅低于其他方法,仅需每月175美元。Luna 的专为特定评估任务设计的小型语言模型实现了超低成本的评估,使其比 GPT-3.5(每月6248美元)、RAGAS Faithfulness(每月7994美元)和 Trulens Groundedness(每月16641美元)等替代方案高效率低至97%。

      Luna 最引人注目的一个方面是其能够在不需要传统基准数据集的情况下运行。通过利用在多样、领域特定数据集上微调的预训练评估模型,Luna 消除了创建定制测试集的耗时和昂贵过程。这一创新简化了评估流程,减少了对大量人工生成数据的依赖。

      Luna 的潜在应用广泛,Chatterji 强调了它在需要人工智能评估具有高可靠性和速度的行业中的相关性。“Luna 在需要大规模应用、吞吐量大的企业应用中尤为强大(比如每月数百万次查询)。我们发现在医疗保健、金融和电信等行业,财富100强企业特别喜欢使用 Luna。” 他说道。

      Galileo 的 Luna 在人工智能评估方面提供了无与伦比的速度,处理单个查询的延迟仅为0.232秒。这较之其他方法,例如 GPT-3.5的2.5秒、Galileo Chainpoll 的3.0秒、Trulens Groundedness 的3.4秒和 RAGAS Faithfulness 的5.4秒,有了显著提升。Luna 的专为特定评估任务设计的小型语言模型实现了超低延迟的评估,使其比竞争方法快至多达11倍。

      用例涵盖了对人工智能输出的实时监控、检测人工智能生成内容中的幻觉,以确保聊天机器人交互的安全性和质量。通过 Galileo 的 Fine Tune 产品,Luna 可定制以满足特定客户需求,为制药和金融服务等行业的关键任务实现95% 以上的准确性。

      随着生成式人工智能领域的快速发展,Galileo 致力于保持创新的最前沿。Chatterji 强调,Luna 将在三个关键方面扩展规模:扩大对更多评估任务类型的支持、持续提高准确性,以及进一步降低成本和延迟。

      “Galileo 致力于突破人工智能评估的可能边界,帮助组织将可信赖的人工智能引入生产环境,激发消费者的信心和信任。”Chatterji 表示。“随着生成式人工智能领域的不断演进,Galileo 将继续致力于为客户提供尖端的评估能力,使人工智能在业务部署中变得实用,并在消费者中产生信心和信任。”

      随着 Luna 的推出,Galileo 在企业 GenAI 评估领域巩固了其领先地位。随着越来越多的组织寻求利用生成式人工智能的力量,Luna 提供快速、成本效益高和准确的评估能力将成为推动广泛采用和释放这一变革性技术全部潜力的关键因素。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。