• 首页 > 企业IT频道 > 软件即服务

    火山引擎:提供超高性价比,简化企业 AI 应用落地门槛

    2024年08月30日 16:09:38   来源:Citnews中文科技资讯

      在近日举办的火山引擎AI创新巡展(上海站)活动中,火山引擎总裁谭待表示,豆包大模型在三个月内综合能力提升了20.3%,在降低价格门槛的同时确保高性能,让大模型更容易在千行百业落地。

      在今年5月举办的Force原动力大会上,字节跳动发布了豆包大模型,并将推理成本打到最低,豆包通用模型pro在企业市场的推理输入定价为0.0008元/千Tokens。

      豆包通用模型pro为客户提供业内最高标准的初始 TPM(每分钟 Tokens)和 RPM(每分钟请求数),有助于企业的业务在高并发场景中落地。

      在演讲中,谭待以经常出现高并发、高负载的企业客服行业为例,分享了豆包大模型的性能情况。

      他表示,在企业客服行业,随着交易量出现波峰、波谷,场景始终在不断变化。而凭借豆包大模型,以及火山引擎的能力和服务,已经帮助很多企业客服客户优化了效果,并支持住最高并发挑战。

      火山引擎智能算法负责人、火山方舟负责人吴迪则表示,为应对企业日常业务的真实需求,火山引擎通过将调度做到极致,在成本方面极具优势。

      同时,火山引擎支持在分钟级时间段内,完成数千卡伸缩,有效支持突发流量和业务高峰。另外,火山引擎推出的批量推理模式,使得接入豆包模型批量推理模式的客户,默认可获得13亿tokens的起始额度。

      沐瞳智能服务负责人张文文则在现场分享了沐瞳与火山引擎合作的真实案例。沐瞳通过将豆包大模型能力应用于旗下游戏的 AI 实时判罚场景,基于游戏内聊天文本对辱骂/攻击性发言进行识别,取得良好的真实效果。

      他表示,在对战游戏领域,玩家很容易情绪激动,情不自禁地“口吐芬芳”。如不能对此有效管理,则可能导致玩家流失、游戏口碑下降。

      大模型出现之前,对于这种情况的传统解法,只有关键字屏蔽,以及客服解决等。但真实场景是,游戏中每天发生上亿场战斗,其中三百万场可能出现相关投诉,只依靠客服处理并不现实。

      在使用豆包大模型后,与举报相关的聊天记录会发给大模型,以编制过的prompt,让大模型对其加以识别,再根据识别结果做出针对性的判罚、处理、禁言等。最终,召回率超过80%,个别语种甚至能够超过90%,并且用通用模型即可管理52种语言的业务。

      火山引擎云基础产品负责人罗浩则表示,在与沐瞳的合作中,大量用到了各种的云基础,以及包括豆包大模型在内的火山引擎AI产品,并且所有的产品使用都在同一朵云之上,在整体调用过程中也没有出现额外的流量成本,调用的延时也做到了最优化。

      在现场,罗浩还列举了客户美图的具体案例,进一步解读了企业如何在具体业务场景中更高效地利用火山引擎的云端资源。他表示,火山引擎提供弹性资源池,利用潮汐算力,使得美图在整体使用GPU和CPU云资源时,成本达到最优化。(作者:唐明)

      

    [No. X048]
    分享到微信

    即时

    TCL实业荣获IFA2024多项大奖,展示全球科技创新力量

    近日,德国柏林国际电子消费品展览会(IFA2024)隆重举办。凭借在核心技术、产品设计及应用方面的创新变革,全球领先的智能终端企业TCL实业成功斩获两项“IFA全球产品设计创新大奖”金奖,有力证明了其在全球市场的强大影响力。

    新闻

    敢闯技术无人区 TCL实业斩获多项AWE 2024艾普兰奖

    近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    “纯臻4K 视界焕新”——爱普生4K 3LCD 激光工程投影

    2024年3月12日,由爱普生举办的主题为“纯臻4K 视界焕新”新品发布会在上海盛大举行。

    研究

    2024全球开发者先锋大会即将开幕

    由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。