毕尔巴鄂对阵皇家社会:两支近邻球队将于西甲联赛 “巴斯克德比”中为捍卫荣耀而战贝壳第三季度营收226亿元 经调净利润17.8 亿元 同比下降17.46%AI营销,让科技巨头尝到了大模型商业化的甜头安恒信息范渊在乌镇峰会谈AI:以工具视之、以工具用之、以工具治理之诺基亚与微软再合作,为 Azure 数据中心供货延长五年天岳先进发布业界首款 300mm(12 英寸)N 型碳化硅衬底三星介绍内部安全团队 Project Infinity 攻防演练项目,高效修复 Galaxy 手机平板漏洞上海市将推进低空飞行服务管理能力建设,2027 年底前累计划设相应航线不少于 400 条岁末,海尔给您备好一套“小红花”为什么说Q10K Pro是今年最值得入手的电视?看完这几点就明白了!“小墨方·大不凡”!Brother“小墨方”系列彩喷一体机全新上市黄仁勋:AI智能需求强劲,“物理定律”限制英伟达芯片增长诺基亚与微软再合作,为Azure数据中心供货延长五年国家数据局:到2029年基本建成国家数据基础设施主体结构中国已发展成为全球最大的互联网市场,拥有全球最多的网民和移动互联网用户中国铁塔:计划按照10:1的比例合股美国FCC正式划定5.9GHz频段用于C-V2X技术在AI领域奋起直追!苹果要对Siri大革新 2026年正式发布日本机构公布量子专利榜单:本源量子、国盾量子位居全球第1中国联通:拟向华为、中兴展开5G网络设备竞争性谈判采购
  • 首页 > 云计算频道 > 大模型

    Meta传统艺能内斗 在大模型上演了

    2023年09月07日 16:32:32   来源:字母榜

      编辑:王靖

      撰文:毕安娣

      两个月前,开源大模型Llama 2惊艳四座,如今其发布者Meta在AI领域的发展却遭遇着危机。

      据The Information,Meta有几个不同的团队同时研究AI,在公司策略变化、算力又有限的情况下,内部斗争严重,目前已经造成了比较严重的人员流失。

      知情人士透露,内部不同团队开发互为竞品的模型,其中有的项目已经被Meta放弃,目前已经有很多人辞职。

      今年2月发表的原始Llama论文的14位作者中,有一半以上已经离开了Meta,其中一些人进入了其他大公司或初创企业。例如FAIR(Meta的AI部门)研究主管阿曼德·朱林(Armand Joulin)于5月离开,加入了苹果;其他有几位工程师加入了法国初创企业Mistral AI,该公司今年6月才成立。

      Meta的AI研究实验室主管乔埃尔·皮诺(Joelle Pineau)在接受采访时表示:“留住和吸引优秀人才可能是我花费大部分时间的地方,因为没有优秀的研究人员,我什么都做不了。”

      皮诺的话印证着Meta面临AI人才流失的挑战,“巧妇难为无米之炊”,管理者的大部分时间耗费在人员问题上,这对Meta来说是红色的信号灯。

      去年底,VR大神约翰·卡马克(John Carmack)辞去Meta的CTO一职,在内部信中大篇幅倾倒对这家科技巨头的不满:效率低下,只有“5%的GPU利用率”;内斗严重,即便他“在这里拥有最高等级的声音,”,依旧力不从心。

      这是打在全力发展元宇宙的Meta脸上的一记耳光。

      彼时,该公司完成从Facebook到Meta的品牌重塑已经过去一年时间,马克·扎克伯格(Mark Zuckerberg)贯彻着“以元宇宙为先”的原则,但烧钱不止,收获不足,外部质疑不断,员工已经颇有微辞。一年的时间,Meta元宇宙部门亏损百亿美元,其社交虚拟平台Hrizon Worlds的“小人儿”却连长个腿都困难。

      如今,尽管扎克伯格仍然表示未来会两手抓,但Meta已经很少提及“元宇宙”,这家科技巨头似乎已经将重心转向AI。

      不管是在元宇宙还是AI领域,Meta都是想要后来而居上,都经历了迅速的策略转变,而AI人才的大幅流失,向Meta的AI野心提出了一个尖锐的问题:Meta赶潮AI,会重蹈元宇宙的覆辙吗?

      A

      让我们先来看看Meta内部究竟发生了什么。

      Meta的AI研究工作主要由FAIR部门承担。FAIR,也就是Facebook AI Reasearch,从名字里就能看出其“历史久远”,如今母公司早改名Meta。2013年,法国人工智能科学家杨立昆(Yann LeCunn)接受了Facebook的聘请,成为新成立的FAIR的第一任主管。

      一开始,FAIR实验室设置在纽约,但如今,它已经在美国纽约和西雅图、法国巴黎、加拿大蒙特利尔、英国伦敦拥有多个实验室。

      FAIR成立之初,杨立昆就与扎克伯格达成了研究和产品分开的原则,FAIR致力于研究项目,将AI应用于翻译语言和推进MRI扫描等场景。

      在如今这波热潮开始之前,FAIR已经有致力于大型语言模型的开发。2022年5月,FAIR的一个美国团队发布了OPT-175B,对标OpenAI的GPT-3。Meta称在两个模型训练期间学习的内容数量等级相当,但OPT-175B的能耗更低。又过了几个月,同一个团队开始研发新的更大的模型,对标谷歌的PalM。

      与此同时,FAIR位于巴厘的另一个团队已经开始研发Llama模型。Llama比OPT模型小,团队认为更小的模型可以更有效地进行推理。

      Meta作为科技巨头,在算力上相比大多数公司都是有优势的,其之后招募AI人才时,也强调了这一点。

      但多不代表取之不尽,不同的团队分别研发相互竞争的产品,而这些产品又都需要算力支持,谁多谁少,加剧着团队之间的紧张关系。

      有知情人士透露,研发Llama的团队一度感觉到被忽视了,他们得到的算力比北美研发OPT的团队少。

      作为AI研究实验室的主管,皮诺也承认了这一紧张关系的存在,并表示Meta的计算能力如何分配,由不同业务部门的一组领导人每月对齐决定。决策取决于组织的优先级,以及项目距离发布有多远。当FAIR有团队对算力分配有异议时,会上报至皮诺这里。

      竞争的展开,令一些人感到不适。知情人士称,FAIR的一些领导人员对不同团队同时展开资源有限的类似项目表示质疑。

      去年底,OpenAI发布ChatGPT,事情发生了变化。Meta领导层的压力加大,要求将AI纳入更多产品中。竞争加剧。

      这种紧张的局势在今年2月达到了一个顶点,也就是巴黎团队正式发布Llama模型的时候。该实验室的负责人在此时离开了Meta,而他的离开导致团队与远在美国的Meta领导层隔离开来,为该实验室增加了一些不确定性。

      与此同时,OPT团队也在那数月来经受大大小小的人员流失。

      B

      在这种情况下,Meta做出了一些改变。

      今年2月,Meta成立了一个新团队,专注于为其应用程序开发AIGC(生成式人工智能)技术。新团队由苹果公司前高管艾哈迈德·达勒(Ahmad Al-Dahle)领导,吸纳了很多FAIR的成员,其中就包括一个专注于Llama 2研发的团队。据知情人士,Llama 2的研发团队召集了有竞争关系的FAIR实验室成员。

      Llama发布之后,获得了不少好评。几个月内,有AI人员利用Llama研发出了其他开源大模型,如Vina,其功能几乎与其他公司自主研发的大模型能力相当。

      扎克伯格也表示,随着开发者不断改进模型,Meta可以将这些改进融入其广告和消费产品中。看起来,扎克伯格从Llama看到了以开源在AI竞争中打开局面的可能性。

      到了7月,Meta就发布了Llama 2,8月又发布了代码生成版本的Llama版本。

      Llama 2的发布,成为Meta的高光时刻。覆盖70亿、130亿、700亿参数版本,开源,可免费用于研究场景和月活7亿用户以下的商业场景。这与以OpenAI为代表的公司采取的闭源策略形成鲜明对比,AI赛道的竞争升级。在发布后的一周,Llama 2就收到了15万次下载请求。

      Llama 2也几乎成为Meta的转折点。7月底,Meta发布2023年第二季度财报,在亏损了两年之后,Meta终于盈利,也是自2021年第四季度以来,Meta的营收增长幅度首次达到两位数。

      其中最出彩的是广告收入,Meta第二季度的广告收入高于市场预期,同比增长了12%至13%。而广告收入的增长离不开AI的贡献。扎克伯格在电话会议中表示,现在AI推荐内容是Facebook订阅中增长最快的内容项:“AI正在通过我们的自动化广告产品(Meta Advantage)推动广告发布。几乎所有的Meta广告商都在使用至少一款AI驱动的产品。”

      他同时表示,已经与微软就Llama 2开发达成合作协议,Meta也将使用Llama自行开发一些新产品。

      水面之下,Meta的AI人员持续流失。

      在对Llama重视的同时,开发了OPT模型的团队失利,他们原计划开发更大的新模型,但这个项目最终被放弃。皮诺表示,2022年5月发表的一篇关于OPT的论文中列出了19位作者,但根据求职网站LinkedIn展示的信息,其中大约有一半的人已经不在Meta工作了。

      整个FAIR也并不好受:随着新团队的成立,FAIR的团队力量被削弱;此外,过去FAIR形成了由研究人员主导的自下而上的文化,其使命是推进在AI领域的突破。随着扎克伯格越来越有意将AI融入产品,FAIR的关注点在缩小。FAIR已经取消了一些不以产品为导向的研究,如蛋白质折叠;同时,新成立的AIGC团队和FAIR之间的项目如何分配也成了问题。

      Meta的资源再多,终究是有限的,同理,AI的人才再多,也终究是有限的。尤其在AI狂潮之下,赶潮的Meta必须平衡内部资源,止住人员流失。

      C

      元宇宙和AI,Meta都并非开创者,但入局很早。

      10年前,Meta还叫Facebook,苹果公司的iPhone开启一个新的时代,Facebook面临着移动互联网的冲击。扎克伯格在PC互联网的快车道上建立起社交帝国,但他知道必须拥抱变化。

      扎克伯格瞄准了两个领域:一是AI,二是VR。

      对于AI领域的重视,以2013年聘请杨立昆、成立FAIR为标志,在那之前扎克伯格曾试图收购DeepMind,但败给了谷歌。进军VR领域,则以2014年以20亿美元高价收购Oculus为标志,彼时Oculus连众筹订单都还没交付完。

      2018年开始,Facebook就陷入了一系列丑闻之中,尤其是剑桥分析数据泄露丑闻,让扎克伯格坐上了美国国会证人席上,鏖战10个小时,回答了关于数据隐私、虚假信息、监管等共计600个问题。那一年Facebook股价跌去19%,扎克伯格个人财富缩水上千亿元。

      麻烦一直在持续,2020年8月,其旗下Instagram在美国加州法院吃官司,被指控通过采集和存储超过一亿用户的生物数据并从中牟利。

      此外,全球有48亿互联网用户,Facebook有30亿用户。Facebook的用户增长也已经见顶。

      Facebook和扎克伯格需要新的出路。而在2020年9月,在收购Oculus并进行了多年“改造”之后,Facebook终于交出了Oculus Quest2头显,以299美元的价格公开发售,备受欢迎。

      次年3月,Roblox纽交所上市,打出了元宇宙的概念,市值一度超过480亿美元。

      元宇宙的风来了,扎克伯格没有放过它,手握多年前就已经开始布局的业务,Facebook正式更名Meta(取自Metaverse,也就是“元宇宙”一词),All in元宇宙。Meta很快开放了元宇宙平台Horizon World,并将Oculus Quest VR头显改名为Meta Quest。

      元宇宙如“救命稻草”般被扎克伯格死死抓住,但它却未能“救命”。相反,Meta在元宇宙上烧钱不断,收获不足。到了2022年底OpenAI发布ChatGPT的时候,Meta股价已经在此前一年的时间里下跌74%,负责元宇宙项目的Reality Labs部门前9个月亏损94亿美元,预计2023年资本支出高达390亿美元,是2021年的两倍。Meta的一些大股东已经开始愤怒,对于元宇宙策略的质疑越来越盛。

      正是在这个节点,卡马克离开了Meta,并指责Meta效率低下、内部斗争严重。离开Meta之后,卡马克投入谷歌的怀抱。

      卡马克是游戏行业的传奇程序员,被誉为“当代第一人称射击游戏之父”,在2013年就加入了Oculus,同年Oculus被Meta收购。

      从收购Oculus,到2020年推出Oculus Quest 2,数年间Meta都在对Oculus进行“清洗”。三年间,Oculus创始人帕尔默·拉奇(Palmer Luckey)、高管布伦丹·艾里布(Brendan Iribe)、内特·米切尔(Nate Michell)悉数出局。而其中创始人拉奇和卡马克过从甚密。

      这一切,卡马克都亲眼见证。离职时所言,也并非卡马克第一次批评Meta,此前他还表示过Meta在元宇宙豪掷100亿美元让他“感到恶心”。

      元宇宙未能大获全胜,AI浪潮又席卷全球,甚至比前者影响更加深远。Meta迅速动作,基于多年在AI领域的发展再接再厉,迅速加入了科技巨头的AI大战之中,这情形何其相似。

      但危机也何其相似,正如Meta在发展元宇宙时有Oculus的历史遗留问题,如今AI领域的人员流失,也来自FAIR多个实验室在AI浪潮之前就开始的内部拉扯。

      只是这一次,Meta必须得行,毕竟机会不会一而再再而三的出现,元宇宙的苦涩果实吃一次伤身,吃两次也许足以致命。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。