小心虚假快递取件码 抖音提醒仿冒客服的诈骗手法又更新了微软发布 Win11 Beta 26120.3671 预览版:开放测试快速机器恢复功能英特尔发布 6732 驱动:《使命召唤:黑色行动 6》游戏平均帧率提升 15%因人流太少,雷蛇永久关闭旧金山市中心商店2025 清明节电影票房破亿,《哪吒之魔童闹海》仍位列前三又一条时速 350 公里高铁即将上线,沿江高铁武汉至宜昌段启动静态验收微软宣布对部分本地服务器部署的产品涨价 10%,7 月生效擎朗医疗物流机器人的“智慧眼”家电行业营收增长9.9%,以旧换新助力家电行业逆势回暖技嘉Z890钛雕主板以DDR5-12762MHz登顶内存超频之巅 重写性能天花板LightCounting:AI驱动未来5年DWDM模块销售增长日本先进光刻机保有量上升,ASML 计划将驻日维护团队规模扩大至 5 倍Rapidus 社长小池淳义:计划 7 月中下旬向客户提供首批芯片原型拼多多联席CEO谈干亿扶持:是未来能否开创新局面关键所在微软 Win10 / Win11 原生版 Copilot 应用上线:支持 OpenAI o3 AI 推理模型消息称荣耀已设立新产业孵化部,招聘具身智能机器人等方向人才AMD官方回应锐龙9000 CPU无法点亮:内存兼容性所致我国前两月智能手机产量1.62亿台,同比下降6.8%字节跳动在Hugging Face发布MegaTTS3:轻量化语音合成新突破Hugging Face 新增实用功能:一键查看电脑可运行模型
  • 首页 > 企业IT频道 > 大数据

    大数据协同安全技术国家工程实验室发布XLearning平台

    2017年12月13日 15:08:14   来源:中国网

      近两年人工智能技术发展迅速,以Google开源的TensorFlow为代表的各种深度学习框架层出不穷。为了能让国内人工智能技术更好的落地,并且人工智能也是大数据分析的主要方法,作为大数据协同安全技术国家工程实验室牵头公司的360,其系统部大数据团队与人工智能研究院基于长期的研究和实践成果,开发了基于Hadoop大数据能力的人工智能平台XLearning。大数据协同安全技术国家工程实验室是国家发改委批准建设的国家级大数据安全研究创新平台,是大数据领域唯一的由民营企业承担的国家工程实验室。该实验室目前由360公司牵头,主要负责大数据基础架构、安全防护和应用领域方面的研究。

      360XLearning项目负责人李远策表示, XLearning对于开发者意义重大,因为同行业公司都会有类似开发需求,XLearning则可以帮助他们实现调度的统一和服务器资源的复用。随着平台算法库的不断增容和优化,开发者工作难度将大大降低。他们将有更多精力,用于功能的实现和代码的优化。此外,除了人工智能平台XLearning之外,360在大数据开源技术领域也不断创新,如Poseidon系统、pika系统等均是360在大数据领域的独创开源技术。

    image.png

      图1:大数据协同安全技术国家工程实验室

      (官网地址:http://nelab-bdst.org.cn/)

      (官方微信名称:大数据协同安全国家工程实验室)

    image.png

      图2: 360深度学习调度平台XLearning

      (XLearning项目开源地址https://github.com/Qihoo360/XLearning)

      XLearning平台将大数据与深度学习相融合,基于Hadoop Yarn完成了TensorFlow、MXNet、Caffe、Theano、PyTorch、Keras、XGBoost等常用深度学习框架的集成,是典型的“AI on Hadoop”的实现。XLearning从今年4月份正式开发上线运行,经多次版本迭代更新,为各学习框架的使用者提供了统一、稳定的调度平台,实现了资源共享,极大的提高了资源利用率,并且具有良好的扩展性和兼容性。

    image.png

      图3:XLearning架构

      其中,Client是XLearning客户端,负责启动作业及获取作业执行状态; ApplicationMaster主要负责输入数据分片、启动及管理Container、执行日志保存等; Container是作业的实际执行者,负责启动Worker或PS(Parameter Server)进程,监控并向AM汇报进程状态,上传作业的输出等。对于TensorFlow类型作业,还负责启动Tensoard服务。

      XLearning虽然架构简洁,但具有丰富的功能方便用户进行模型训练,并依托于Yarn提供有作业资源的统一管理。首先,Xlearning平台支持TensorFlow、MXNet分布式和单机模式,支持所有的单机模式的深度学习框架,如Caffe、Theano、PyTorch等;其次,XLearning提供多种模式用于数据的输入、输出,包括数据的流式读写、直接HDFS读写等,可根据作业处理的数据量与集群机器硬盘容量,视情况决定所采用的读写方式;再者,为方便用户查看作业信息,XLearning提供可视化界面用于展示作业执行进度和输出日志等内容;另外,XLearning还支持TensorFlow分布式模式的ClusterSpec自动分配构建,单机模式和其他深度学习框架代码不用做任何修改即可迁移到XLearning上,便于用户快速使用;最后,利用深度学习框架本身的Checkpoint机制和直接读写HDFS数据功能,XLearning方便用户实现训练恢复继续执行。

      作为国内人工智能领域的先行者,360公司以平台开源的形式,实现了行业已有资源的集成和优化。相信未来,以360公司牵头的大数据安全协同技术国家工程实验室将为提升我国网络安全和大数据人工智能产业和学界的整体水平贡献更多力量。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    2025医药数智营销创新峰会圆满落幕!

    由上海医药商业行业协会、上海士研咨询主办,合规专业人士协会(ACCP)支持,微博健康、新浪医药战略合作举办的2025医药数智营销创新峰会于2025年3月27日-28日,在上海盛大召开并圆满结束。

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。