突破叙事尺度 刻画极致人物 迷雾剧场《漂白》1月17日上线爱奇艺1月20日手机数码国补落地京东 超千万国补商品等你挑选超千万货品已备足 1月20日来京东购手机享国家补贴每件最高500元拥抱创新科技,探寻体育变革之路—— 第二届LALIGA EXTRATIME体育行业论坛在京成功举办斑马技术《2025全球消费者调查报告》:注重防损管理,增强顾客体验终端创企Nothing拟募资1亿美元 一加联合创始人创立恩智浦获欧洲投资银行 10 亿欧元贷款,用于在欧多国研发创新工作入手松下ZS99相机新品首选京东 售价2998元可先人一步入手1月20日打开京东搜索「1」 3C数码“疯狂星期一”爆款低至1元当代年轻人用上AI,从夸克开始消息称iPhone SE 4将有白色和黑色 预计3月份推出全球PC市场迎来温和复苏:2024年出货量增长1.3%,联想和苹果表现亮眼比亚迪已在韩国推出Atto 3 预计2月中旬开始交付发展新质生产力 赋能健康产品力 ——劲牌有限公司2024年度科技责任(成果)报告美光减产后 SK海力士也计划将上半年NAND闪存产量削减一成赵明离职信曝光:离开荣耀是人生中最艰难的决定消息称京东服饰换帅,阿里前高管担任负责人这年头,谁在互联网上学这么“硬核”的AI?开战2025,本地生活商家「另辟蹊径」年底Mini LED电视到底怎么选?认准这些新技术不踩雷!
  • 首页 > 3C消费频道 > 商用设备

    普通笔记本对1亿数据做探索分析,你疯了!

    2017年10月12日 11:44:12   来源:中文科技资讯

      第一部分:市场需求

      性能问题是各大金融企业的“难言之隐”,家家都有这本难念的经!!

      在以数据化运营为基础的金融行业,结构化的数据动辄上亿,甚至几十亿、上百亿,然而客户沿用的传统关系数据库以及报表软件越来越不能满足及时性数据分析需求。虽然Self-service(自助BI)被赋予了历史使命——让业务人员自己完成统计分析,但也同样难以解决效率的难题,从来没有得到相对理想的解决(低成本、高性能)!

      第二部分:必要性

      没有高性能作为前提,自助式BI只能是“看上去很美”!

      自助式BI近2年来逐渐兴起,越来越多的客户希望靠自助式BI控制IT人员成本,同时提高数据分析的效率。可是这看上去很美好的解决方案,却一直遭受着源于性能的疑虑,无论数据平台的建设方案是数千万的老牌MPP数据仓库,还是数百万的Hadoop集群。

      我们(Smartbi)一直努力提供给客户高性能的数据分析解决方案,终于在7月份与Vertica的战略合作后,结出了令人激动的硕果——Smartbi Insight V7.1高性能版。从这个版本开始,Smartbi的自助分析服务将迈入秒级阶段,让业务人员的数据分析更高效,让科技人员不再为性能调优而苦恼!

      第三部分:事实证明

      超越想象,普通笔记本分析亿级数据只要几秒钟!

      Smartbi只做最真实的测试,用事实来证明V7.1的高性能,这将是你难得一见的时刻。

      如图所示,我们测试的电脑是一台2013年的thinkpad笔记本,售价不到6000,用鲁大师检测硬件配置如下:

      而用于测试的数据包括1份数据2个模型——星型和宽表,其中星型包括产品、客户、地理三个维度,事实表0.98亿条记录,维度表数百条记录。做过性能测试的朋友一看就知道,这样一个星型模型,如果交给业务人员自己拖拽分析数据,性能是很有问题的,数据库配置不好的情况下还能直接跑死系统,更别说是一台这么普通的一台笔记本电脑了!

      接下来,我们基于这个数据模型,考虑到自助分析的场景,构建了三大类22个测试案例,以确保客观合理的测试案例覆盖度。比如用户会以年为条件,进行同期增长率的计算等等。

      交代好性能测试的基本情况,我们不兜圈,直接来看测试结果:

      简言之,星型模型因为要进行关联操作,平均响应时间为13.3秒(6.7秒——17.1秒),宽表模型没有关联操作,平均响应时间为4.5秒(2.7秒——6.3秒),总体平均为9秒!是的,你没看错,无论怎样拖拽的自助分析,平均9秒!!测试结果后,我们和你一样感到兴奋,Smartbi Insight V7.1居然可以在一台几年前的普通笔记本电脑上对1亿大数据量的自助探索在区区几秒完成分析查询!!

      第四部分:性能总结

      如果你还对这个测试结果有一丝丝疑虑,是不是这台电脑的配置作弊了,是不是数据库做特别优化了!别担心,我们很严谨的找了3台公司笔记本电脑进行了更多性能测试,都使用的默认安装(数据库还是在虚拟机里运行的)。所以,我们可以很负责任的大声说:笔记本探索亿级数据分析,确实可以做到!!

      大数据时代,得性能者得天下,尤其是提供自助分析功能的BI工具,数据分析的响应速度一定要能跟上业务人员的思维。Smartbi顺势而为,希望能为大数据分析行业贡献新的起点,创造新的价值!

      如果你对大数据分析的性能感兴趣,愿意加入我们一起进行测试、调优和研讨,请关注我们的公众号或者官网,后续的活动等着你!当然我们也不怕挑战,Come on!

      2017年9月 秋分 Smartbi老麦

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。