当前位置: 主页 > 高级段数图 > 内容

热门内容

星图数据:大数据技术在消费领域的应用

时间:2017-09-19 21:40  来源:未知  作者:admin

  星图数据技术团队的前身是2010年组建于美国的BDTAC团队,其核心来自于USC和CMU等高校,聚焦于大数据前沿技术及应用。2014年初,星图数据的国内研发团队组建完成,在首席科学家糜万军博士的帮助和指导下,基于BDTAC团队的技术研究和积累,历经数月的本土化和行业化,开发了现在星图数据两个系统的里程碑版,即底层的大数据采集及存储系统iNebula和中台的大数据处理分析引擎WarpEngine,并在此之上逐步研发了针对消费领域的企业云服务产品线。

  iNebula是一套针对互联网海量信息的实时监测和数据获取系统,通过分布式解偶采集和智能解析,从常态或定向的web页面中提取结构化数据,并通过动态地址池、智能任务由、网络自适应以及多样化的数据校验及存储技术确保数据获取的完整性和效率。目前iNebula平均每分钟获取的页面数量为50000个以上,每日常态化获取并存储的互联网数据超过3TB。

  中台的大数据处理及分析引擎WarpEngine,主要完成数据的清洗挖掘、QC和标准化、以及建模计算和语义分析。通过应用Hadoop平台上的各项技术以及机器自学习技术,目前WarpEngine每分钟处理的数据超过6000万条。

  星图数据创立仅仅数月时间,便被评为了中关村高新企业,公司所有系统及产品均已申请相关国家知识产权认定,其中多款已获国家颁发证书。从起始初期聚焦于前沿大数据技术的自主研发与创新,到目前在行业中的落地应用以及企业云服务的推广,星图数据走出了自己的技术产业化的创新之。

相关推荐