加载中…
个人资料
开心延年
开心延年 新浪个人认证
  • 博客等级:
  • 博客积分:0
  • 博客访问:76,630
  • 关注人气:13
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
好友
加载中…
访客
加载中…
友情链接

我的播客

我的新浪播客

CSDN博客

csdn博客

博文
(2017-03-12 18:28)
标签:

hadoop

solr

spark

大数据

elasticsearch

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

elasticsearch

hadoop

solr

spark

大数据


自2012年以来,公安部交通管理局在全国范围内推广了机动车缉查布控系统(简称卡口系统),通过整合共享各地车辆智能监测记录等信息资源,建立了横向联网、纵向贯通的全国机动车缉查布控系统,实现了大范围车辆缉查布控和预警拦截、车辆轨迹、交通流量分析研判、重点车辆布控、交通违法行为甄别查处及侦破涉车案件等应用。在侦破肇事逃逸案件、查处涉车违法行为、治安防控以及反恐维稳等方面发挥着重要作用。

随着联网单位和接入卡口的不断增加,各省市区部署的机动车缉查布控系统积聚了海量的过车数据。截至目前,全国32个省(区、市)已完成缉查布控系统联网工作,接入卡口超过50000个,汇聚机动车通行数据总条数超过2000亿条。以一个中等规模省市为例,每地市每日采集过车信息300万条,每年采集过车信息10亿条,全省每年将汇聚超过200亿条过车信息。如何将如此海量的数据管好、用好成为各省市所面临的巨大挑战。

随着车辆网以及汽车卡口应用的不断扩大,车辆数据的不断积累。对于原始数据的存储、处理、查询是一个很大的考验,为此我们需要一个能实时处理、多维度查询的分布式计算的平台。

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

elasticsearch

hadoop

solr

spark

大数据

排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。

 

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

elasticsearch

solr

spark

大数据

hadoop

           排序可以说是很多日志系统的硬指标(如按照时间逆序排序),如果一个大数据系统不能进行排序,基本上是这个系统属于不可用状态,排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark,还是impala,hive,总之排序是必不可少的,排序的性能测试也是必不可少的。
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

elasticsearch

solr

spark

大数据


一、硬件环境

硬件如何搭配,能做到比较高的性价比,不存在短板。合理的硬件搭配,对系统的稳定性也很关键。

1.CPU不是核数越高越好,性价比才是关键。

      经常遇到很多的企业级客户,他们机器配置非常高,CPU有128 VCore,256G内存,但是只挂载了1

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

elasticsearch

hadoop

solr

spark

大数据


一、硬件环境

硬件如何搭配,能做到比较高的性价比,不存在短板。合理的硬件搭配,对系统的稳定性也很关键。

1.CPU不是核数越高越好,性价比才是关键。

      经常遇到很多的企业级客户,他们机器配置非常高,CPU有128 VCore,256G内存,但是只挂载了1

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

elasticsearch

hadoop

solr

spark

大数据

做了一年延云YDB的开发,这一年在使用spark上真心踩了不少坑,总结一下,希望对大家有所帮助。

spark 内存泄露

1.高并发情况下的内存泄露的具体表现

很遗憾,spark的设计

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

elasticsearch

hadoop

solr

spark

大数据

分类: 开发工具

关于spark的性能,基于YDB的对比,做了一个测试,保留备用。

一、YDB与spark sql在排序上的性能对比测试


在排序上,YDB具有绝对优势,无论是全表,还是基于任意条件组合过滤,基本秒杀Spark默认的格式。

 

测试结果(时间单位为秒)

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

elasticsearch

hadoop

solr

spark

大数据

分类: 开发工具

一、跟Solr Cloud、ElasticSearch区别

      谈到YDB的索引技术,相信很多同学都会想到

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2017-02-20 13:14)
标签:

elasticsearch

hadoop

solr

spark

大数据

分类: 开发工具
 

第十一章YDB场景精选

一、多维检索与探索性分析

1.IT运维日志、业务日志、交易流水日志的搜索与分析

通过方便灵活的日志搜索分析,帮助用户及时发现

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
  

新浪BLOG意见反馈留言板 电话:4000520066 提示音后按1键(按当地市话标准计费) 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

新浪公司 版权所有