网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

| — | — | — | — | — | | 简单 | 秒级行情亿级数据查询 | 功能点查询 | 500 | 1s | | 中等 | 业务指标数据加工 | 亿级数据关联查询 | 50 | 10s | | 预警规则关联查询 | | | | | | 复杂 | 大表关联大表 | 复杂历史数据查询 | 20 | 30s | | 实时报表 | 实时大屏报表生成 | 当日实时报表 | 50 | 2s | | 历史报表 | 历史报表生成 | 跨年历史报表生成 | 20 | 30s | | 实时行情 | 指标数据实时展示 | 页面实时查询 | 50 | 1s |

数据存储规模

秒级行情(Hbase):存储5日内秒级行情,数据量为2.88亿条 分时行情(Druid):存储半年内分时行情数据,数据量为8.64亿条; 历史数据(Hive数仓):以沪深市场2万只证券,存储时间按1年统计: 秒级行情: 210亿条以上 分时行情: 20亿条以上 K线: 1500万条以上

日数据采集总量统计 : 20000(只)* 3600(秒)*4(小时)= 2.88(亿)≈ 85(GB)

技术选型

大数据平台作为基础数据平台,将负担起存储所有业务产生的数据信息,并在平台中按照业务应用进行模型标准化存储沉淀,平台的数据量将持续不断地增加,因此本期大数据平台的整体设计上将充分考虑使用分布式架构,对存储容量的规划将定位在PB级以上,同时保证将来存储容量在扩充时能够通过节点的增加,快速满足容量的扩展性需求。 存储容量设计方面,将满足以下方面: 1、大数据平台在存储容量扩展性方面,将满足随需快速扩展的功能,在存储容量达到PB级别以上时,仍能保证集群地正常运行,不影响数据的读写操作; 2、平台对于数据的存储能够按照最优存储和访问策略,自动在所有集群上对数据进行均衡存储; 3、平台所有节点及存储都运行在X86服务器上,保证集群扩展时在存储设备和节点采购使用的便利性;

需对技术组件做出选型:

数据采集:flume,socket,sqoop 数据存储:mysql,hdfs,hbase,redis,kafka,druid 数据计算:hive,spark sql,flink 数据分析:druid,kylin

具体版本

产品 版本 zookeeper 3.4.5 kafka 1.0.0 hbase 1.2.0 hadoop 2.6.0 flink 1.7.0 flume 1.6.0 mysql 5.6 Redis 3.0

平台选择

1.Apache开源社区版本 完全开源、社区活跃,文档资料详细。在Hadoop生态圈中,组件的选择、使用,比如Hive,Mahout,Sqoop,Flume,Spark,Oozie等等,需要大量考虑兼容性的问题,整合困难,运维麻烦。 2.大数据平台产品 (1) CDH(Cloudera Distribution Hadoop) 最成型的发行版本,拥有最多的部署案例。版本管理清晰,在兼容性、安全性、稳定性上比Apache Hadoop强。提供了强大的部署、管理和监控工具,简化了部署和运维。 注:课程教学以CDH版本为主 (2)HDP(Hortonworks Data Platform) 100%开源,稳定性相比CDH稍弱,国内使用较少。 (3)FusionInsight 华为-FusionInsight,基于Apache进行功能增强的企业级大数据存储、查询和分析的统一平台。 (4)Transwarp Data Cloud 星环-Transwarp Data Cloud,基于Hadoop生态系列的大数据平台公司。 3.云端大数据 阿里云:国内阿里云实力最强,做公有云、私有云、混合云,面向中小型企业。 华为云:定位运营商和大中型企业,数据安全。

平台规划

1)机器配置 假设公司采购机器: 单机: 内存: 128G CPU: 48C 磁盘: 10 * 1.2T

以消息队列日吞吐量计算需占用磁盘空间: 1.消息队列日数据吞吐量:2000万只证券1条/秒60604 = 2.88亿条 2.每条行情数据1kb左右,每天日志量: 2.88亿kb/1024/1024 ≈ 275G 3.一年磁盘存储量: 275G * 360天/1024 ≈ 97T 4.保存3个副本需占用磁盘总量 :97T * 3 = 291T 5.预留30%的磁盘空间 = 291T/70% ≈ 416T

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

a57acb)**

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

好文推荐

评论可见,请评论后查看内容,谢谢!!!评论后请刷新页面。

大家都在找:

大数据:大数据与会计

面试:面试简历模板

学习:学习造句