电子书:《Hadoop应用架构》_郭文超译_2017-1-20

[复制链接]
查看155 | 回复1 | 2019-12-20 08:25:20 | 显示全部楼层 |阅读模式

《Hadoop应用架构》_郭文超译_2017-1-20_1

《Hadoop应用架构》_郭文超译_2017-1-20_1

《Hadoop应用架构》_郭文超译_2017-1-20_2

《Hadoop应用架构》_郭文超译_2017-1-20_2

《Hadoop应用架构》_郭文超译_2017-1-20_3

《Hadoop应用架构》_郭文超译_2017-1-20_3


内容简介:

3.6列簇
13.7 TTL
4元数据管理
14.1什么是元数据
为什么元数据至关重要
元数据的存储位置
1.4.4元数据管理举倒
1.4.5 Hive metastore与 Catalog的局限性
4.6其他存储元数据的方式
15结论
第2章 Hadoop数据移动
21数据采集考量………
2.1.1数采集的时效性
2.1.3访问模式
2.14数摑源系统及数据结构
2.1.5变换
2.1.7网络.安.全.性
2.1.8被动推送与主动请求
666
2.1.9错误处理
…37
2.1.10复杂度
22数据采集选择
丈件传输
22.2文件传输与其他采集方法的考量
22.3 Swoop: Hadoop与关系数据库的批量侍输
22.4Fume:基于事件的数据收集及处理
23数据导出
24小结
第3章 Hadoop数据处理
3.1 MapReduce.
3.11 MapReduce概述
3.1.2 MapReduce示例
3.13 MapReduce使用场景
667
3.2
Spark概述
vi目录

32.3 Spark基本概念
324 Spark的优,点
32.5Spak示例
326Spak使用场景
3.3抽象层
3.1Pg
3.3.3Pig使用场景
36790888s
3.4 Crunch…
3.4.1 Crunch示例
2 Crunch使用场景
3.5 Cascading
5.1 Cascading示例
3.52 Cascading使用场录
922
3.6.1Hive概述
3.6.3Hive使用场景
998
7 Impala
3.7.2面向高速查询的设计
3.7.3 Impala示例
mpala使用场景
3.8小结
第4章 Hadoop数据处理通用范式
41模式一:依主键移除重复记录
46
4.1.1去重示例的测试数据生成
4.1.2代码示例:使用 Scala实现 Spark去重
4.13代码示例:使用SQL实现去重
42模式二:数据开窗分析
4.2.1生成开窗分析的示例数据
22代码示例:使用Spak分析数据的高峰和低谷
4.2.3代码示例:使用SOL分析数据的高峰和低谷
43模式三:基于时间序列的更新
4.3.1利用 HBasc的版本特性
4.3.2以记录主键与开始时间作 HBase的行键
重写HDFS数据更新整个表
4.3.4利用HDFS上的分区存傭当前记录和历史记录
目录|ⅶi

4.3.5生成时间序列的示例数据
4.3.7代码示例:使用SQL更新时间序列数据
第5章 Hadoop图处理
51什么是图
5.2什么是图处理
分布式系统中的图处理
53.1块同步并行模型
5,32BSP举例
5.4 Graph
54.1数据的输入和分
543将图回写磁盘
544整体流程控制
54.5何时选用 Graph
5.5.1另一种RI
55.2 Graphx的 Pregel接
5.5. 4 sendMessage(
5.5 mergeMessage()
56工具选择
第6章协调调度
6.I工作流协调调度的必要性
6.2脚本的局限性
63企业级任务调度器及 Hadoop
doop生态系统中的工作流框架
65 Oozie术语
66 Oozie概
68工作流范式
68.1点对点式工作流
683分支决策式工作流
69工作流参数化
目录

胃度模式
6.11.1依频次调度
12时间或数据触发式
612执行工作流
第7章 Hadoop近实时处
7.2 Apache Storm
7.2.1Sorm高级架构
722 Storn拓扑
73
7.2.4 spout和bolt
5数据流分组
7.2.6 Storm应用的可靠性
72.7仅处理一次机制
7.2.8容错性
72.9 Storn与HDFS集成
2.0Sorm与 HBase集成
Stom示例:简单移动平均
7
7.2.12Stom评估
3 Trident接口
3.1 Trident示例:简单移动平均
Spark streamin
Spark Streaming概迷
74.2 Spark Streaming示例:简单求
743 Spark Streaming示例:多路输入
744 Spark Streaming示例:状态维护
74.5 Spark Streaming示例:窗口函数
74.6 Spark Streaming示例: Streaming与ETL代码比较
74.7 Spark Streaming评估
7.5Fume拦截器
6工具选择
充、验证、报警及采集
7.6.2NRT技术、滚动平均及迭代处理
7.6.3复杂数据流

第二部分案例研究
第8章点击流分析
例场景定义
8.2使用 Hadoop进行点击流分析
83设计概述
8.4数据存储
5数据采集
收集器层
10
8.6数据处理
6.1数据去重
6.2会话生成
8.7数据分析
18
第9章欺诈检.测
9.持续改善…
9.2开始行动
93欺诈检.测系统架构需求
94用例介绍
9.5架构设计
9.6客.户.端架构
97画像存储及访
9.7.1缓存
9.72 HBase数据定
973事务状态更新:通过或否决
9.8数据采集
9近实时处理与探索性分析
9.10近实时处理
9.11探索性分析
9.12其他架构对比
9.122从Kaka到 Storn或 Spark Streaming…
9.23扩展的业务規则引擎
9.3小结


#############################################


回复

使用道具 举报

阳光依旧温暖 | 2019-12-21 19:43:03 | 显示全部楼层
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则