Skip to content

Commit a99067c

Browse files
TALKDATATALKDATA
committed
news5
1 parent 6a54630 commit a99067c

15 files changed

+32
-90
lines changed

‎news-bigdataproject/10、flume-hbase-kfk联调.md‎

Lines changed: 2 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,6 @@
1-
---
2-
title: 第十章：Flume+HBase+Kafka集成全流程测试
1+
## 第十章：Flume+HBase+Kafka集成全流程测试
32
date: 2019-1-20 20:30:01
4-
categories: "用户日志实时与离线分析系统"
5-
tags:
6-
- 项目
7-
---
3+
84

95
### 全流程测试简介
106
将完成对前面所有的设计进行测试，核心是进行flume日志的采集、汇总以及发送至kafka消费、hbase保存。

‎news-bigdataproject/11、mysql-hive.md‎

Lines changed: 2 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,6 @@
1-
---
2-
title: 第十一章：mysql、Hive安装与集成
1+
## 第十一章：mysql、Hive安装与集成
32
date: 2019-1-22 22:30:01
4-
categories: "用户日志实时与离线分析系统"
5-
tags:
6-
- 项目
7-
---
3+
84

95
### 为什么要用mysql?
106
一方面，本项目用来存储Hive的元数据；另一方面，可以把离线分析结果放入mysql中；

‎news-bigdataproject/12、hive-hbase.md‎

Lines changed: 2 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,6 @@
1-
---
2-
title: 第十二章：Hive与Hbase集成
1+
## 第十二章：Hive与Hbase集成
32
date: 2019-1-23 21:30:01
4-
categories: "用户日志实时与离线分析系统"
5-
tags:
6-
- 项目
7-
---
3+
84

95
### Hive与HBase集成配置
106
1、在hive-site.xml文件中配置Zookeeper，hive通过这个参数去连接HBase集群。

‎news-bigdataproject/13、hue.md‎

Lines changed: 2 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,6 @@
1-
---
2-
title: 第十三章：Cloudera HUE大数据可视化分析
1+
## 第十三章：Cloudera HUE大数据可视化分析
32
date: 2019-1-26 19:30:01
4-
categories: "用户日志实时与离线分析系统"
5-
tags:
6-
- 项目
7-
---
3+
84

95
### 下载和安装Hue
106
版本选择： hue-3.9.0-cdh5.15.0

‎news-bigdataproject/14、spark on yarn.md‎

Lines changed: 2 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,6 @@
1-
---
2-
title: 第十四章：Spark2.X集群安装与spark on yarn部署
1+
## 第十四章：Spark2.X集群安装与spark on yarn部署
32
date: 2019-1-30 11:30:01
4-
categories: "用户日志实时与离线分析系统"
5-
tags:
6-
- 项目
7-
---
3+
84

95
### spark学习准备
106
1、简介

‎news-bigdataproject/15、spark-idea.md‎

Lines changed: 2 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,6 @@
1-
---
2-
title: 第十五章：基于IDEA环境下的Spark2.X程序开发
1+
## 第十五章：基于IDEA环境下的Spark2.X程序开发
32
date: 2019-1-30 14:30:01
4-
categories: "用户日志实时与离线分析系统"
5-
tags:
6-
- 项目
7-
---
3+
84

95
### 开发环境配置
106
1、安装idea

‎news-bigdataproject/16、spark-streaming1.md‎

Lines changed: 2 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,6 @@
1-
---
2-
title: 第十六章：Spark Streaming实时数据处理
1+
## 第十六章：Spark Streaming实时数据处理
32
date: 2019-2-03 14:30:01
4-
categories: "用户日志实时与离线分析系统"
5-
tags:
6-
- 项目
7-
---
3+
84

95
### Spark Streaming简介
106
本质上就是利用批处理时间间隔来处理一小批的RDD集合。

‎news-bigdataproject/2、linux配置.md‎

Lines changed: 4 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,8 @@
1-
---
2-
title: 第二章：linux环境准备与设置
1+
2+
## 第二章：linux环境准备与设置
33
date: 2018-12-19 21:52:11
4-
categories: "用户日志实时与离线分析系统"
5-
tags:
6-
- 项目
7-
---
4+
5+
86

97
### 环境简介
108
利用VMware虚拟机+centos完成，基本要求笔记本电脑内存在8G以上。

‎news-bigdataproject/3、hadoop部署.md‎

Lines changed: 2 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,6 @@
1-
---
2-
title: 第三章：Hadoop2.X分布式集群部署
1+
## 第三章：Hadoop2.X分布式集群部署
32
date: 2018-12-19 22:52:11
4-
categories: "用户日志实时与离线分析系统"
5-
tags:
6-
- 项目
7-
---
3+
84

95
### 集群资源规划
106

‎news-bigdataproject/4、zk部署.md‎

Lines changed: 2 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,6 @@
1-
---
2-
title: 第四章：Zookeeper分布式集群部署
1+
## 第四章：Zookeeper分布式集群部署
32
date: 2018-12-29 14:52:11
4-
categories: "用户日志实时与离线分析系统"
5-
tags:
6-
- 项目
7-
---
3+
84

95
### ZooKeeper简介
106
ZooKeeper 是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper 已经成为 Hadoop 生态系统中的基础组件。

0 commit comments

Comments
 (0)