news2

Author: TALKDATA

news-project.md

@@ -0,0 +1,118 @@
+## 项目名称：基于Spark2.x新闻网大数据实时分析可视化系统项目
+
+### 项目简介
+
+**目标**
+
+1、完成大数据项目的架构设计，安装部署，架构继承与开发、用户可视化交互设计
+
+2、完成实时在线数据分析
+
+3、完成离线数据分析
+
+**具体功能**
+
+1、捕获用户浏览日志信息
+
+2、实时分析前20名流量最高的新闻话题
+
+3、实时统计当前线上已曝光的新闻话题
+
+4、统计哪个时段用户浏览量最高
+
+5、报表
+
+**所用组件**
+Hadoop2.x、Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.x、SparkStreaming、MySQL、Hue、J2EE、websoket、Echarts
+
+### 开发工具
+
+虚拟机：  VMware、centos
+
+虚拟机SSH:  SecureCRT（在windows上链接多个虚拟机）
+
+程序编辑器：IDEA
+
+查看各种数据：notepad++（安装NppFTP插件，修改虚拟机中配置文件，好用的一批）
+
+**所有软件下载地址：**
+
+链接：https://pan.baidu.com/s/18wrxmczkzgoNE2WTZwjPSA 
+提取码：73q8 
+
+
+### 项目架构
+
+![](http://ww1.sinaimg.cn/large/005BOtkIly1fyccyao7f3j30op0ee10a.jpg)
+
+### 集群资源规划
+
+利用VMware虚拟机+centos完成，基本要求笔记本电脑内存在8G以上。
+最低要去克隆出3台虚拟机，每台给2G内存。
+![](http://ww1.sinaimg.cn/large/005BOtkIly1fycdbmkr58j30m20ckq81.jpg)
+
+### 项目实现步骤
+
+[1、第一章：项目需求分析与设计][1]
+
+[2、第二章：linux环境准备与设置][2]
+
+[3、第三章：Hadoop2.X分布式集群部署][3]
+
+[4、第四章：Zookeeper分布式集群部署][4]
+
+[5、第五章：hadoop的高可用配置（HA）][5]
+
+[6、第六章：hadoop的HA下的高可用HBase部署][6]
+
+[7、第七章：Kafka简介和分布式部署][7]
+
+[8、第八章：Flume简介和分布式部署][8]
+
+[9、第九章：Flume源码修改与HBase+Kafka集成][9]
+
+[10、第十章：Flume+HBase+Kafka集成全流程测试][10]
+
+[11、第十一章：mysql、Hive安装与集成][11]
+
+[12、第十二章：Hive与Hbase集成][12]
+
+[13、第十三章：Cloudera HUE大数据可视化分析][13]
+
+[14、第十四章：Spark2.X集群安装与spark on yarn部署][14]
+
+[15、第十五章：基于IDEA环境下的Spark2.X程序开发][15]
+
+[16、第十六章：Spark Streaming实时数据处理][16]
+
+### 项目配套视频
+
+链接：https://pan.baidu.com/s/1Q-XGRjRwyVa0UFSzfbjFdQ 
+
+提取码：qart 
+
+### 群内有更多相关电子书籍和1000G网盘资料
+欢迎加入大数据交流群。
+QQ群号码：528040253
+
+![](http://ww1.sinaimg.cn/large/005BOtkIly1g6nnx2yo4jj306m06ymx4.jpg)
+![](http://ww1.sinaimg.cn/large/005BOtkIly1g6no2gfsumj30mq0if75o.jpg)
+![uLIqN4.png](https://s2.ax1x.com/2019/10/12/uLIqN4.png)
+
+
+  [1]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/1%E3%80%81%E9%A1%B9%E7%9B%AE%E9%9C%80%E6%B1%82.md
+  [2]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/2%E3%80%81linux%E9%85%8D%E7%BD%AE.md
+  [3]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/3%E3%80%81hadoop%E9%83%A8%E7%BD%B2.md
+  [4]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/4%E3%80%81zk%E9%83%A8%E7%BD%B2.md
+  [5]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/5%E3%80%81ha%E5%AE%9E%E7%8E%B0.md
+  [6]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/6%E3%80%81hbase%E9%83%A8%E7%BD%B2.md
+  [7]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/7%E3%80%81kafka%E9%83%A8%E7%BD%B2.md
+  [8]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/8%E3%80%81flume%E9%83%A8%E7%BD%B2.md
+  [9]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/9%E3%80%81flume-hbase-kfk%E9%85%8D%E7%BD%AE.md
+  [10]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/10%E3%80%81flume-hbase-kfk%E8%81%94%E8%B0%83.md
+  [11]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/11%E3%80%81mysql-hive.md
+  [12]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/12%E3%80%81hive-hbase.md
+  [13]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/13%E3%80%81hue.md
+  [14]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/14%E3%80%81spark%20on%20yarn.md
+  [15]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/15%E3%80%81spark-idea.md
+  [16]: https://github.com/TALKDATA/JavaBigData/blob/master/news-bigdataproject/16%E3%80%81spark-streaming1.md