总结:HDFS+YARN+HIVE
第一章 Hello大数据&分布式
Part1 数据导论
一. 数据
二. 数据的价值
Part2 大数据诞生
Part3 大数据概述
一. 什么是大数据
二.大数据特征
三.大数据的核心工作
Part4 大数据软件生态
一. 大数据软件生态
Part5 Apache Hadoop 概述
一. Hadoop概念
第二章 分布式存储Hadoop HDFS
Part1 为什么需要分布式存储
Part2 分布式的基础架构分析
一. 分布式的基础架构 - 2类架构模式
Part3 HDFS基础架构
一. HDFS
二. HDFS的基础架构
Part4 HDFS集群环境部署
一. 部署步骤
1. 下载安装包 - hadoop-3.3.6.tar.gz
2. 集群规划
| 节点 | 服务 |
|---|---|
| node1 | NameNode, DataNode,SecondaryNameNode |
| node2 | DataNode |
| node3 | DataNode |
3. 上传和解压 – root用户
4. Hadoop安装包目录结构
5. 修改配置文件，应用自定义设置
6. 准备数据
7.分发Hadoop文件夹
8. 配置环境变量
9.授权为hadoop用户
10.格式化整个文件系统
二.HDFS启停
三.文件系统操作命令-- 自己补充完整
1. 创建文件夹
2.查看指定目录
3.上传
4.查看文件内容
5.下载
6.拷贝
7.追加
8.移动
9.删除
四.权限修改
1. 修改所属用户和组
