文章目录
大数据命令的方式
现在有三个命令的方式
在hadoop中创建文件夹的方式
hadoop fs -mkdir /tiamtian
我们将本地文件上传到hadoop中的方式
hadoop fs -put test.out /tiamtian
查看我们上传的文件信息
hadoop fs -ls /
启动一个计算圆周率的jar包方式
cd /export/server/hadoop-3.3.0/share/hadoop/mapreduce
这个是启动hadoop jar包的方式，但是我不知道的付出
pi 2 4 是什么的方式，又没有大哥说一下
hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 2 4
什么是文件系统
文件系统是之前的文件存储需要知道具体的文件路径，知道需在的盘符在哪里，现在文件系统，相当于文件存储在文件夹中，只需要知道=具体文档路径和名称就可以找到文件
数据
数据是存储的本身
元数据
是数据修改时间，数据修改内容
传统的存储方式
传统的存储方式是存储是存储，计算是计算，需要把数据移动过来才可以完成计算的方式，io差，性能低的问题
分布式存储方式
支持横向扩展，支持纵向扩展的方式
元数据记录文件位置信息
文件存储在不同的机器上不方便寻找，我们通过元数据记录文件袋位置，可以迅速找到文件
副本机制的方式
防止数据丢失的问题
hafs 存储方式
解决分布式存储问题，横跨多台计算器
高度容错的方式
提供统一接口的访问方式
移动计算比移动数据成本低
hdfs是一个主从架构的方式，name 是一个主节点，datanode是一个从节点，俩个相互协调的方式完成数据存储方式
shell 操作大数据的方式
创建目录
hadoop fs -mkdir /test
查看文件目录下的方式
hadoop fs -ls /
有俩个参数的方式
-h 显示文件size
-R 显示文件目录和子目录
/ 是目录文件可以更换
hadoop fs -ls -h /
上传文件的方式
hadoop fs -put 2.txt /test
有俩个参数
- f 覆盖原来的文件
- p 保存目录文件
hadoop fs -put -f 2.txt /test
