搭建Flink集群环境

下载最新的Flink安装包

https://www.apache.org/dyn/closer.lua/flink/flink-1.12.1/flink-1.12.1-bin-scala_2.11.tgz

好用的下载工具

速度快的没得说 你可以对付费的迅雷说拜拜了

motrix

​​下载地址​​

https://motrix.app/

Free Download Manager

​​下载地址​​

https://dn3.freedownloadmanager.org/6/latest/fdm.dmg

本地模式安装

​​解压安装包​​

tar -xzf flink-1.12.0-bin-scala_2.11.tgz
cd flink-1.12.0-bin-scala_2.11

​​启动集群​​

./bin/start-cluster.sh

​​提交作业(Job)​​

./bin/flink run examples/streaming/WordCount.jar

​​查看日志​​

tail log/flink-*-taskexecutor-*.out

​​监视集群的状态和正在运行的作业​​

http://localhost:8081/#/overview

​​停止集群​​

./bin/stop-cluster.sh

High-Availability with Standalone

​​服务器资源​​

服务器1 192.168.84.128 jobmanager
服务器2 192.168.84.131 taskmanager
服务器3 192.168.84.132 taskmanager

安装包路径

/opt/flink/flink-1.12.1

​​修改jobmanager服务器地址​​

vi conf/flink-conf.yaml 

jobmanager.rpc.address: 192.168.84.128

​​指定master flink web ui​​

vi conf/master

192.168.84.128:8081

​​修改worker服务器地址​​

vi conf/workers

192.168.84.131
192.168.84.132

​​访问 flink web ui​​

http://192.168.84.128:8081/#/overview

​​同上执行job​​

免密登陆

​​客户端生成密钥​​

ssh-keygen

​​查看公私钥​​

cd ~/.ssh

id_rsa （私钥）
id_rsa.pub (公钥)

​​上传公钥到服务器​​

# 写到服务器上的ssh目录

ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.84.131
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.84.132

​​到指定服务器查看公钥​​

cd ~/.ssh
cat known_hosts 

​​免密登陆​​

ssh root@192.168.84.131

磁盘满了

​​space left on device​​

当磁盘容量或inode容量任意一个不足时就都会提示No 

​​查看磁盘空间​​

df -h

​​查看inode空间​​

df -i

由上可知根目录/磁盘满了 接下来需要确定是哪个文件太大导致的

​​查看指定目录下所有文件大小并排序​​

du -sh  /* |sort

最终确定是docker磁盘文件太大导致的 因该dokcer是用来测试玩的 删掉即可

rm -rf /var/lib/docker