下载最新的Flink安装包
https://www.apache.org/dyn/closer.lua/flink/flink-1.12.1/flink-1.12.1-bin-scala_2.11.tgz
好用的下载工具
速度快的没得说 你可以对付费的迅雷说拜拜了
motrix
下载地址
https://motrix.app/
Free Download Manager
下载地址
https://dn3.freedownloadmanager.org/6/latest/fdm.dmg
本地模式安装
解压安装包
tar -xzf flink-1.12.0-bin-scala_2.11.tgz
cd flink-1.12.0-bin-scala_2.11
启动集群
./bin/start-cluster.sh
提交作业(Job)
./bin/flink run examples/streaming/WordCount.jar
查看日志
tail log/flink-*-taskexecutor-*.out
监视集群的状态和正在运行的作业
http://localhost:8081/#/overview
停止集群
./bin/stop-cluster.sh
High-Availability with Standalone
服务器资源
服务器1 192.168.84.128 jobmanager
服务器2 192.168.84.131 taskmanager
服务器3 192.168.84.132 taskmanager
安装包路径
/opt/flink/flink-1.12.1
修改jobmanager服务器地址
vi conf/flink-conf.yaml
jobmanager.rpc.address: 192.168.84.128
指定master flink web ui
vi conf/master
192.168.84.128:8081
修改worker服务器地址
vi conf/workers
192.168.84.131
192.168.84.132
访问 flink web ui
http://192.168.84.128:8081/#/overview
同上执行job
免密登陆
客户端生成密钥
ssh-keygen
查看公私钥
cd ~/.ssh
id_rsa （私钥）
id_rsa.pub (公钥)
上传公钥到服务器
# 写到服务器上的ssh目录
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.84.131
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.84.132
到指定服务器查看公钥
cd ~/.ssh
cat known_hosts
免密登陆
ssh root@192.168.84.131
磁盘满了
space left on device
当磁盘容量或inode容量任意一个不足时就都会提示No
查看磁盘空间
df -h
查看inode空间
df -i
由上可知根目录/磁盘满了 接下来需要确定是哪个文件太大导致的
查看指定目录下所有文件大小并排序
du -sh /* |sort
最终确定是docker磁盘文件太大导致的 因该dokcer是用来测试玩的 删掉即可
rm -rf /var/lib/docker
