首先:
检查AWS Elasticsearch service 支持的版本,我使用的是最新的7.1
按照文档申请完之后会给三个东西:
elastic search 服务,比如你本地安好之后的: localhost:9200
https://vpc-xxxxus-east-1.es.amazonaws.com/
这就是kibana,比如你本地安好之后的: localhost:5601
https://vpc-xxxxxxx.us-east-1.es.amazonaws.com/_plugin/kibana/
arn:aws:es:xxx:domain/xxxx
Linux 先把java版本安装或升级到1.8,升级这事可以执行命令升级
然后下载 fscrawler
我是用WinSCP直接拷贝过去的...
执行:
$ unzip fscrawler-es7-2.7-20190927.095849-50.zip
然后:
$ bin/fscrawler job_name
必要时
bin/fscrawler job_name --trace(会显示具体信息)
如果出现
We can not start Elasticsearch Client. Exiting.
请把
cd /home/developer/.fscrawler/job_name/
路径下的 _settings.yaml 文件里的ElasticSearch里的 node 换成 https://vpc-xxxxus-east-1.es.amazonaws.com 不要带:9200!!!
改完之后, bin/fscrawler job_name 跑起来了就!