0
点赞
收藏
分享

微信扫一扫

【大数据学习 | Spark-Core】RDD的五大特性(包含宽窄依赖)

12a597c01003 2024-11-24 阅读 10
spark

--master yarn--master client都是可以的。

spark-submit \
--master yarn \
--deploy-mode client \
--name "test-remote-debug" \
--conf "spark.driver.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005" \
--conf "spark.executor.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=*:5006" \
/home/user/test.py

idea中如下配置,当然需要配置两个debug任务并同时启动。
在这里插入图片描述

运行spark-submit后再在idea中debug即可。在这里插入图片描述

举报

相关推荐

0 条评论