Spark Streaming笔记总结（保姆级）

前提：已经安装好anaconda

一、使用requirement.txt

（1）查看环境

conda env list

（2）新建环境

之后使用查看环境命令看是否创建成功，创建时等终端收集好数据后要按个y+回车

python版本可以在requirement.txt中查看，没有的话需要自己指定

conda create --name myEnvName(替换自己想要的名称) python=x.x

（3）激活环境

conda activate myEnvName

（4）安装requirement.txt的包

windows下将该文件放在C:\Users\自己用户名\下。linux放在root\下

requirement.txt格式如下：

ncurses==6.1
openssl==1.1.1g
pcre==8.43
xz==5.2.4
zlib==1.2.11
glib==2.63.1

如果是python包，则使用pip命令

pip install -r requirements.txt

如果是conda包（二进制包），则使用conda命令

conda install --yes --file requirements.txt

（5）查看成功安装的包

conda list

（6）删除环境

如果中途出现了问题，可以删除该环境然后重新执行以上步骤。

记得关闭终端重新打开一次或者退出环境后再删除。

conda deactivate

conda remove -n  myEnvName --all

二、自己环境生成requirement.txt

生成目录在：win：C:\Users\自己用户名\或者linux：root\下

pip命令会生成python的所有包，但没有conda的

pip freeze > requirements.txt

conda的

conda list -e > requirements.txt