Scrapy教程 - (1) 安裝與創建專案

以Scrapy教程紀錄一下近期的學習，以便複習。使用環境為win + anaconda

安裝Scrapy

如沒有創建虛擬環境，可用以下語法創建

//env_name 虛擬環境名稱
conda create --name env_name python==3.9

//並用以下語法啟用環境
conda activate env_name

//如要跳出該虛擬環境
conda deactivate env_name

啟用虛擬環境後，在anaconda下可以使用

//安裝scrapy包
pip install scrapy

創建專案

安裝好Scrapy後，可以輸入 scrapy 查看相關語法使用

//創建新專案
//project_name為專案名稱
scrapy startproject project_name

創建好專案後，可以新增爬蟲

//新建爬蟲
//spider_name為爬蟲名稱
//domain.com是將要爬取的網站的域名
scrapy genspider spider_name domain.com

新增完畢後，主檔案為scrapy.cfg所在的位置，爬蟲會在spider folder裡面

//目錄
--project_name
	-scrapy.cfg
	--project_name
		-__init__.py
  		-items.py
  		-middlewares.py
  		-pipelines.py
  		-settings.py
  		--spiders
   			-__init__.py
   			-spider_name.py

簡單紀錄