scrapy扩展http2写法
首先需要安装http2的扩展库
直接把如下代码复制到settings.py中
DOWNLOAD_HANDLERS = { 'https': 'scrapy.core.downloader.handlers.http2.H2DownloadHandler', }
如果只要单个文件生效
可以在spiders里前面加上
custom_settings = { "DOWNLOAD_HANDLERS": { 'https': 'scrapy.core.downloader.handlers.http2.H2DownloadHandler', } }
可能直接使用会报错 No module named ‘h2’
继续安装这个库就可以了
pip install h2
然后就可以了