scrapy扩展http2写法

首先需要安装http2的扩展库直接把如下代码复制到settings.py中



DOWNLOAD_HANDLERS = {
    'https': 'scrapy.core.downloader.handlers.http2.H2DownloadHandler',
}

如果只要单个文件生效

可以在spiders里前面加上


custom_settings = {
        "DOWNLOAD_HANDLERS": {
            'https': 'scrapy.core.downloader.handlers.http2.H2DownloadHandler',
        }
    }

可能直接使用会报错 No module named ‘h2’ 继续安装这个库就可以了


pip install h2

然后就可以了