scrapy使用selenium

       
字数统计: 124字   |   阅读时长: 1min

在爬虫文件中

1
2
def __init__(self):
       self.bro = Chrome() # 默认路径为python.exe所在文件夹

中间件文件,在类中

1
2
3
4
5
6
7
8
def process_response(self, request, response, spider): #spider便是爬虫文件中的类
    bro = spider.bro # 获取爬虫文件中定义的浏览器对象
    new_url = spider.start_urls[0]  # 需要的url
    bro.get(new_url)
    time.sleep(3)
    page_text = bro.page_source # 包含动态加载的数据
    new_response = HtmlResponse(url=new_url,body=page_text,encoding='utf-8',request=request)
    return new_response

在setting中开启中间件

1
2
3
4
DOWNLOADER_MIDDLEWARES = {
   'servant_pic.middlewares.ServantPicDownloaderMiddleware': 543,
}

赏
 感觉不错 支持一下 
本文作者： Ye Zhoubing
最后更新： 2023年07月22日 09:14:38
本文链接： http://example.com/post/71a79112.html
版权声明： 本作品采用 CC BY-NC-SA 4.0 许可协议进行许可，转载请注明出处！

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

    			  jsonContent:
				meta: false
				pages: false
				posts:
				  title: true
				  date: true
				  path: true
				  text: false
				  raw: false
				  content: false
				  slug: false
				  updated: false
				  comments: false
				  link: false
				  permalink: false
				  excerpt: false
				  categories: false
				  tags: true


这里什么都没有