scrapy模拟登录

2022-06-15

字数统计: 219字 | 阅读时长: 1min

import scrapy


class LoginSpider(scrapy.Spider):
    name = 'login'
    start_urls = ['https://github.com/login']

    def parse(self, response):
        ever_token = response.xpath('//*[@id="login"]/div[4]/form/input[1]/@value').extract_first()
        timestamp_secret = response.xpath('//*[@id="login"]/div[4]/form/div/input[11]/@value').extract_first()
        timestamp = response.xpath('//*[@id="login"]/div[4]/form/div/input[10]/@value').extract_first()

        data = {
            "commit": "Sign in",
            "authenticity_token": ever_token, # token每次都会变,可以在login网页中查找到
            "login": "xxx", # 填成自己的
            "password": "xxx", # 填成自己的
            "webauthn-support": "supported",
            "webauthn-iuvpaa-support": "unsupported",
            "return_to": "https://github.com/login",
            "timestamp": timestamp,
            "timestamp_secret": timestamp_secret
        }

        yield scrapy.FormRequest(  # 用的就是post方式
            url='https://github.com/session', # post网址
            callback=self.after_login,
            formdata=data
        )

    def after_login(self, response):
        yield scrapy.Request('https://github.com/yezhoubing', callback=self.check_login)

    def check_login(self, response):
        print(response.xpath('html/head/title/text()').extract_first())

用scrapy.FormRequest（）方法发送post请求

赏

感觉不错支持一下

本文作者： Ye Zhoubing
最后更新： 2023年07月22日 09:14:24
本文链接： http://example.com/post/87f5bed2.html
版权声明： 本作品采用 CC BY-NC-SA 4.0 许可协议进行许可，转载请注明出处！