背景:
获取需要登录的页面,可在登陆后将获取到的cookie添加到请求的脚本中。
方法:
import requests
url="http://webserver/admin"
cookies = dict(cookies_are='cookie内容')
##cookie内容可在登陆页面后,通过浏览器工具()获取。
response = requests.get(url, cookies=cookies)
print response.content.decode("utf-8")
这样就可以获取登陆后的网页源代码。
如果要模拟的更真实点,加上user agent会更好些。
my_headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2526.80 Safari/537.36 Core/1.45.933.400 QQBrowser/9.0.8699.400', 'Accept-Encoding' : 'gzip, deflate, sdch'}
response = requests.get(url, cookies=cookies,headers=my_headers)
print response.content.decode("utf-8")
只要不被专门盯上,一般应该会被服务器当做正常访问来对待的。