python+selenium编写实现爬虫过程：
- 1.爬虫循环处理table表，
- 2.table表分页处理，
- 3.网页table所有内容循环处理
- 4.获取隐藏的href超链接内容，
- 5.所有数据本地csv保存，
代码如下：
from selenium.webdriver.chrome.options import Options
import pandas as pd
import math
from selenium import webdriver
import time# 配置chrome的参数
options = Options()
options.add_argument('--headless')
# options.add_experimental_option('excludeSwitches', ['enable-automation']) #避开验证码
# 获取一个浏览器对象
browser = webdriver.Chrome(chrome_options=options)
browser.get("C:\\Users\\XXXX\\XXXX.html")
# 打印整个表格信息
# print(browser.find_element_by_xpath("//*[@id=\"versions-bom-layout\"]/div/div[5]/div/div/div/div[1]/table/tbody").text)
data = [] # 建立空列表存储表格信息
# 获取总页数（通过二次定位方法进行定位）
# total_pages1 = len(browser.find_element_by_class_name("pagination").find_elements_by_tag_name("li")) - 2
# print("total_pages is %s" % (total_pages1))
# 共有多少个组件需要提取
total_num = \
browser.find_element_by_xpath("//*[@id=\"versions-bom-layout\"]/div/div[5]/div/div/div/div[1]/div").text.split(
'共')[1]
print(f'total_num====：：：：：：：：{total_num}')
total_pages = math.ceil(int(total_num) / 100) + 1 # 每页显示100个组件, 获取总页数
print(f'total_pages====：：：：：：：：{total_pages}')
time.sleep(10) #
# total_pages = len(browser.find_element_by_tag_name('select').find_element_by_tag_name('option'))
for i in range(1, total_pages): # page:总共有total_pages-1页
# # 获取分页输入框标签的定位
# inputpage = browser.find_element_by_xpath("//*[@id='pager_center']/table/tbody/tr/td[5]/input")
# # 首先清除输入框里面的数字
# inputpage.clear()
# # 然后发送页码，我们为了方便，就把第一页也写在了里面
# inputpage.send_keys(str(i))
# # 最后模拟键盘点击Enter键
# inputpage.send_keys(Keys.ENTER)
# # 为了是数据刷新出来，做了一个小小的死延时处理
time.sleep(10) # 让浏览器先加载一下动态页面
t_body = browser.find_element_by_tag_name('tbody') # 定位表格主体
tr_list = t_body.find_elements_by_tag_name('tr') # 定位表格每一行
numbers = len(tr_list)
print(f'tr_list[0].text===={tr_list[0].text}')
# for i in range(numbers):
for tr in tr_list:
td_list = tr.find_elements_by_tag_name('td') # 定位表格每个单元格
lst = [] # 建立空列表存储每行信息
for td in td_list:
# lst.append("B-momv2core-121-anyreport-BinaryScan") # 添加版本信息
lst.append(td.text) # 添加每个单元格的文本信息
href = td_list[4].find_element_by_tag_name('a').get_attribute("href") # 获当前行第5个td单元格的超链接
print(u"第n行第n列的text:", href)
lst.append(href) # print(u"第一行第二列的text:", href) # 添加文件链接
data.append(lst) # 添加每行信息
# 点击下一页逻辑判断
# 如果table只有1页，不作处理，直接退出循环
# 如果table只有2页，点击下一页处理条件（total_pages == 3 and i == 1）
# 如果table2页以上，点击下一页处理条件（total_pages > 3 and i < (total_pages - 1)）
if total_pages == 3 and i == 1:
browser.find_element_by_xpath("//*[contains(text(),'下一页')]").click()
elif total_pages > 3 and i < (total_pages - 1):
browser.find_element_by_xpath("//*[contains(text(),'下一页')]").click()
df = pd.DataFrame(data,
columns=['选择', '策略', '审核', '版本组', '匹配数', '3', '4', '5', '6', '7', '8', '9', '10', '来源链接'])
df.to_csv('获取未知xxx.csv', encoding='utf_8_sig')
browser.quit()效果图：
到此这篇关于python+selenium对table表和分页处理的文章就介绍到这了,更多相关python+selenium table表,分页处理内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！
