Python爬虫每次运行时都会访问一次主机，为了避免增加主机访问负荷，一般都是在本地解析。Python解析本地html文件方法如下：
将html文件本地保存
在Python中打开html文件，可使用BeautifulSoup方法直接打开
soup=BeautifulSoup(open('ss.html',encoding='utf-8'),features='html.parser')获取本地文件资料
a.先爬取主页的列表资料，其中同义内容使用“@”符号连接，首先在for循环内给定一个值获取标签内的链接link=x.get('href')，接着使用sub方法指定删除link。代码如下：
link=x.get('href')
change2=re.sub(link,'',s)
def draw_base_list(doc): lilist=soup.find('div',{'class':'babynames-term-articles'}).findAll('article'); #爬取一级参数 for x in lilist: str1='' count=0 a='@' EnName=x.find('a').text; Mean=x.find('div',{'class':'meaning'}).text; Sou=x.find('div',{'class','related'}).findAll('a') Link=x.find('a').get('href'); for x in Sou: if count!=0:#添加计数器判断是否为第一个，不是则添加@ str1=str1+a s=str(x) #将x转换为str类型来添加内容 str1=str1+s count+=1 Source=str1 print(Source); print(Meaning)；在for循环中指定多余内容删除
link=x.get('href')s=str(x)change1=re.sub('','',change2)change4=re.sub(' Baby Names','',change3)change5=re.sub('','',change4)change=re.sub(' ','',change5)b.通过def draw_base_list(doc)函数向二级详情函数传递Link参数爬取详细信息，为避免频繁访问主机，我们同样将详情页的源代码保存至本地并解析
def draw_detail_list(): str1=‘’ meta="boy" doc=BeautifulSoup(open('nn.html',encoding='utf-8'),features='html.parser') Des=doc.find('div',{'class':'single-babyname-wrapper'}).findAll('p') Gen=doc.find('div',{'class':'entry-meta'}).find('a') #print(Gen) g=str(Gen) for i in Gen: if meta in g: Gender="boy" else: Gender="girl" #print(Gender) for x in Des: #print(x) if x.find('a')==None: #该标签下有我们不需要的信息，查看源代码找到信息之间的联系，发现不需要的信息中都有链接 c=str(x) change1=re.sub('','',c) #与一级信息函数一样删除指定内容 change2=re.sub('
','',change1) change3=re.sub('\t','',change2) change=re.sub('\n','@',change3) str1=str1+change #Description=x.text #print(Description) Description=str1 #print(Description) data={ #将数据存进字典中方便将数据保存至csv文件或数据库中 'EnName':EnName, 'CnName':'', 'Gender':Gender, 'Meaning':Meaning, 'Description':Description, 'Source':Source, 'Character':'', #网页中没有的信息数据列为空 'Celebrity':'', 'WishTag':'' } #print(data)c.将爬取下来的数据存入csv文件中
def draw_base_list(doc): ...... #爬取一级参数 for x in lilist: ...... for x in Sou: ...... ...... draw_detail_list(Link,EnName,Meaning,Source) #将数据传给二级信息函数def draw_detail_list(url,EnName,Meaning,Source): ...... for i in Gen: ...... for x in Des: ...... data={ ...... } write_dictionary_to_csv(data,'Names') #将字典传给存放数据函数，并给定csv文件名def write_dictionary_to_csv(dict,filename): file_name='{}.csv'.format(filename) with open(file_name, 'a',encoding='utf-8') as f: file_exists = os.path.isfile(filename) w =csv.DictWriter(f, dict.keys(),delimiter=',', quotechar='"', lineterminator='\n',quoting=csv.QUOTE_ALL, skipinitialspace=True) w.writerow(dict)参考资料：python怎么解析本地html文件，python解析本地html方法_软件屋下载站
来源地址：https://blog.csdn.net/kaiser099/article/details/130864865
