文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Node.js抓取网站中文乱码解决办法

2023-02-18 18:00

关注

问题:Node.js抓取网站中文乱码

async function getHtml(){
    let res = await axios.get(publicPath+"/pic/")
    console.log(res)
}

如上代码,axios默认是以utf8的方式去解码html
由于原网页的编码方式是gb2312 控制台打印中文乱码

_G��ԭ��_����ͼƬ��</b></a> </h3>\r\n' +
'<p> ������ĩ�ա������ף��ܽ��׵�һ����־�ϸ裬����ĩ�ռ��������ף�G����������ͼƬ�ף��׳���Ϊ�����Ǹ����ϴ��� ���������
����������Σ����Ÿ��Լ�һЩ��������Ҫ�ñ��˰�����������״ݻ١��ܽ�������һ�ײ�ͬ����... </p>\r\n' +
`<span class="spanimg1">���ࣺ

Node.js抓取网站中文乱码解决办法

stream尝试了很多种方式都无效,最后想到流请求

我们以流的方式去请求网页,因为流都是二进制数据,当我们获取到所有的二进制数据后,将其以原网页的编码方式去解码即可!

步骤
1.引入 iconv-lite
npm i iconv-lite

const axios = require('axios')
const cheerio = require('cheerio')
const iconv = require('iconv-lite')
//封装请求html方法
async function getHtml(url){
    let res = await axios.get(
         url,{
         responseType: 'stream'
    })
    return new Promise(resolve=>{
        let chunks = []
        res.data.on('data',chunk=>{
            chunks.push(chunk)
        })
        res.data.on('end',()=>{
            let buffer = Buffer.concat(chunks)
            let str = iconv.decode(buffer,'gb2312')
            resolve(str)
        }) 
    })
}

getHtml用于发送流请求
在函数内部封装了promise,
promise里面的res.data是一个可读流当获取到流数据时,我们及将其添加到chunks数组。
流数据获取完毕后,将二进制数据连接,并设置解码方式为gb2312
最好用cheerio封装一下

async function getData(){
    const html = await getHtml(publicPath+"/pic/")
    const $ = cheerio.load(html)
    console.log($.html())
}
getData()

解码后的数据

七里香》吉他谱,周杰伦的经典代表作品,七里香吉他六线谱,原调bE选调C,CAPO夹三品,完整版共五张弹唱图
片谱。感谢老姚吉他编配,并同步《七里香》吉他弹唱教学视频,琴友们可以跟随老师的示范讲解练习起来。 曲... </p>
<span class="spanimg1">分类: <a href="/geshou/Cdiaodanchangpu_1258_1.html" rel="external nofollow" >C调弹唱谱</a>  <a href="/geshou/jitajiaoxueshipin_5348_1.html" rel="external nofollow" >吉他教学视频</a>  </span> <span class="spanimg2">来源:未知 </span> <span class="spanimg3">2020-12-25</span>

以上就是Node.js抓取网站中文乱码解决办法的详细内容,更多关于Node.js抓取网站中文乱码解决办法的资料请关注编程网其它相关文章!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-前端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯