文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

如何使用Lightrun在生产环境中调试jsoup Java代码

2024-12-02 01:01

关注

审校 | 孙淑娟

网站抓取(Scraping)是一门安全性比较薄弱的学科。人们经常使用服务器来解决,而调试和解决这些问题非常困难,至少现在是这样。

抓取采用现代浏览器构建的网站比十年前更具挑战性。jsoup是一个方便的API,它通过DOM遍历、CSS选择器、类似JQuery的方法等使抓取网站变得简单。但这并非没有挑战,因为每个抓取的API都可能是一颗定时炸弹。

现实世界的HTML是脆弱的。因为它不是一个文档化的API,所以会在没有通知的情况下进行更改。当Java程序在抓取方面失败时,可能就面临更多的麻烦。在某些情况下,这是一个简单的问题,可以在本地复制并部署。但在本地测试用例中,DOM树中的一些细微变化可能更难观察到。在这些情况下,需要在推动更新之前了解解析树中的问题。否则,开发的软件产品可能会损坏。

什么是jsoup?JavaHTML解析器

在深入了解调试jsoup的具体细节之前,先回答上面的问题,并讨论jsoup背后的核心概念。

jsoup网站将其定义为:jsoup是一个用于处理真实世界HTML的Java库。它使用HTML5 DOM方法和CSS选择器提供了一个非常方便的API,用于获取URL以及提取和操作数据。

jsoup实现了WHATWG HTML5规范,并将HTML解析为与现代浏览器相同的DOM。

考虑到这一点,可以直接从同一个网站上获取一个简单的示例:

Java

1 Document doc = Jsoup.connect("https://en.wikipedia.org/").get();
2 log(doc.title());
3 Elements newsHeadlines = doc.select("#mp-itn b a");
4 for (Element headline : newsHeadlines) {
5 log("%s\n\t%s",
6 headline.attr("title"), headline.absUrl("href"));
7 }

这段代码片段摘自维基百科的。在上面的代码中,可以看到几个有趣的特性:

简单的jsoup测试

为了演示调试,创建了一个简单的演示。

XML

1  <dependency>
2 <groupId>org.jsoupgroupId>
3 <artifactId>jsoupartifactId>
4 <version>1.14.3version>
5 dependency>

可以使用以下Maven依赖项将jsoup安装到任何Java程序中。Maven将无缝下载jsoupjar:

Java

1 public Set<String> listLinks(String url, boolean includeMedia) throws IOException {
2 Document doc = Jsoup.connect(url).get();
3 Elements links = doc.select("a[href]");
4 Elements imports = doc.select("link[href]");
5
6 Set<String> result = new TreeSet<>(String.CASE_INSENSITIVE_ORDER);
7 if(includeMedia) {
8 Elements media = doc.select("[src]");
9 for (Element src : media) {
10 result.add(src.absUrl("src"));
11 //result.add(src.attr("abs:src"));
12 }
13 }
14
15 for (Element link : imports) {
16 result.add(link.absUrl("abs:href"));
17 }
18
19 for (Element link : links) {
20 result.add(link.absUrl("abs:href"));
21 }
22
23 return result;
24 }

本段代码可以获取输入的字符串URL。也可以使用输入流,但这在解析相对URL时会稍微复杂一些(无论如何都需要一个基本URL)。然后搜索具有src属性的链接和对象。最后代码将它们全部添加到一个集合中,以保持条目的排序和唯一性。

我们使用以下代码将其公开为Web服务:

1 @RestController
2 public class ParseLinksWS {
3 private final ParseLinks parseLinks;
4
5 public ParseLinksWS(ParseLinks parseLinks) {
6 this.parseLinks = parseLinks;
7 }
8
9 @GetMapping("/parseLinks")
10 public Set<String> listLinks(@RequestParam String url, @RequestParam(required = false) Boolean includeMedia) throws IOException {
11 return parseLinks.listLinks(url, includeMedia == null ? true : includeMedia);
12 }
13 }

一旦运行应用程序,就可以通过一个简单的curl命令使用它:

Java

1 curl -H "Content-Type: application/json" "http://localhost:8080/parseLinks?url=https%3A%2F%2Flightrun.com"

这将打印出Lightrun主页中引用的URL列表。

调试内容失败

当元素对象更改时,会出现典型的字符串抓取问题。例如,维基百科可以更改其页面的结构,而上面的选择方法可能会失败。这通常是一个微妙的失败,是在处理嵌套节点元素和文档间依赖关系时。例如Java对象层次结构中缺少DOM元素,这可能会触发选择方法的失败。大多数开发人员通过记录大量数据来解决这个问题。产生这个问题的原因有三个:

如果没有足够的日志并且无法在本地重现问题,就会陷入到添加日志、构建、测试、部署、重现这样的重复循环中。

Lightrun提供了一种更好的方法。只需直接在生产中跟踪特定故障、验证问题,并创建适用于一个部署的修复程序。

注:本文假设安装了Lightrun并了解其背后的基本概念。如果没有,可以查看文档。

在浏览器DOM中找到自己的方式

假设不知道从何开始,那么jsoup API是一个很好的起点。它可以带回用户代码。很酷的是,无论代码如何都会有效。通过深入研究API调用,可以找到快照的正确行/文件。

在此处按ctrl键(在Mac上使用Meta-click)选择方法调用:

Java

1 Elements links = doc.select("a[href]");

它带到了Element类。在其中,按ctrl键单击选择器“select”方法,可以放置一个条件快照来查看每个执行“a[href]”查询的情况:

这可以显示执行该查询的方法/行:

这对缩小文档对象层次结构中的一般问题区域有很大帮助。

有时采用快照可能还不够,可能需要使用日志。日志记录的优点是可以生成大量信息,但仅针对特定情况和按需生成。

日志的价值在于,它们能够以非常类似于单步执行代码的方式跟踪问题。放置快照的位置对于日志来说是有问题的。我们知道发送的查询,但还没有返回的值。可以用日志轻松解决这个问题。首先,添加一个包含以下文本的日志:

"Executing query {query}"

然后,要找出返回了多少条目,只需转到调用者(我们知道这要归功于快照中的堆栈)并在那里添加以下日志:

Links query returned {links.size()}

这会产生以下日志,让我们看到有147个a[href]链接。这样做的好处是额外的日志与场景中预先存在的日志交错:

Feb 02, 2022 11:25:27 AM org.jsoup.select.Selector select
INFO: LOGPOINT: Executing query a[href]
Feb 02, 2022 11:25:27 AM com.lightrun.demo.jsoupdemo.service.ParseLinks listLinks
INFO: LOGPOINT: Links query returned 147
Feb 02, 2022 11:25:27 AM org.jsoup.select.Selector select
INFO: LOGPOINT: Executing query link[href]
Feb 02, 2022 11:25:27 AM org.jsoup.select.Selector select
INFO: LOGPOINT: Executing query [src]

避免安全和GDPR问题

GDPR和安全问题可能是将用户信息泄漏到日志中的问题。这可能是一个主要问题,Lightrun可以帮助显著降低这种风险。

Lightrun提供了两种可能的解决方案,可以在适用时串联使用。

(1)日志管道

GDPR的最大问题是日志摄取。如果记录私人用户数据,然后将其发送到云端,它会在那里保存很长时间,并且事后很难找到,也很难修复。

Lightrun提供了将Lightrun的所有注入日志直接通过管道传输到IDE的能力。这样做的好处是可以消除可能使用日志的其他开发人员的干扰。它还可以跳过摄取(可选)。

如果仅将日志发送到插件,需要将管道模式选择为“插件”。

(2)PII减少/阻止列表

个人身份信息(PII)是GDPR法规的核心,也是一个主要的安全风险。而企业中的恶意开发人员可能希望使用Lightrun来窃取用户信息。阻止列表阻止开发人员在特定文件中放置操作。

验证个人身份信息(PII) 可以减少从日志中隐藏匹配特定模式的信息(例如信用卡格式等)。这可以由管理员角色在Lightrun Web界面中定义。

结语

对于Java内容抓取,jsoup显然是领导者。使用jsoup进行开发远远超过字符串操作,甚至在处理连接方面。除了获取文档对象外,它还处理DOM元素和脚本所需的复杂方面。

抓取是一项有风险的业务。当网站发生轻微变化时,它可能会在眨眼间崩溃。更糟糕的是,它可能会以奇怪的方式影响某些用户,而这些方式不可能在本地复制。

而有了Lightrun,可以直接在生产环境中调试此类故障,并快速发布工作版本。

原文Debugging jsoup Java Code in Production Using Lightrun,作者:Shai Almog


来源:51CTO内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯