implementation ‘org.jsoup:jsoup:1.12.1’
然后在gradle中添加以下依赖
compile 'org.jsoup:jsoup:1.12.1'
由于jsoup需要获取网络数据，所以需要添加网络权限
<uses-permission android:name="android.permission.INTERNET" />
[]( )四、Jsoup的使用
1.从一个字符串、文件或者一个 URL 中解析HTML
String html = "<html><head><title>First parse</title></head>"
- "<body><p>Parsed HTML into a doc.</p></body></html>";
Document doc = Jsoup.parse(html);
当对象是URL时，使用 Jsoup.connect(String url)方法:
Document doc = Jsoup.connect("http://example.com/").get();
String title = doc.title();
当URL请求为post方式而不是get方式时
Document doc = Jsoup.connect("http://example.com")
.data("query", "Java")
.userAgent("Mozilla")
.cookie("auth", "token")
.timeout(3000)
.post();
2.提供一系列方法对HTML进行数据抽取
Jsoup将HTML解析成Document后，可以使用一系列DOM方法:
File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
Element content = doc.getElementById("content");
Elements links = content.getElementsByTag("a");
for (Element link : links) {
String linkHref = link.attr("href");
String linkText = link.text();
}
Elements这个对象提供了一系列类似于DOM的方法来查找元素，抽取并处理其中的数据。具体如下：
查找元素
getElementById(String id)
getElementsByTag(String tag)
getElementsByClass(String className)
getElementsByAttribute(String key) (and related methods)
Element siblings: siblingElements(), firstElementSibling(), lastElementSibling(); nextElementSibling(), previous
ElementSibling()
Graph: parent(), children(), child(int index)
操作HTML和文本
append(String html), prepend(String html)
appendText(String text), prependText(String text)
appendElement(String tagName), prependElement(String tagName)
html(String value)
3.对HTML元素、属性、文本进行操作
在你解析一个Document之后可能想修改其中的某些属性值，然后再保存到磁盘或都输出到前台页面。
可以利用Jsoup进行如下操作:
Element div = doc.select("div").first(); // <div></div>
div.html("<p>lorem ipsum</p>"); // <div><p>lorem ipsum</p></div>
div.prepend("<p>First</p>");//在div前添加html内容
div.append("<p>Last</p>");//在div之后添加html内容
// 添完后的结果: <div><p>First</p><p>lorem ipsum</p><p>Last</p></div>
Element span = doc.select("span").first(); // <span>One</span>
span.wrap("<li><a rel="nofollow" href='http://example.com/'></a></li>");
// 添完后的结果: <li><a rel="nofollow" href="http://example.com"><span>One</span></a></li>
这是对一个HTML中内容元素的设置
关于Jsoup的更多使用细节可以参考中文文档:[https://www.open-open.com/jsoup/]( )
[]( )五、爬取数据的思路
1.根据想要获取的资源，利用浏览器自带的审查元素功能(F12)获得想要的资源
以知乎为例如下可见网页的各个元素的名称:
2.利用Jsoup进行解析:
这里主要的分析网站是https://www.zhihu.com/topic/19550874/hot
因为Android的网络操作需要在不能在主线程运行，可以使用Thread+Handler或者AsyncTask获取数据并在主界面刷新UI。
其次是数据的展示，将数据放在listView中即可，如果要加入下拉刷新或者上滑加载则需要额外的工作。
以下是关键代码:
最后
要想成为高级安卓工程师，必须掌握许多基础的知识。在工作中，这些原理可以极大的帮助我们理解技术，在面试中，更是可以帮助我们应对大厂面试官的刁难。
