jsoup

简介

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

依赖

  <!-- jsoup -->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.12.2</version>
        </dependency>

代码：

package com.licha.utils;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.net.URL;
import java.net.URLEncoder;

/**
 * User: Aurora
 * Date: 2020/5/5
 * Time: 3:34
 */
public class BiliParseUtil {

    public static void getInfo(String key,Integer pageNum) throws Exception{
        //B站的key需要转码一下
        String code = URLEncoder.encode(key);
        String url = "https://search.bilibili.com/all?keyword="+code+"&page="+pageNum;

        Document parse = Jsoup.parse(new URL(url), 30000);
        //getElementsByClass取得class=video-list clearfix的元素
        Element result = parse.getElementsByClass("video-list clearfix").get(0);
        //getElementsByTag根据标签取得元素
        Elements li = result.getElementsByTag("li");

        for (Element element : li) {
            //attr 取得标签中的属性
            String title = element.getElementsByTag("a").attr("title");
            String href = element.getElementsByTag("a").attr("href");
            //取得标签中的文本内容
            String jianjie = element.getElementsByClass("des hide").text();
            String watchNum = element.getElementsByClass("watch-num").text();
            System.out.println(title);
            System.out.println(href);
            System.out.println(jianjie);
            System.out.println(watchNum);
            System.out.println("==================================");
        }

    }

    public static void main(String[] args) throws Exception{
        BiliParseUtil.getInfo("java",1);
    }
}

结果

Java零基础教程视频（适合Java 0基础，Java初学入门）
//www.bilibili.com/video/BV1Rx411876f?from=search
官方相关学习资源已经在评论区置顶 本套Java视频教程适合绝对零基础的学员观看，该Java视频教程中讲解了Java开发环境搭建、Java的基础语法、Java的面向对象。每一个知识点都讲解的非常细腻，由浅入深。如果您是非计算机专业，想转行做J...
422.7万
==================================
黑马Java基础+就业班+各种项目idea版本（正在更新）
//www.bilibili.com/video/BV1A4411K7Gx?from=search
Java基础视频，Java就业班，各种项目，最近在学习Java，找到找到了这份黑马Java培训资料，自己看了一下感觉不错，就来和大家一起分享。 javaweb和项目实战会更新到另一个视频。av68412637
114.2万
==================================
【尚学堂】Java300集 - 高琪(零基础初学入门)UP求求各位点个关注吧！
//www.bilibili.com/video/BV1ct411n7oG?from=search
有问题可以进入群交流 120597210，里面每天也会有一些技术分享。 视频出了点问题，已经重新上传。但是之前的视频被锁了也没有办法，我这边也会想办法去解。版权问题大家不用担心，得到了尚学堂工作人员的同意（由于之前聊天记录丢失，昨晚再次征得...
108.4万
==================================

jsoup

原文：https://www.cnblogs.com/licha233/p/12829297.html