Java HttpURLConnection库的数据抓取代码示例

import java.io.FileOutputStream
import java.io.InputStream
import java.net.URL
import java.net.URLConnection
import java.util.concurrent.ExecutorService
import java.util.concurrent.Executors

fun main() {
    val url = URL("")
    val conn = URLConnection(url)
    conn.connect()

    val headers = conn.getHeaderFields()
    val referer = headers["Referer"]?.firstOrNull()
    val user_agent = headers["User-Agent"]?.firstOrNull()

    println("Referer: $referer")
    println("User-Agent: $user_agent")

    val executorService = Executors.newFixedThreadPool(10)
    executorService.submit {
        val is = conn.getInputStream()

        val fileOutputStream = FileOutputStream("video.mp4")

        val buffer = ByteArray(1024)
        val len = is.read(buffer)

        while (len > 0) {
            fileOutputStream.write(buffer, 0, len)
            len = is.read(buffer)
        }

        fileOutputStream.close()
        is.close()

        println("Download Complete")
    }

    executorService.shutdown()

    println("Download Started")
}

这个程序首先创建了一个URL对象，然后使用URLConnection对象连接到这个URL。然后，它获取了这个URL的头部信息，包括Referer和User-Agent。 然后，它创建了一个线程池，并使用线程池来下载视频。在下载过程中，它将视频数据写入到一个文件中。最后，它关闭了文件输出流和输入流，并关闭了线程池。