Java爬虫爬取京东商品信息

<strong> java<em style=“color:red;”>爬虫</em></strong>工具:Jsoup
Maven地址
<dependency>
  <!-- jsoup HTML parser library @ https://jsoup.org/ -->
  <groupId>org.jsoup</groupId>
  <artifactId>jsoup</artifactId>
  <version>1.11.2</version>
</dependency>

网页分析:

图片描述

商品布局分析:

图片描述

Java代码实例:

 import org.jsoup.Jsoup;
 import org.jsoup.nodes.Document;
 import org.jsoup.nodes.Element;
 import org.jsoup.select.Elements;
 
 /**
  * 作者:小鱼
  * 作者唯一QQ号:1132017151
  * 
  * 简单测试类
  * 包含内容:京东商品页查询
  * 不包含京东商品排除个性化查询和后半部动态加载,如有想要了解,请联系作者
  * */
 public class Test {
     
     public static void main(String[] args) throws Exception {
         String url = "https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&amp;enc=utf-8&amp;psort=3&amp;page=3";//第二页商品
         //网址分析
         /*keyword:关键词(京东搜索框输入的信息)
          * enc:编码方式(可改动:默认UTF-8)
          * psort=3 //搜索方式  默认按综合查询 不给psort值
          * page=分业(不考虑动态加载时按照基数分业,每一页30条,这里就不演示动态加载)
          * 注意:受京东商品个性化影响,准确率无法保障
          * */
         Document doc = Jsoup.connect(url).maxBodySize(0).get();
         //doc获取整个页面的所有数据
         Elements ulList = doc.select("ul[class='gl-warp clearfix']");
         Elements liList = ulList.select("li[class='gl-item']");
         //循环liList的数据
         for (Element item : liList) {
             //排除广告位置
             if (!item.select("span[class='p-promo-flag']").text().trim().equals("广告")) {
                 //如果向存到数据库和文件里请自行更改
                 System.out.println(item.select("div[class='p-name p-name-type-2']").select("em").text());//打印商品标题到控制台
             }
         }
     }
 }

运行结果:
图片描述

如有疑问可加作者QQ或者博客园留言,看到必回!

如有转载,请自觉贴上本帖地址,谢谢合作!