我试图从网站的25个页面中搜集大约1,000个产品,这些产品是我在url_list中通过其唯一的URL定义的 . 我使用for循环遍历每个URL . 但是,当我将其写入数据帧时,每次迭代都会覆盖结果;因此,我留下了第25页的40个产品 . 如何准确地将每个页面的结果合并到一个df中 .
for url in url_list:
uClient = uReq(url)
page_html = uClient.read()
uClient.close()
page_soup = soup(page_html, "html.parser")
frame = page_soup("div",{"class":"search-result-gridview-item"})
drawing_list = []
for container in frame:
brand = container.a.img["alt"]
price_container = container.findAll("div",{"class":"product-price-with-fulfillment"})
price = price_container[0].text
drawings = {'Product': brand, 'Price': price}
drawing_list.append(drawings)