首页 文章

使用nokogiri难以截屏http://www.momondo.com

提问于
浏览 次
1

我从飞行结果中提取总价（css selector ='.total'）有些困难 .

http://www.momondo.com/multicity/?Search=true&TripType=oneway&SegNo=1&SO0=KUL&SD0=KBR&SDP0=31-12-2012&AD=2&CA=0,0&DO=false&NA=false#Search=true&TripType=oneway&SegNo=1&SO0=KUL&SD0=KBR&SDP0=31-12-2012&AD=2&CA=0,0&DO=false&NA=false

我得到错误“未定义的方法`文本'为nil：NilClass nokogiri” .

我的代码

desc "Fetch product prices"
task :fetch_details => :environment do
  require 'nokogiri'
  require 'open-uri'
  include ERB::Util

  OneWayFlight.find_all_by_money(nil).each do |flight|
    url = "http://www.momondo.com/multicity/Search=true&TripType=oneway&SegNo=1&SO0=KUL&SD0=KBR&SDP0=31-12-2012&AD=2&CA=0,0&DO=false&NA=false#Search=true&TripType=oneway&SegNo=1&SO0=KUL&SD0=KBR&SDP0=31-12-2012&AD=2&CA=0,0&DO=false&NA=false"
    doc = Nokogiri::HTML(open(url))
    price = doc.at_css(".total").text[/[0-9\.]+/]
    flight.update_attribute(:price, price)
  end
end
ruby-on-rails ruby nokogiri

1 回答

  • 1

    在页面加载后，您尝试抓取的内容似乎由JS填充 . 要自己查看，请检查您当前正在解析的文档的 div#flight_results 的内容：

    url = 'http://www.momondo.com/multicity/?Search=true&TripType=oneway&SegNo=1&SO0=KUL&SD0=KBR&SDP0=31-12-2012&AD=2&CA=0,0&DO=false&NA=false#Search=true&TripType=oneway&SegNo=1&SO0=KUL&SD0=KBR&SDP0=31-12-2012&AD=2&CA=0,0&DO=false&NA=false'

doc = Nokogiri::HTML(open(url))
doc.at_css('div#flight_results').to_html #=> '<div id="flight_results"></div>'

    虽然它超出了本问题的范围，但您通常可以重新构建用于填充您所访问内容的JS请求 .

    回复于

相关问题