安装 unirest

使用 python 进行数据请求，我们可以使用 opne-uri，但是进行各种类型的请求时，显得不是特别的方便快捷，所以我们使用unirest来进行网络数据请求。

gem install unirest // 安装 unirest

unirest 的用法

uinirest最低支持 Ruby2.0版本，使用起来十分的简单，常用的方法有下面几个 (具体的使用方法可以看

异步请求

response = Unirest.post "http://httpbin.org/post", 
                        headers:{ "Accept" => "application/json" }, 
                        parameters:{ :age => 23, :foo => "bar" } {|response|
    response.code # Status code
    response.headers # Response headers
    response.body # Parsed body
    response.raw_body # Unparsed body}

基本 get 请求

response = Unirest.get "http://httpbin.org/get", auth:{:user=>"username", :password=>"password"}

安装 nokogiri

当我们爬取到数据后，我们需要对数据进行分析，如果是简单的数据结构我们可以直接使用正则表达式，如果数据的结构比较复杂，我们就需要使用 nokogiri 对 html 的 dom 进行操作，如果对 dom 结果不了解可以先查看相关的内容(html dom教程)[http://www.runoob.com/htmldom/htmldom-tutorial.html]

gem install nokogiri

nokogiri 使用

导入包

require 'rubygems'require 'nonogiri'

打开一个 html 文档

page = Nokogiri::HTML(open("index.html))
puts page.class # => Nokogiri::HTML::Document

# 你也可以直接使用 unirest 请求下来的数据 response.body 来进行解析
response = Unirest.get "http://httpbin.org/get"
page = Nokogiri::HTML(response.body)

通过 open-uri 直接解析 url

通过 http 请求直接获取到 document

require 'rubygems'require 'nokogiri'require 'open-uri'
   page = Nokogiri::HTML(open("http://en.wikipedia.org/"))   
puts page.class   # => Nokogiri::HTML::Document

CSS 选择器

对 Document 对象进行节点分析

page.css('title') # 查找 page 下所有的 `title` 标签, 返回的是一个数组page.css('li')[0].text # 获取 page 下第一个 `li` 标签中的内容page.css('li')[0]['href'] # 获取第一 `li` 标签中属性 `href` 的值page.css("li[data-category='news']") #获取属性有 `data-category='news'` 的 `li` 标签page.css('div#funstuff')[0] #获取标签 `id='funstuff'` 的节点page.css('div#reference a') # 获取标签 `id='reference'` 下所有的 `a` 节点

更多的关于 nokogiri 的信息可以通过Parsing HTML with Nokogiri进行了解

安装 spreadsheet

Spreadsheet是一个Ruby实现的gem，它可以使我们很方便的使用它对excel进行操作，我们需要将获取到的数据存入本地，方便数据的记录和后续处理。

# 引入spreadsheet插件require "spreadsheet"# 声明Spreadsheet处理Excel文件组时的编码Spreadsheet.client_encoding = "UTF-8"# 创建一个Spreadsheet对象，它相当于Excel文件book = Spreadsheet::Workbook.new# 创建Excel文件中的一个表格，并命名为 "Test Excel"sheet1 = book.create_worksheet :name => "Test Excel"# 设置一个Excel文件的格式default_format = Spreadsheet::Format.new(:weight => :bold,#字体加粗
                             :size => 14, 
                             :horizontal_align: => :merge, #表格合并
                             :color=>"red", 
                             :border=>1, 
                             :border_color=>"black",
                             :pattern => 1 ,
                             :pattern_fg_color => "yellow" )#这里需要注意，如果pattern不手动处理，会导致pattern_fg_color无实际效果# 指定一个在表格中的第一行对象test_row = sheet1.row(0)
test_row.set_format(i, default_format)# 为第一行的第一列指定值test_row[0] = "row 1 col 1"# 为第一行的第二列指定值test_rwo[1] = "row 1 col 2" # 将创建的Spreadsheet对象写入文件，形成电子表格book.write 'book2.xls'

爬虫

爬取 RUNOOB.COM(http://www.runoob.com/) 的教程列表和地址数据
其实这都算不上是一个爬虫，但是作为利用 ruby 的各种 gem 来实现异步数据请求，数据筛选及存储。是实现一个更加复杂的爬虫的必备工具。熟练的使用各种各样的 gem 可以体现 ruby 的简洁

#!/usr/bin/rubyrequire 'unirest'require 'nokogiri'require 'open-uri'require 'spreadsheet'# 获取网页的信息response = Unirest.get "http://www.runoob.com/"page = Nokogiri::HTML(response.body)# 获取大分类的列表datas = page.css('div.codelist')
puts datas.count# 创建一个表格Spreadsheet.client_encoding = 'UTF-8'book = Spreadsheet::Workbook.new# 创建一个 sheetsheet = book.create_worksheet :name => "my excel"index = 0datas.each do |category|
    puts category.css('h2').text # 获取大分类的名字
    items = category.css('a.item-top') 
    items.each do |item|        
        sheet.row(index)[0] = item.css('h4').text # 写入教程的名字
        sheet.row(index)[1] = item['href'] # 写入教程的链接
        index += 1
    end
end

book.write '/users/ssbun/desktop/runoob.xls' # 写入本地文件 （**注意你的路径**）

随后你就可以看见在你的桌面上有一个 xls 文件，打开它就能看到里面的数据了。

作者：SSBun
链接：https://www.jianshu.com/p/cc35e6382269