首页 > Web开发 > 详细

通过rcurl抓取网页数据

时间:2014-05-14 08:21:02      阅读:1719      评论:0      收藏:0      [点我收藏+]

 

获取数据有多种方式,例如从txt、excel、curl、数据库等,我比较喜欢curl和数据库,先介绍下rcurl

一 下载rcurl包
http://cran.r-project.org/web/packages/RCurl/index.html

二 安装 

1
sudo R CMD INSTALL RCurl_1.95-4.1.tgz

  

三 试运行

出错,发现缺少另外一个包,bitops

四 安装bitops


http://cran.r-project.org/web/packages/bitops/index.html

运行 

bubuko.com,布布扣
sudo R CMD INSTALL bitops_1.0-6.tgz
bubuko.com,布布扣

 



五 安装XML包
从网上看到的实例都需要这个包,怎么 办?安吧

下载地址:http://cran.r-project.org/web/packages/XML/index.html
命令行输入:

bubuko.com,布布扣
sudo R CMD INSTALL XML_3.98-1.1.tgz
bubuko.com,布布扣

 



傻了,命名可以直接在R下输入install命令的

六 安装了RJSONIO包
使用R内置的install命令安装失败,继续老办法安装后,成功

七 实例
获取豆瓣里冰雪奇缘影片的评分,代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
library(RCurl)
library(XML)
library(RJSONIO)
movieScoreapi <- function(x) {
url <- paste(api, x, "}", sep = "")
res <- getURL(url)
reslist <- fromJSON(res)
name <- reslist$subjects[[1]]$title
score <- reslist$subjects[[1]]$rating$average
return(list(name = name, score = score)) }
movieScoreapi(‘冰雪奇缘’)

  



运行成功

通过rcurl抓取网页数据,布布扣,bubuko.com

通过rcurl抓取网页数据

原文:http://www.cnblogs.com/jiamei/p/3725688.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!