#1 Web Scraping in R.R 1.9 KB
Newer Older
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68
# install.packages("rvest")
library(rvest)
library(stringr)

#################################################################################
# ingress
#################################################################################
# scrape date, now
now <- Sys.time()

# url to scrape, then download page
url <- "https://www.newegg.com/Desktop-Graphics-Cards/SubCategory/ID-48"
webpage <- read_html(url)



#################################################################################
# parsing elements
#################################################################################

############
# feature: card name
############
card_name <- webpage %>% html_nodes(".item-title") %>% html_text()

################
# feature: current price
################
cur_price <- webpage %>% html_nodes(".price-current strong") %>% html_text()

################
# feature: brand
################
brand <- webpage %>% html_nodes(".item-brand img") %>% html_attr("title")

################
# feature: shipping
################
shipping <- webpage %>% html_nodes(".price-ship") %>% html_text(trim=TRUE)
shipping <- str_replace_all(string = shipping, pattern = " Shipping", replacement = "")



#################################################################################
# data binding
#################################################################################
graphics_cards <- as.data.frame(card_name)
graphics_cards$scrape_date <- now
graphics_cards$cur_price <- cur_price
graphics_cards$brand <- brand
graphics_cards$shipping <- shipping



#################################################################################
# egress
#################################################################################

# change this to your own working folder
setwd("C:/Users/Phuc H Duong/Downloads/newegg")

# write file out as a csv
write.csv(
    x = graphics_cards,
    file = "graphics_card_report.csv",
    row.names = FALSE
)