stat(통계) R 언어 [R lang 크롤링] R - 크롤링

2023.12.10 18:52

졸리운_곰 조회 수:1742

[R lang 크롤링] R - 크롤링

rvest 라이브러리 설치 및 임포트

 

install.packages("rvest")

library(rvest)

 

 

# 만약 오류가 나면 iconv로 인코딩 하면된다.

# UTF-8로 되어있으면 문제 없음

html <- read_html(iconv("주소",  from = 'euc-kr',to='cp949'),encoding='cp949')

# character 인코딩 체계가 어떻게 되어있는지 확인(확률값)

guess_encoding(html)

 

 

# xpath로 텍스트 뽑아내기

html_nodes(html,xpath='//*[@id="old_content"]/table/tbody/tr/td[2]/text()')

 

 

예시 : 인공지능 신문 - 의료 AI 기사 크롤링

 

# html 주소 불러오기

html <- read_html("http://www.aitimes.kr/news/articleList.html")

# url 저장
# 한개를 찾을땐 node / 여러개 찾을땐 nodes 
# #은 id를 의미 / .은 class를 의미함

url <- html_nodes(html,".list-titles")%>%
  html_nodes('a')%>%
  html_attr('href')

# 기사 내용 불러오기

news <- c()

for(i in 1:length(url)){

  html <- read_html(paste0("http://www.aitimes.kr",url[i]))

  text <- html_node(html,'#article-view-content-div')%>%

    html_text()

  news <- c(news,text)

}

# 기사 내용 정제작업

t <- c()

for(i in 1:length(news)){

  x22 <- SimplePos22(news[i])

  x22

  str_match(x22, "[A-z가-힣]+/N")

  word_nn <- as.vector(na.omit(str_match(x22, "([A-z가-힣]+)/N")[,2]))

  t <- c(t,word_nn)

  word <- table(t)

}

# 워드클라우드로 띄워보기

wordcloud2(word)

[출처] https://truman.tistory.com/161

 

 

 

 

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

[R lang 크롤링] R - 크롤링

rvest 라이브러리 설치 및 임포트

 

install.packages("rvest")

library(rvest)

 

 

# 만약 오류가 나면 iconv로 인코딩 하면된다.

# UTF-8로 되어있으면 문제 없음

html <- read_html(iconv("주소",  from = 'euc-kr',to='cp949'),encoding='cp949')

# character 인코딩 체계가 어떻게 되어있는지 확인(확률값)

guess_encoding(html)

 

 

# xpath로 텍스트 뽑아내기

html_nodes(html,xpath='//*[@id="old_content"]/table/tbody/tr/td[2]/text()')

 

 

예시 : 인공지능 신문 - 의료 AI 기사 크롤링

 

# html 주소 불러오기

html <- read_html("http://www.aitimes.kr/news/articleList.html")

# url 저장
# 한개를 찾을땐 node / 여러개 찾을땐 nodes 
# #은 id를 의미 / .은 class를 의미함

url <- html_nodes(html,".list-titles")%>%
  html_nodes('a')%>%
  html_attr('href')

# 기사 내용 불러오기

news <- c()

for(i in 1:length(url)){

  html <- read_html(paste0("http://www.aitimes.kr",url[i]))

  text <- html_node(html,'#article-view-content-div')%>%

    html_text()

  news <- c(news,text)

}

# 기사 내용 정제작업

t <- c()

for(i in 1:length(news)){

  x22 <- SimplePos22(news[i])

  x22

  str_match(x22, "[A-z가-힣]+/N")

  word_nn <- as.vector(na.omit(str_match(x22, "([A-z가-힣]+)/N")[,2]))

  t <- c(t,word_nn)

  word <- table(t)

}

# 워드클라우드로 띄워보기

wordcloud2(word)

[출처] https://truman.tistory.com/161

 

 

 

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
이 게시물을
목록
목록
쓰기
태그
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED