1. 웹 크롤링

웹 스크레이퍼는 하나의 웹페이지 데이터를 긁어오는 것이었습니다. 크롤링은 첫 접근 웹페이지서 다른 문서로의 링크를 따라 이동하는 기능이 반드시 필요합니다. 비교적 간단한 웹 사이트의 경우에는 크롤러가 읽은 HTML 문서를 분석하여 링크들을 추출하고 그 링크를 따라가기도 합니다. 구조가 복잡하거나 동적으로 콘텐츠가 생성되는 웹 사이트의 경우에는 헤드레스(메모리 상에서만 동작하는 브라우저), 혹은 실제 웹 브라우저를 크롤러를 통해 구동해야 하기도 합니다. 이런 웹사이트의 수집 절차는 일반화하기 어려운 경우가 대부분입니다.

다양한 정보제공을 위한 API 형태의 웹 서비스를 제공하는 사이트의 경우에는 API를 사용하는 것이 바람직합니다. 트위터, 금감원, 한국은행 등에서는 API 서비스를 제공합니다.

1.1 웹 크롤링 절차

웹 크롤링은 대체로 다음의 순서로 진행합니다.

1) 문서 URL의 수집과 저장 : 웹 문서를 가리키는 URL을 수집하여 저장하는 것입니다.
2) 위의 단계에서 수집한 URL들을 읽어서 문서를 수집하여 저장합니다.
3) 웹 문서는 HTML 형식의 문서입니다. 자바스크립트 등 순수 텍스트가 아닌 요소를 잘라냅니다.

주의사항
웹 크롤링은 타인 혹은 타조직이 생성한 콘텐츠에 일반적이지 않은 방법으로 접근하는 일입니다. 현실적으로 인간 사용자가 아닌 크롤러의 접근을 좋아할 웹 사이트는 없습니다. 그러므로 서비스 이용약관, 저작권 보호, 개인정보 보호등을 면밀하게 감안해서 이용해야 합니다. 크롤링에 의한 웹 자원으로의 접근은 웹사이트에 의도하지 않은 영향을 끼칠 가능성이 있습니다. 그러므로 시간 간격 등 조정 가능한 모든 요소를 면밀히 조정하여 웹 사이트가 정상 상태로 운영되도록 해야 합니다.

2. 뉴스 크롤링
네이버 뉴스 사이트를 예로 들어 웹사이트의 분석에서 크롤러에 이르기 까지의 과정을 살펴보겠습니다.

2.1 권한파악
우선 하기전에 웹사이트에 접근하는 크롤러의 접근 범위를 규정하는 robots.txt의 내용을 검토해 보겠습니다. 네이버 뉴스의 경우에는 http://news.naver.com/robots.txt에 해당 파일이 존재 합니다.

네이버 뉴스 사이트의 개별 뉴스 문서에 접근이 허용되는 로봇은 imagemontage 이 유일합니다. 나머지 로봇들은 최상위 디렉토리로 부터 시작하여 그 하위의 어느 디렉토리에 있는 문서에도 접근이 허용되지 않습니다. 그러나 위의 사항은 강제사항이 아닙니다. 확실한 것은 이 사이트를 크롤링 하기 위해서는 사용자가 로봇이 아닌 실제 브라우저라고 우회해야 한다는 것입니다.

2.2 사이트분석
경제면 인덱스 페이지에 헤더 부분을 보면 "금융", "증권", "부동산" 등의 하위 분류가 되어 있습니다. 여기서는 "증권" 링크를 눌러보겠습니다.

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

경제면 증권 뉴스 인덱스 페이지의 URL" http://news.naver.com/main/list.nhn?mode=LS2D&mid=shm&sid1=101&sid2=258"이 웹브라우저의 주소창에 명시적으로 표시됩니다.
다음 단계에서는 날짜 선택과 페이지 적용이 반영된 인덱스 페이지로의 접근 방법을 찾아 보겠습니다. 앞서 접근한 최신 뉴스 인덱스 페이지의 아랫쪽으로 이동하면 접근 당일을 기준으로 과거 일주일간의 날짜 기사 인덱스 페이지로의 링크와 다른 페이지로의 이동 링크가 있습니다. 그럼의 예는 2017년 4월 25일 링크를 누르고 3페이지로 이동해 보겠습니다.