오늘은 지난 시간에 수집한 URL의 HTML 파일을 저장하는 단계입니다.

단계는 다음과 같습니다.

1. URL 목록 파일명을 입력받는다. (지난 시간에 만든 파일)
2. 출력 파일명을 입력받는다.
3. 기사 URL 파일을 연다
4. 출력 파일을 연다.
5. 기사 URL 파일르 한 줄씩 읽으며 더 읽을 내용이 없을 때 까지 반복한다.
  5.1 읽은 줄에서 기사 번호를 추출하여 인쇄용 URL을 만든다.
  5.2 인쇄용 URL로 기사에 접근하여 HTML을 얻는다.
  5.3 얻어온 HTML을 기사 파일에 기록한다.
  5.4 쉰다.
6. 출력파일을 닫는다.
7. URL 목록 파일을 닫는다.



#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
네이버 뉴스 기사를 수집한다.
"""

import time
import requests
import os

def get_url_file_name() :
"""
url 파일 이름을 받아 돌려준다.
:return:
"""

url_file_name = input("Enter url file name : ")

return url_file_name

def get_output_file_name():
"""
철력 파일의 이름을 입력받아 돌려준다.
:return:
"""

output_file_name = input("Enter output file name : ")

return output_file_name

def open_url_file(url_file_name):
"""
URL 파일을 연다.
:param url_file_name:
:return:
"""

url_file = open(url_file_name, "r", encoding ="utf-8")

return url_file

def create_output_file(output_file_name):
"""
출력 파일을 생성한다.
:param output_file_name:
:return:
"""

output_file = open(output_file_name, "w", encoding='utf-8')

return output_file

def gen_print_url(url_line):
"""
주어진 기사 링크 URL로 부터 인쇄용 URL을 만들어 돌려준다.
:param url_line:
:return:
"""
article_id = url_line[(len(url_line)-24):len(url_line)]
print_url = "http://news.naver.com/main/tool/print.nhn?" + article_id

return print_url

def get_html(print_url) :
"""
주어진 인쇄용 URL에 접근하여 HTML을 읽어서 돌려준다.
:param print_url:
:return:
"""
user_agent = "'Mozilla/5.0"
headers ={"User-Agent" : user_agent}

response = requests.get(print_url, headers=headers)
html = response.text

return html

def write_html(output_file, html):
"""
주어진 HTML 텍스트를 출력 파일에 쓴다.
:param output_file:
:param html:
:return:
"""

output_file.write("{}\n".format(html))
output_file.write("@@@@@ ARTICLE DELMITER @@@@\n")

def pause():
"""
3초동안 쉰다.
:return:
"""
time.sleep(3)

def close_output_file(output_file):
"""
출력 파일을 닫는다.
:param output_file:
:return:
"""

output_file.close()

def close_url_file(url_file):
"""
URL 파일을 닫는다.
:param url_file:
:return:
"""

url_file.close()

def main():
"""
네이버 뉴스기사를 수집한다.
:return:
"""

url_file_name = get_url_file_name()
output_file_name = get_output_file_name()

url_file = open_url_file(url_file_name)
output_file = create_output_file(output_file_name)

for line in url_file:
print_url = gen_print_url(line)
html = get_html(print_url)
write_html(output_file,html)

close_output_file(output_file)
close_url_file(url_file)

main()