import time
import re
import requests

def get_date():
    """
    수집 대상 날짜를 사용자로부터 키보드로 입력 받아 돌려준다.
    :return: 날짜
    """

    target_date = input("Enter date to Crawl news article urls (YYYYMMDD): ")

    return target_date

def create_output_file(target_date) :
    """
    출략 파일을 생성하고 파일 객체를 돌려준다.
    :param target_date: 날짜 
    :return: 파일객체
    """

    output_file_name = "article_urls" + target_date + ".txt"
    output_file = open(output_file_name, "w", encoding="utf-8")

    return output_file

def get_html(target_date, page_num):
    """
    주어진 날짜와 페이지 번호에 해당하는 페이지 URL에 접근하여 HTML을 돌려준다.
    :param target_date: 
    :param page_num: 
    :return: 
    """
    user_agent = "'Mozilla/5.0"
    headers ={"User-Agent" : user_agent}

    page_url = "http://news.naver.com/main/list.nhn?sid2=258&sid1=101&mid=shm&mode=LS2D&date=" + \
               str(target_date) + "&page=" + str(page_num) + ""

    response = requests.get(page_url, headers=headers)
    html = response.text

    return html

def ext_news_article_urls(html):
    """
    주어진 html에서 기사 url을 추출하여 돌려준다.
    :param html: 
    :return: 
    """

    url_frags = re.findall('<a href="(.*?)"', html)
    news_article_urls=[]

    for url_frag in url_frags:
        if  "sid1=101&sid2=258" in url_frag and "aid" in url_frag:
            news_article_urls.append(url_frag)
        else :
            continue

    return news_article_urls

def write_news_article_urls(output_file, urls):
    """
    기사 URL들을 출력 파일에 기록한다.
    :param output_file: 
    :param urls: 
    :return: 
    """
    for url in urls:
        print(url, file=output_file)

def pause():
    """
    2초동안 쉰다.
    :return: 
    """
    time.sleep(2)

def close_output_file(output_file):
    """
    출력파일을 닫는다.
    :param output_file: 
    :return: 
    """
    output_file.close()

def main():
    """
    사용자로부터 수집대상 날짜를 입력받아 해당 날짜의 네이버 경제 뉴스 기사 URL을 수집한다.
    :return: 
    """

    target_date = get_date()
    output_file = create_output_file(target_date)
    page_num = 1
    max_page_num = 100

    while True :
        html = get_html(target_date, page_num)

        if page_num>=max_page_num:
            break

        urls = ext_news_article_urls(html)
        write_news_article_urls(output_file, urls)
        page_num+=1
        pause()

    close_output_file(output_file)

main()