Python 인터넷 [Python 인터넷] 5 - 다른 페이지 크롤링

2023.03.26 18:06

졸리운_곰 조회 수:275

[Python 인터넷] 5 - 다른 페이지 크롤링

일단은 폴더를 하나 새로 만듭니다.

 

 

 

# 크롤링 라이브러리 import
import requests
from bs4 import BeautifulSoup

def daum() :
    # 엔터치기
    req = requests.get('https://www.daum.net/')

    # 이런 식으로 HTML에 있는 코드를 다 가져온다
    soup = BeautifulSoup(req.text, 'html.parser')

    myList = []

    for i in soup.select("#mArticle > div.cmain_tmp > div.section_media > div.hotissue_builtin > div.realtime_part > ol > li"):
        myList.append(i.find("a").text)

    return myList


def today_humor() :
    # 엔터치기
    req = requests.get('http://www.todayhumor.co.kr/board/list.php?table=bestofbest')

    # 이런 식으로 HTML에 있는 코드를 다 가져온다
    soup = BeautifulSoup(req.text, 'html.parser')

    myList = []

    for i in soup.find_all("td", class_="subject") :
        myList.append(i.text)

    return myList


def clien():
    # 엔터치기
    req = requests.get('https://www.clien.net/service/recommend')

    # 이런 식으로 HTML에 있는 코드를 다 가져온다
    soup = BeautifulSoup(req.text, 'html.parser')

    myList = []

    for i in soup.find_all("span", class_="subject_fixed") :
        myList.append(i.text)

    return myList

html 파일도 설정해주고

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>

    <link rel="stylesheet" href="{{ url_for('static', filename='css/index_style.css') }}">

</head>
<body>

    <div>

        여기는 html영역입니다.

        <a href="/about">어바웃페이지로 이동</a>

    </div>

    <div class="daum_content">
        <h1>여기는 다음 인기검색어입니다.</h1>
        <ul>
            {% for i in list %}
                <li>{{i}}</li>
            {% endfor %}

        </ul>

    </div>

    <div class="daum_content">
        <h1>여기는 오늘의유머</h1>
        <ul>
            {% for i in list2 %}
                <li>{{i}}</li>
            {% endfor %}

        </ul>

    </div>

    <div class="daum_content">
        <h1>여기는 클리앙</h1>
        <ul>
            {% for i in list2 %}
                <li>{{i}}</li>
            {% endfor %}

        </ul>

    </div>



</body>
</html>

app.py파일을 수정하면

from flask import Flask, render_template
app = Flask(__name__)

import crawling


@app.route('/')
def hello():

    myList = crawling.daum()
    todayhumor = crawling.today_humor()
    clien = crawling.clien()

    return render_template("index.html", list = myList, list2 = todayhumor, list3 = clien)

@app.route('/about')
def about():
    return "여기는 어바웃입니다."


if __name__ == '__main__':
    app.run()

여기까지 하면

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

 

 

 

 

[출처] https://philosopher-chan.tistory.com/431

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
이 게시물을
목록
목록
쓰기
태그
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED