Python 인터넷 [Python 인터넷] 5 - 다른 페이지 크롤링

2023.03.26 18:06

[Python 인터넷] 5 - 다른 페이지 크롤링

일단은 폴더를 하나 새로 만듭니다.

# 크롤링 라이브러리 import
import requests
from bs4 import BeautifulSoup

def daum() :
    # 엔터치기
    req = requests.get('https://www.daum.net/')

    # 이런 식으로 HTML에 있는 코드를 다 가져온다
    soup = BeautifulSoup(req.text, 'html.parser')

    myList = []

    for i in soup.select("#mArticle > div.cmain_tmp > div.section_media > div.hotissue_builtin > div.realtime_part > ol > li"):
        myList.append(i.find("a").text)

    return myList


def today_humor() :
    # 엔터치기
    req = requests.get('http://www.todayhumor.co.kr/board/list.php?table=bestofbest')

    # 이런 식으로 HTML에 있는 코드를 다 가져온다
    soup = BeautifulSoup(req.text, 'html.parser')

    myList = []

    for i in soup.find_all("td", class_="subject") :
        myList.append(i.text)

    return myList


def clien():
    # 엔터치기
    req = requests.get('https://www.clien.net/service/recommend')

    # 이런 식으로 HTML에 있는 코드를 다 가져온다
    soup = BeautifulSoup(req.text, 'html.parser')

    myList = []

    for i in soup.find_all("span", class_="subject_fixed") :
        myList.append(i.text)

    return myList

html 파일도 설정해주고

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>

    <link rel="stylesheet" href="{{ url_for('static', filename='css/index_style.css') }}">

</head>
<body>

    <div>

        여기는 html영역입니다.

        <a href="/about">어바웃페이지로 이동</a>

    </div>

    <div class="daum_content">
        <h1>여기는 다음 인기검색어입니다.</h1>
        <ul>
            {% for i in list %}
                <li>{{i}}</li>
            {% endfor %}

        </ul>

    </div>

    <div class="daum_content">
        <h1>여기는 오늘의유머</h1>
        <ul>
            {% for i in list2 %}
                <li>{{i}}</li>
            {% endfor %}

        </ul>

    </div>

    <div class="daum_content">
        <h1>여기는 클리앙</h1>
        <ul>
            {% for i in list2 %}
                <li>{{i}}</li>
            {% endfor %}

        </ul>

    </div>



</body>
</html>

app.py파일을 수정하면

from flask import Flask, render_template
app = Flask(__name__)

import crawling


@app.route('/')
def hello():

    myList = crawling.daum()
    todayhumor = crawling.today_humor()
    clien = crawling.clien()

    return render_template("index.html", list = myList, list2 = todayhumor, list3 = clien)

@app.route('/about')
def about():
    return "여기는 어바웃입니다."


if __name__ == '__main__':
    app.run()

여기까지 하면

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

[출처] https://philosopher-chan.tistory.com/431

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.

이 게시물을

번호	제목	글쓴이	날짜	조회 수
5	파이선 애드온을 이용한 블랜더 2.6 : Creating a Blender 2.6 Python add-on	졸리운_곰	2017.08.15	483
4	blender import/export script	졸리운_곰	2017.08.13	1594
3	blender python 퀵스타드 매뉴얼 : blender python quick start	졸리운_곰	2017.08.13	1394
2	블랜더 파이썬 애드온 개발 : blender python addon dev	졸리운_곰	2017.08.13	3386
1	Python Scripting for the Blender Game Engine	졸리운_곰	2017.08.13	736

첫 페이지 1 끝 페이지

쓰기

태그

Python 인터넷 [Python 인터넷] 5 - 다른 페이지 크롤링

[Python 인터넷] 5 - 다른 페이지 크롤링

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다. 어린이용이며, 설치가 필요없는 브라우저 게임입니다. https://s1004games.com

댓글 0

로그인

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com