[ChatGPT] naver.com의 새 게시물을 키워드로 스크랩하고 mongodb를 저장하는 프로그래밍
2023.04.25 17:58
[ChatGPT] naver.com의 새 게시물을 키워드로 스크랩하고 mongodb를 저장하는 프로그래밍
Naver.com의 새 게시물을 키워드로 스크랩하고 결과를 Python을 사용하여 MongoDB에 저장하려면 다음 단계를 따르세요.
-
필요한 라이브러리를 설치합니다:
beautifulsoup4,pymongo,requests. -
필요한 라이브러리를 가져오고 MongoDB 연결을 정의합니다.
파이썬
from bs4 import BeautifulSoup from pymongo import MongoClient import requests client = MongoClient('mongodb://localhost:27017/') db = client['news'] collection = db['naver'] - 키워드로 새 게시물을 스크랩하고 MongoDB에 저장하는 기능을 정의합니다.
파이썬
def scrape_naver_news(keyword): url = f"https://search.naver.com/search.naver?where=news&sm=tab_jum&query={keyword}" response = requests.get(url) soup = BeautifulSoup(response.text, "html.parser") articles = soup.select(".news_wrap .news_area") for article in articles: title = article.select_one(".news_tit").text.strip() link = article.select_one(".news_tit a")["href"] summary = article.select_one(".news_dsc").text.strip() date = article.select_one(".info .info_time").text.strip() data = {"title": title, "link": link, "summary": summary, "date": date} collection.insert_one(data) 이 함수는 키워드를 매개변수로 받아 키워드를 사용하여 Naver.com에서 뉴스를 검색할 URL을 구성하고 HTML 응답을 검색하고 BeautifulSoup을 사용하여 응답을 구문 분석하고 뉴스 기사를 선택하고 관련 데이터(제목, 링크, 요약)를 추출합니다. , 및 날짜), 데이터로 사전을 구성하고 MongoDB 컬렉션에 저장합니다.
- 원하는 키워드로 함수를 호출하여
scrape_naver_news뉴스 기사 스크래핑을 시작하고 MongoDB에 저장합니다.
파이썬
scrape_naver_news("example") 이렇게 하면 Naver.com에서 키워드 "example"에 대한 새 게시물을 스크랩하고 결과 뉴스 기사를 MongoDB 컬렉션에 저장합니다. 애플리케이션에 필요한 대로 키워드 및 MongoDB 연결 세부 정보를 사용자 지정할 수 있습니다.
본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
댓글 0
| 번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
|---|---|---|---|---|
| 9 | [chatGPT] How to use ChatGPT API in PHP : PHP에서 ChatGPT API를 사용하는 방법 | 졸리운_곰 | 2023.09.10 | 71 |
| 8 |
[chatGPT] 수학문제 풀기 : 4pi에서 -4pi 까지 tan(x) x sin(x) x cos(x) 를 적분한뒤 최대값을 알려줘
 | 졸리운_곰 | 2023.07.23 | 138 |
| 7 |
[chatGPT] ChatGPT로 간단한 게임 시나리오를 만들기까지
| 졸리운_곰 | 2023.07.16 | 136 |
| 6 |
[chatGPT] Emscripten AWS S3 IO Emscripten wasm으로 s3 스토리지를 입력/출력하는 방법 Emscripten AWS S3 IO; / how to save and load binary data at remote server by emscripten wasm ?
| 졸리운_곰 | 2023.05.08 | 52 |
| 5 |
[chatGPT] 프로그래밍 언어 rust의 간단 언어 specification tutorial을 알려줘
| 졸리운_곰 | 2023.05.06 | 51 |
| 4 |
[chatGPT] chatGPT로 구글 뉴스 스크레이핑 개발
| 졸리운_곰 | 2023.05.04 | 78 |
| 3 |
[chatGPT] chatGPT와 함께, rest api proxy 서버 만들기
| 졸리운_곰 | 2023.05.04 | 54 |
| » |
[ChatGPT] naver.com의 새 게시물을 키워드로 스크랩하고 mongodb를 저장하는 프로그래밍
| 졸리운_곰 | 2023.04.25 | 107 |
| 1 |
[chatGPT] 데이터 분석 중 자주 사용하는 R lang 패키지와 데이터 분석의 sudo 코드를 알려주세요.
| 졸리운_곰 | 2023.04.20 | 83 |