[ 一日30分 인생승리의 학습법] robots 설정하기
2023.12.03 16:58
[ 一日30分 인생승리의 학습법] robots 설정하기
robots 는 외부 검색엔진에 본인의 웹페이지 내용이 수집되는 것을 원치 않는 경우 사용합니다.
1. meta 테그로 적용하기
<head>와 </head> 사이에 테그를 넣음으로서 검색로봇을 제어하는 방법입니다.
1-1.검색로봇 허용하기
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
1-2.검색로봇 거부하기
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
2. robots.txt 파일로 적용하기
Allow or Disallow
disallow: / : 모든 하위 문서에 대해 배재를 의미하고,
disallow: : 아무것도 지정하지 않으면 허가를 의미
disallow: /data/ : 디렉토리인 경우 / 기호로 끝나야 합니다.
disallow: /data : data 디렉토리와 그 디렉토리내의 파일이 적용대상
2-1. 검색엔진 수집 허용
User-agent: *
Allow: /
robots.txt 파일은 설정한 순간부터 검색 로봇이 방문하지 않게 됩니다.
따라서 이미 검색엔진에 수집된 페이지가 삭제되는 데는 시간이 걸립니다.
바로 삭제하길 원하시는 분은 직접 해당 검색 사이트에 요청합니다.
네이버 검색허용
User-agent: Yeti
User-agent: Naverbot
Allow: /
2-2. 검색차단(거부)
User-agent: *
Disallow: /
# ChatGPT AI 수집차단
User-agent: GPTBot
Disallow: /
# 네이버 검색차단
User-agent: Yeti
User-agent: Naverbot
User-agent: AdsBot-Naver
Disallow: /
# archive.org 의 수집을 차단
User-agent: ia_archiver
Disallow: /
# 구글 이미지 검색에서 수집을 차단
User-Agent: Googlebot-Image
Disallow: /
# 야후 이미지 검색에서 수집을 차단
User-Agent: Yahoo-MMCrawler
Disallow: /
# 벅스뮤직을 비롯한 코리아와이즈넛의 검색로봇을 수집 거부
User-Agent: wisebot
Disallow: /
# 아마존 봇 ( Amazon bot ) 검색로봇을 수집 거부
User-agent: Amazonbot
Disallow: /
# http://majestic12.co.uk/bot.php
User-Agent: MJ12bot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: AhrefsBot
Disallow: /
# http://www.baidu.com/search/spider.html
User-agent: Baiduspider
Disallow: /
# http://www.semrush.com/bot.html
User-agent: SemrushBot
Disallow: /
# https://aspiegel.com/petalbot
User-agent: PetalBot
Disallow: /
# http://www.apple.com/go/applebot
User-agent: Applebot
Disallow: /
User-agent: BomboraBot
Disallow: /
User-agent: Buck
Disallow: /
# https://babbar.tech/crawler
User-agent: barkrowler
Disallow: /
# https://dataforseo.com/dataforseo-bot
User-agent: DataForSeoBot
Disallow: /
※ 다음(www.daum.net)은 구글과 같은 검색로봇을 사용합니다. 구글을 거부하면 다음 검색 로봇도 거부하게 됩니다.
※ 파란(www.paran.com)은 야후의 검색로봇을 사용합니다. 야후를 제외하시면 파란도 함께 제외됩니다.
2-3. 특정폴더는 검색허용 안할때
User-agent: *
Disallow: /adm/
2-4. Sitemap 경로 등록
Sitemap: http://경로/sitemap.xml
2-5. 샘플 (광고성 봇 차단 / 주요검색엔진 허용)
User-Agent : *
Disallow : /
# https://www.bing.com
User-agent: bingbot
Allow:/
# https://www.google.com
User-agent: Googlebot
Allow:/
User-agent: Googlebot-Mobile
Allow:/
User-agent: Mediapartners-Google
Allow:/
# https://www.daum.net ( 한국 Korea )
User-agent: Daum
Allow:/
# https://www.naver.com ( 한국 Korea )
User-agent: AdsBot-Naver
Allow:/
User-agent: cowbot
Allow:/
User-agent: Naverbot
Allow:/
User-agent: Yeti
Allow:/
# http://zum.com ( 한국 Korea )
User-agent: ZumBot
Allow:/
# https://www.haosou.com ( 중국 Chinese )
User-agent: 360Spider
Disallow: /
# https://www.haosou.com ( 중국 Chinese )
User-agent: 360Spider-Image
Disallow: /
# https://www.haosou.com ( 중국 Chinese )
User-agent: 360Spider-Video
Disallow: /
# https://www.haosou.com ( 중국 Chinese )
User-agent: HaosouSpider
Disallow: /
# Amazon ( 아마존)
User-agent: Amazonbot
Disallow: /
# http://majestic12.co.uk/bot.php
User-Agent: MJ12bot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: AhrefsBot
Disallow: /
# http://www.baidu.com/search/spider.html
User-agent: Baiduspider
Disallow: /
# http://www.semrush.com/bot.html
User-agent: SemrushBot
Disallow: /
# https://aspiegel.com/petalbot
User-agent: PetalBot
Disallow: /
# http://www.apple.com/go/applebot
User-agent: Applebot
Disallow: /
User-agent: BomboraBot
Disallow: /
User-agent: Buck
Disallow: /
# https://babbar.tech/crawler
User-agent: barkrowler
Disallow: /
# https://dataforseo.com/dataforseo-bot
User-agent: DataForSeoBot
Disallow: /
# 특정폴더 거부할때
Disallow: /adm/
Sitemap: http://경로/sitemap.xml
Sitemap: http://경로/sitemap.html
Sitemap: http://경로/sitemap.php
참고자료
http://help.egloos.com/7792
http://radiocom.kunsan.ac.kr/lecture/home_page/robots_txt.html
http://www.egocube.pe.kr/Translation/Content/seo/201006140001
http://chongmoa.com/webtool/4028
https://kensei.co.kr/270
http://www.robotstxt.org/db.html
https://sir.kr/cm_free/1670530
http://www.iwav.co.kr/558
http://sulfur.pe.kr/tech/board.php?board=web&command=body&no=52
[출처] https://www.happyjung.com/lecture/258?bo_table=lecture&wr_id=258&rewrite=1&device=mobile
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
