Always-Try(정보보안 및 일상)

[정보보안기사][실기] 검색엔진 정보 노출 취약점 (feat. robots.txt) 본문

정보보안 자격증 + ISMS-P

[정보보안기사][실기] 검색엔진 정보 노출 취약점 (feat. robots.txt)

Always-Try 2021. 9. 28. 23:20

robots.txt

 

 

더보기

1. 개요

  • 검색로봇에 대한 검색 조건 및 접근 제한 설정 파일
  • 반드시 웹 사이트의 최상위 주소에 저장해야 됨(하위 디렉터리에 저장할 경우 효력 X)

2. 설정 예시

  • User-agent: *
    Disallow: /
 모든 검색로봇에 대해 웹사이트 접근 차단
  • User-agent: Googlebot
    User-agent: Yeti
    Disallow: 
    (또는 Allow: /)
 Googlebot, Yeti에 대해 전체 허용
  • User-agent: *
    Disallow: /cgi-bin/
    Disallow: /private/
 모든 검색로봇에 대해 /cgi-bin, /private 디렉터리 접근 차단
(/  / 형태는 디렉터리)
  • User-agent: Yeti
    Disallow: /private/private_file.html
 Yeti 검색로봇에 대해 /private/private_file.html 페이지 접근 차단
  • User-agent: Googlebot-image
    Disallow: /admin/
    Disallow: /*.pdf$
 Googlebot-image 검색로봇에 대해 /admin/ 디렉터리 접근 차단
Googlebot-image 검색로봇에 대해 .pdf로 끝나는 URL 접근 차단
  • User-agent: *
    Disallow: /*?
 모든 검색로봇에 대해 ?가 포함된 URL 접근 차단

 

 

'정보보안 자격증 + ISMS-P' 카테고리의 다른 글

[정보보안기사][실기] 웹 서버 취약점 및 대응 방법 (디렉터리 리스팅, 웹 서비스 메소드 설정, 관리자 페이지 노출, 위치공개 취약점)  (0) 2021.09.30
[정보보안기사][실기] 아파치 웹 서버 보안 대책  (0) 2021.09.29
[정보보안기사][실기] 단답형 기술 용어 , 최신 보안 동향 및 보안 트렌드 파악하기 좋은 사이트 모음  (0) 2021.09.28
[정보보안기사][실기] DNS (Domain Name System)  (0) 2021.09.28
[정보보안기사][실기] 무선랜 보안(Wireless LAN)  (0) 2021.09.27
'정보보안 자격증 + ISMS-P' Related Articles more
Comments