Always-Try(정보보안 및 일상)

robots.txt 더보기 1. 개요 검색로봇에 대한 검색 조건 및 접근 제한 설정 파일 반드시 웹 사이트의 최상위 주소에 저장해야 됨(하위 디렉터리에 저장할 경우 효력 X) 2. 설정 예시 User-agent: * Disallow: / 모든 검색로봇에 대해 웹사이트 접근 차단 User-agent: Googlebot User-agent: Yeti Disallow: (또는 Allow: /) Googlebot, Yeti에 대해 전체 허용 User-agent: * Disallow: /cgi-bin/ Disallow: /private/ 모든 검색로봇에 대해 /cgi-bin, /private 디렉터리 접근 차단 (/ / 형태는 디렉터리) User-agent: Yeti Disallow: /private/privat..