robot.txt

robots.txt 파일을 만드는 방법

검색엔진에서 해당 사이트의 내용을 읽어가지 못하도록 하는 방법.
해당 사이트의 루트안에 robots.txt 라는 파일을 만들고 내용은 아래와 같이 입력한다.

User-agent: *
Disallow: /

User-agent : 검색엔진 로봇 ( * : 모든 로봇에 대해서 )
Disallow : 차단할 주소 ( / : 현재 루트 )