티스토리 블로그 robots.txt 확인 및 분석
구글, 네이버, 다음, 빙과 같은 포털에서 robots.txt 파일에 등록되어 있는 정보로 웹사이트 및 블로그의 글을 크롤링 해간다. 이때 robots.txt 파일은 검색엔진 로봇이 홈페이지/블로그에 들어와도 되는지, 글을 수집해도 되는지, 수집하면 안되는지를 알여주는 기능을 한다. 처음 robots.txt의 내용을 확인하면 이게 무엇을 뜻하는지 어렵기만 하다. 하지만 내용을 알고 보면 그러 어려집 않다. 지금부터 robots.txt에는 어떤것이 있고, 어떤 의미가 있는지 알아보고 정리해보았다. ▶ robots.txt 확인 및 분석 ① robots.txt 란? ② robots.txt 기본구성/용어설명 ③ robots.txt 내용 분석 티스토리 블로그 robots.txt 확인 및 분석 = robots.tx..