개발자포럼 입니다.

네이버에서 크롤링을 하다보면 IP차단을 하는 경우가 있는데 무슨 기준으로 차단하는건가요??1

[* 비회원 *]
등록일 2018-01-05 17:14
조회수 1794

무슨 기준으로 차단하는 건지 알고싶은데 나오지 않아서 여쭤봅니다!

파워링크 등록안내



		목록보기

0 lucebella

당연히 크롤링을 하면서 트래픽을 유발하잖아요 그런 악성 트래픽을 방지하고자 IP차단을 하는겁니다.

사이트내 운영자나 관리자가 명시해둔 특정 디렉토리에 대한 크롤링을 하게되면 자동으로 IP밴을 당할수 있으며

robots.txt 파일에 포괄적인 크롤링 금지 또는 특정검색엔진의 크롤링 금지가 명시되있음에도 불구하고

그 표시를 무시하고 크롤링을 하였다면 이는 사이트 운영자의 의사에 반한 크롤링에 해당하는 것이므로

재수가 없으면 고소미 까지 당할수가 있는거죠

2018-01-05 점아이콘

댓글주소복사

알림 욕설, 상처 줄 수 있는 악플은 삼가주세요.
로그인 후 코멘트를 작성하실 수 있습니다.

짤방 사진		익명요구 다른의견