▼

대한민국

SBS

미미미누

날씨

쿠웨이트 대 한국

수능 등급컷

최현욱 전라

페페코인

김혜경

뉴진스

로그인 회원가입|아이디

비번찾기

개발자포럼 입니다.

웹 크롤러를 설계하는데 조언을 부탁드립니다.5

[* 비회원 *]
등록일 2016-07-21 22:10
조회수 1030

안녕하세요 초보개발자입니다.

웹 크롤러를 설계하는데 조언을 구하고자 글을 작성하게 되었습니다. 제가 크롤링하려는 사이트의 구조가 아래의 그림과 같이 구성되어 잇습니다. 일단 제가 작성한 크롤러는 사이트 구조의 가장 하단에 위치한 서브 카테고리 페이지를 리스트로 작성하고 각 페이지를 이동해 가면서 크롤링을 수행하였습니다, 하지만 이 서브 카테고리 페이지가 수가 많아서 수작업으로 일일이 찾아가서 들어가기 번거로운 어려운 문제점이 발생했습니다. 또한 카테고리가 추가되면 서브 카테고리 페이지 리스트를 재작성 해야 하는 어려움도 있었습니다.

위의 문제점을 해결하고 자동으로 서브 카테고리 페이지를 찾아 데이터를 크롤링 할 수 있는 아이디어를 생각하고 있는데 막상 떠오르지 않아 게시판의 고수 분들께 조언을 얻으려 합니다. 사소한 팁이라도 좋으니 댓글부탁드립니다.

파워링크 등록안내

첨부파일

noname01.png



		목록보기

[* 비회원 *]

메인페이지에서링크 찾고 찾은 링크를 일일이 db에 저장하고 저장된 링크를 타고 들어가서 다시 파싱해서 링크 찾고 반복합니다.
그리고 파싱을 원하는 페이지에 도달했을때 파싱 수행해서 db에 데이터를 적재하면 될것 같네요. 되게 러프하게 설명드린거구요. 실제 구현 하려면 시간을 좀 들이셔야할것 같습니다.

2016-07-21 점아이콘

댓글주소복사

0 Martiz38

recursive crawling 검색해보면 뭔가 나올거 같네요

2016-07-22 점아이콘

댓글주소복사

푸리울

Html 잘 분석해서 링크를 긁어내서 계속 찾아들어가면 되지 않나요?

2016-07-22 점아이콘

댓글주소복사

0 슬기왕

예전에 저두 만들어본 적 있는데 URL로만 링크 타서 가면 계속 돌더라구요. 저는 URL 뿐만 아니라 IP 까지 구분해서 구현했던 기억이잇네요.

2016-07-22 점아이콘

댓글주소복사

0 hongmae

2016-08-26 * 점아이콘

댓글주소복사

알림 욕설, 상처 줄 수 있는 악플은 삼가주세요.
로그인 후 코멘트를 작성하실 수 있습니다.

짤방 사진		익명요구 다른의견


	△ 이전글▽ 다음글	목록보기