웹에서 데이터를 가져오기 위한 방법에 대해 질문드립니다.

안녕하세요 초보개발자입니다.

제가 개발하려는 앱에서 활용할 데이터를 웹에서 읽어 오기위해 웹페이지를 크롤링하여

데이터를 읽어오고 있습니다.

하지만 읽어오는 페이지 량이 많아서 일시적으로 페이지접속이 안되는 문제점이 발생하였습니다.

알고보니 해당 사이트의 robots.txt가 모든페이지의 크롤링을 허용하지 않더군요 ㅠㅠ

검색을 통해 규약을 지키지 않아도 수집해 갈수도 있지만

읽어간 데이터를 상업적으로 활용하여 소송이 발생하였다는 뉴스 기사를 보고 걱정이 앞섭니다.

여기서 질문을 드리고자 합니다.

실무에서 읽어오는 서버에도 무리가 가지 않고 읽는 사람도

별탈 없이 데이터를 가져오려면 어떠한 방법을 추가해야 하나요?

(저는 ip도 바꾸고 vpn도 동작시키고 페이지를 읽어올 때마다 delay를 구성해서 읽어오고 있습니다)

꼭 크롤링이 아니더라도 다른 방법도 좋으니 관련 경험을 나누어 주셨으면 합니다.

사소한 것도 좋으니 댓글 부탁드립니다.

파워링크 등록안내