|
크롤링 작업중에,
기존에는 로그인 없이 되던 부분이 이제는 접근권한 있는 계정으로 로그인을 해야만 보이는데요.
https://bitly.com/33EqBsL+
위 링크의 경우 저 역시도 접근권한 있는 계정으로 로그인하지 않으면, 제가 원하는 정보 (클릭 수)가 보이지 않습니다.
근데 이게 비틀리 자체 계정으로 로그인 하는게 아니라,
로그인 -> 구글 연동계정 ->로그인
이라는 과정으로 로그인을 해야하다 보니.. 기존에 파이썬 크롤링에서 사용되던 로그인 기능으로는 어떻게 로그인을 해야할지 모르겠더군요..
심지어 구글 연동계정 로그인의 경우 ID/PW를 입력하는 창이 뜨기 이전에 이미 로그인했던 계정이 있으면 그 계정에 대한 정보가 먼저 출력되기에..
그래서 브라우저에서 먼저 로그인 한 상태로 하면 되지 않을까? 생각 했습니다만..
html = requests.get('https://bit.ly/33EqBsL+').text
제가 원하는 결과를 크롤링에서 못읽어와서 확인해보니
역시나 로그인을 요구하는 창에 대한 html 태그들이 출력이 되더군요..
이거.. 구글 연동 로그인이라는 문제가 있는데.. 정녕 코드에서 로그인 후에 접속시킬 방법이 있을까요...ㅠㅠ | 
등록안내
등록안내
"크롤링 구글 oauth"
같은 검색어로 찾으면 자료가 많이 있습니다
oauth 같은 경우 토큰 한번 발급 받으면 만료되기 전까지 쓸 수도 있는데
우선 자료 검색해서 진행을 해보고 개선을 시도하세요