10만건 정도 되는 데이터 크롤링 후 신규 데이터 or 변경된 데이터 or 변경되지 않은 데이터 인지 효율적으로 판단할 수 있는 방법이 있나요?7
- 보보_
- 등록일 2019-09-04 12:00
- 조회수 1025
|
||
0
추천하기
다른의견
0
|
파워링크 
등록안내
|
 0
 0
보보_
하나씩하려면 그냥 객체 받아와서 django orm save 함수 실행해주면 pk가 있는경우 update, 없으면 insert되서 신경쓸건 없는데 그걸 10만번 실행해야하니 그게 문제인듯합니다.ㅠ
정 방법이없으면 새로 db를 만들고 기존 db랑 스왑하는게 가장 효율적일듯하네요.
2019-09-04
|
|
0
0
봄-봄
크롤링한 데이터를 한번에 다 비교하려 하지 말고 규칙을 정해서 데이터를 그룹으로 나누세요.
그리고 그 데이터를 파일로 저장합니다. 이전에 크롤링한 파일과 이번에 크롤링한 파일을 md5 해쉬로 비교합니다. 내용이 변경되었으면 해쉬가 틀릴거고 그럼 그 그룹 데이터만 db에 넣고 비교합니다. 즉 그룹 단위로 일단 변경되었는지 아닌지를 md5 해쉬로 빠르게 판단하고, 변경된 그룹만 1라인씩 비교해주세요.
그런데 너무 복잡스러우면 간단한 방법이 있습니다. 그냥 이미 저장된 테이블과 동일한구조로 임시 빈테이블을 만들고 여기에 크롤링한 데이터를 전부 다 넣어버립니다. 그리고 원본 테이블과 임시테이블 스왑합니다. (테이블 명칭 변경) 순식간에 변환되므로 라이브 서비스중이라도 지장이 없습니다.
2019-09-04
|
|
0
0
보보_
봄봄님 답변은 항상 도움이 많이 됩니다.
감사합니다. 대박입니다.
어떻게 해야할지 알겠습니다.
다른분들도 많이 도움될것 같네요.
제가 생각하는 구체적 방법은 사업주들은 보통 지역별로 분포되있으니 지역으로 그룹을 나누고 지역 그룹의 고유 해시를 주고 새로 크롤링 해서 얻은 데이터를 가지고 같은 그룹과 해시를 비교, 다른 경우 다른 데이터가 무엇인지 확인하고 업데이트해주면 될듯합니다.
insert야 bulk로 한번에 밀어넣으면되니 처음에 해시값이 다른 경우 변경된 데이터가 아니라 추가된 데이터(사업자 추가) 때문에 달라진걸 수 있으니 먼저 bulk로 한번에 밀어넣고, 다시 해시값을 비교해서 같으면 업데이트는 필요없고 다르다면 그룹 내 사업자 정보 중 일부가 변경된거니 말씀하신것처럼 하나씩 비교해서 업데이트해주면 될것 같네요.
2019-09-04
|
|
|
0
0
[* 비회원 *]
키로 사용되는 값이 있고 그걸로 조회 해서 없으면 INSERT
있으면 비교해서 변경된거 있으면 UPDATE
쿼리는 두번만 돌리면 될거같은데요.
2019-09-05
|
|
|
0
0
보보_
데이터 양이 많지 않을땐 님 말씀대로 DB 수집 서버를 따로 둬서 작업하는것도 하나의 방법이겠네요..
귀찮게 해시 만들 필요도 없구요.
그 뒤에 DB를 한방에 덮어써버리면되니까요.
아님 서버 자체를 스왑해도 될거 같구요.
다만 하나의 서버에서 작업한다면 INSERT, UPDATE가 너무 빈번하게 일어나면 서버 먹통 되더라구요..
시간이 굉장히 오래 걸리기도하구요
2019-09-05
|
|
|
|
 |
|
| △ 이전글▽ 다음글 | -목록보기 |
|
