[공습경보 개발일지] 8. DB문제는 해결... 스크랩이 문제

오늘 한 일

정확히 말해서 오늘은 아니고, 몇 주 전에 한 일을 작성하는 것이지만 올려본다.

• 클라우드 타입 디스코드의 도움을 받아 'UNSUPPORTED_AUTH_METHOD', 'AUTH_SWITCH_PLUGIN_ERROR' 문제는 해결하였다.
• 특정 시간에 스크랩을 해 DB에 넣는 코드까지는 작성하였다.

 

했던 생각

• 환경변수 인식하지 못 하던 문제, workspace를 좁혀서 재설정하니까 됐었다...
• url의 정보를 파악하는 urlInfo를 너무 난잡하게 쓰는 듯 하다. 아예 urlInfo를 기준으로 전달해줘야 할 듯
• dry하지 않은 부분이 많다. 나중에 사이트 추가되면 사이트 타입 파악하는 로직을 하나 더 짜야할듯 (urlInfo에서 있는거 쓰면 될 듯, urlInfo에 날짜도 추가?)
• db에 좌표찍기 정보가 중복되서 저장되지 않게 하기 위해 primal key를 바꾸고 insert시 중복되면 무시하도록 sql문을 나중에 바꾸기
• 변수명 혼란, 용어 혼란
• 게시글 스크랩하는 함수가 너무 하는 일이 많아 db에 넣는 작업은 밖으로 빼주었다.

 

해결해야 할 문제

• 크롤링 시 너무 많은 작업을 한번에 시도해 디시인사이드 측에서 차단해버리는 일이 일어나버렸다.
• Promise.all로 설정해 둔 부분을 푼 후, 각각 크롤링 작업 사이 대기 시간을 두어야겠다.