챗지피티 (1) 썸네일형 리스트형 [Linux] top과 jstat -gc 명령어로 서버와 GC 살펴보기(with 챗지피티) 📌 크롬은 용량을 너무 많이 차지해....😢 최근에 크롬창을 띄워 스크래핑을 진행하는 서버를 개발하면서 만난 이슈가 하나 있었다. 테스트를 위한 스테이지 서버는 t3.small 인스턴스 유형으로 세팅이 되어 있었는데, 하나의 스크래핑 요청만 진행할 때는 이상없이 진행됐지만 2개의 스크래핑을 동시에 진행하니 서버가 뻗어버렸다. (겨우 2개에 뻗다니 ㄷㄷㄷ) 가장 큰 원인은 스크래핑이 실패하는 경우 무조건 크롬창을 닫아야 하는데, 부분부분 특정 단계에서 크롬창이 닫히지 않고 그대로 떠있어서 크롬이 많은 용량을 차지하고 있었기 때문이었다. (크롬의 용량은 상당히 크다..........!) 그래서 어떤 단계에서든 스크래핑이 실패하면 무조건 크롬창을 닫도록 코드를 수정하니 동시의 2개의 스크래핑 요청이 온다고 해.. 이전 1 다음
