|
:: 게시판
:: 이전 게시판
|
- PGR21 관련된 질문 및 건의는 [건의 게시판]을 이용바랍니다.
- (2013년 3월 이전) 오래된 질문글은 [이전 질문 게시판]에 있습니다. 통합 규정을 준수해 주십시오. (2015.12.25.)
통합규정 1.3 이용안내 인용"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
17/06/19 11:39
보통 크롤링 자체가 문제가 되는 것은, 과도한 트래픽 유발 때문입니다.
서버에 큰 부하를 주지 않을 정도로 천천히 긁으시는게 좋습니다. 하지만 크롤링 된 정보를 재배포하시거나 크롤러를 배포하는건 문제가 될 소지가 있습니다.
17/06/19 11:57
크롤링 자체는 문제가 없고, 아마 크롤러 배포도 문제는 별로 없을 겁니다. (이게 문제가 있다면 검색엔진들은 진작에 망했어야 합니다. 근본적으로 하는 일이 크롤링이거든요)
크롤링으로 모은 데이터를 별도로 배포하거나 하면 그 시점에서는 확실히 문제가 됩니다.
17/06/19 13:58
상대방 서버에 과부하를 걸 정도로 방해를 하지 않는다면 문제없다고 생각합니다.
해외 스타트업이나 국내 개인개발자 작품 중에서도 웹페이지 주소만 넣으면 알아서 반복적/정규화되어 나타나는 HTML 문구를 스스로 파싱해서 XLS나 CSV 형태로 가공해주는 것을 본 적이 있습니다. 굳이 문제가 되는 경우라면 타 사이트의 내용을 다 긁어온 다음 자기네 사이트인 것처럼 재배포를 한다거나 해서 저작권법 혹은 부정경쟁방지법 등에 저촉될 일이 있을 수는 있을텐데, 크롤러만 만드는 경우라면 별 문제될 것 없지 않나 싶습니다.
|
||||||||||