PGR21.com
- PGR21 관련된 질문 및 건의는 [건의 게시판]을 이용바랍니다.
- (2013년 3월 이전) 오래된 질문글은 [이전 질문 게시판]에 있습니다.
통합 규정을 준수해 주십시오. (2015.12.25.)
Date 2020/06/13 11:02:25
Name 지구사랑
Subject [질문] Python Web Crawling 질문 드립니다.
화면으로 보이는데, html source를 잡지 못하는 경우 어떻게 해야 하나요?

크롬에서 F12 를 눌렀을 때, 우클릭/검사를 하면 원하는 source가 보이는데,
requests.get()으로 해당 source가 잡히지 않고,
selenium으로도 driver.get_screenshot_as_file()을 해 보면 보이는 대로 제대로 저장이 되는데,
막상 driver.page_source 를 읽어보면 크롬 F12 의 우클릭/검사에서 보이는 source를 볼 수 없습니다.

알면 쉬운 것 같은데, 관련 전공자가 아니라서 참 어렵네요.
Python/ Web Crawling 고수님들의 꿀팁을 부탁 드립니다.

PS) F12 의 우클릭/검사로도 보이지 않는 것에 대해서는 어떤 것을 공부해야 하는지도 부탁 드립니다.

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
심플맨
20/06/13 12:13
수정 아이콘
안녕하세요.
웹페이지는 크게 서버에서 렌더링하는 방식과 브라우저에서 렌더링하는 방식 두가지가 있습니다.
(렌더링이라는 용어가 적절한지 모르겠습니다. 적당히 봐주세요.)
전자는 말씀하시는 source를 서버에서 미리 렌더링해서 텍스트형태로 보내주는 것이고,
후자는 서버에서 렌더링하지 않고 javascript라는 스크립트를 클라이언트에게 보내주면 클라이언트에서 스크립트 파일을 실행하여 source로 변환시키는 렌더링 작업을 합니다. 그러니깐 후자는 브라우저에서 추가적인 작업을 통해서 source를 생성한다고 생각하시면됩니다.
후자와 같은 방식으로 구성된 웹페이지를 일반적인 크롤링 방식으로 크롤링하는 경우(작성자분께서 사용하는 방식), 브라우저를 사용하지 않기 때문에, 스크립트파일을 soruce 형태로 렌더링하는 작업을 거치지 않게 됩니다. 말씀하시는 셀레니움이나 크롬에서는 정상적으로 나타나는 것은 브라우저 기반이기 때문에 렌더링 작업을 거쳐서 소스를 생성하기 떄문입니다.

해결책은 브라우저를 이용하여 크롤링하는 것입니다.
셀레니움을 이용해서 크롤링하셔도 되고, 다른 패키지들도 있을겁니다.
찾아보시고 해당 방법으로 렌더링 후에 크롤링하시길 바랍니다.
지구사랑
20/06/13 12:42
수정 아이콘
(수정됨) 답변에 감사를 드립니다.
쉽지 않네요. :)
20/06/14 00:46
수정 아이콘
서버 source 로드 -> js 실행 -> 최종 html 이렇게 됩니다.
즉 js 실행 될 시간을 기다려줘야 해서 selenium driver로 wait 같은걸 걸어주면 될겁니다.
지구사랑
20/06/14 08:24
수정 아이콘
Selenium을 사용하고, 말씀하신 것과 비슷하게 지연시켜 일단 원하는 것은 구했습니다.
그래도 아직 전체적으로 시원하게 해결된 느낌은 아니어서^^;;; 조금 더 공부해야 할 듯 합니다.
답변에 감사를 드립니다.
세크리
20/06/14 06:35
수정 아이콘
크롬에서 F12말고 view page source 클릭하면 javascript처리 전에 소스를 볼 수 있습니다. 처리 하고 난 후의 소스 crawling은 사실 표준적인 방법은 없고요 (자바스크립트에서 클라이언트를 확인 가능하기 때문에 대상이 crawler면 그냥 렌더링을 안하는것도 가능합니다), 해 보면서 되는 수단을 써야 합니다. 간단한게는 같은 웹 사이트를 javascript를 꺼보고 접속한 다음 호환되는 contents 렌더링 방식이 있는지를 보고, 맞춰가는 방법도 있습니다. 아직 웹 표준에서는 javascript가 사용 불가능한 환경 (cli거나 임베디드같은 환경)을 위해서 html로만으로 이루어진 대체 정보를 화면에 뛰울것을 요청하고 있습니다. 따라서 웹 표준을 따르는 페이지라면, javascript없이도 뭔가 정보를 주긴 해야합니다.
지구사랑
20/06/14 08:39
수정 아이콘
답변에 감사를 드립니다.
그렇지 않아도 F12 와 view page source의 차이에 대해 궁금했었습니다.
Urlopen과 requests와 selenium을 비교하고 있는데, 말씀하신 것처럼 표준적이고 쉬운 해결책은 없는 것 같네요.
클라이언트를 어떻게 확인하는지, 그것을 어떻게 속이는지, 공방을 조금 구경하니, 쌩초보의 영역도 아니구요. ^^;;;
그래도 알아가는 재미가 생겼습니다. :)
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
145880 [질문] 성상우님 한국형 시리즈 글들 질문입니다. [11] 브론즈테란5579 20/06/15 5579
145879 [질문] 20대 젊은 여직원들과는 무슨 얘기를 나누면 좋을까요? ㅠㅠ [73] ipa9368 20/06/15 9368
145878 [질문] USB 쓰기 작업이 안됩니다. [6] 하만4327 20/06/15 4327
145877 [질문] 2주가 넘도록 오지 않는 모니터 어떻게 해야할까요? [12] The Normal One4908 20/06/15 4908
145876 [질문] 선물받은 와인 대략적인 가격 알수 있을까요? [5] BK_Zju5027 20/06/15 5027
145875 [질문] 대구 클래식바 추천 부탁드려요 감모여재4079 20/06/15 4079
145874 [질문] 깊이 있는 독서를 위해서 역사, 철학 공부는 필수일까요? [6] 똥꾼5055 20/06/15 5055
145873 [질문] 작은 사이즈 남성화 구매 질문입니다. [1] 도뿔이3956 20/06/15 3956
145872 [질문] 노래를 부르는것도 뭔가 운동효과가 있을까요?? [4] 애기찌와4638 20/06/15 4638
145871 [삭제예정] 집 방 내부 냄새를 잡을만한게 뭐가 있을까요? [9] 삭제됨5049 20/06/15 5049
145870 [질문] 영어 회화를 잘하고 싶셒습니다. (+숨고 질문) [11] 대통령5117 20/06/15 5117
145869 [질문] 자녀와 함께 할 수 있는 게임기 [7] 파란무테5341 20/06/15 5341
145868 [질문] 넷플릭스 '러브, 데스 + 로봇'에서 '슈트로 무장하고' 에피소드 [2] qwertyy6253 20/06/15 6253
145867 [질문] SMR방식의 HDD는 얼마나 구린(?)가요? [2] AKbizs5452 20/06/15 5452
145866 [질문] 정세현 민주평통 수석부의장은 대북전문가 맞나요? [17] 1026593 20/06/15 6593
145865 [질문] 소방안전관리자 시험? [3] 흰둥4527 20/06/15 4527
145864 [질문] 시스템에어컨 있고 시끄러운 저층 vs 없고 조용한 고층 [25] 신중하게5775 20/06/15 5775
145863 [질문] 여주프리미엄아울렛 어떤가요? [8] Liverpool FC5492 20/06/15 5492
145862 [질문] PS4 나 XBOX 를 키보드 마우스로 게임할 수 있나요? [6] 부모7234 20/06/15 7234
145861 [질문] 사기업 사무직 회계 관련 직종에대해 잘 아시는분 있나요? [14] 조율의조유리5963 20/06/15 5963
145860 [질문] 컴퓨터 견적관련 유튜버 추천 부탁드립니다. [2] 요한5290 20/06/15 5290
145859 [질문] 자동차 고장 문의...가만히 주차 중인 차가 갑자기 경적 소리를 냅니다. [11] 그채16457 20/06/15 16457
145858 [질문] 어떤 상황을 나타내는 표현이나 관용어가 있었던 거 같은데 잘 생각이 나질 않습니다. [25] 행복을 찾아서5530 20/06/14 5530
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로