웹스크래핑

프로그래머스 AI 데브코스 5기/CS

web scrapping 기초 2

동적 웹 페이지와의 만남 정적 웹사이트와 동적 웹사이트 웹 페이지는 어떻게 생성되느냐에 따라 크게 2가지로 구분 HTML 내용이 고정된 정적(static) 웹 사이트 정적 웹사이트는 HTML 문서가 완전하게 응답된다. HTML 내용이 변하는 동적(dynamic) 웹 사이트 동적 웹 사이트는 응답 후 HTML이 렌더링 될 때까지의 지연시간이 존재 동적 웹사이트의 동장 방식 웹 브라우저에선 JavaScript라는 프로그래밍 언어가 동작한다. 비동기 처리를 통해서 필요한 데이터를 채운다, 동기처리: 요청에 따른 응답을 기다린다. 비동기처리: 요청에 따른 응답을 기다리지 않는다. 동기 처리된 경우, HTML 로딩에 문제가 없다. 비동기 처리된 경우, 상황에 따라서 데이터가 원전하지 않은 경우가 발생한다. 지금까..

프로그래머스 AI 데브코스 5기/CS

Web Scraping 기초

DOM(Document Object Model) 브라우저의 렌더링 엔진은 웹 문서를 로드한 후, 파싱을 진행 html문서를 브라우저가 파싱해와서 생긴 모든 태그의 집합(트리 구조) 이것을 DOM이라고 한다(맞나?) 왜 브라우저는 DOM을 굳이 만들어내는 걸까? DOM의 목적 각 노드를 객체로 생각하면 문서를 더욱 편리하게 관리할 수 있다. DOM을 다루는 예시 DOM Tree를 순회해서 특정 원소를 추가할 수 있다. DOM Tree를 순회해서 특정 원소를 찾을 수 있다. DOM으로 바꾸면 좋은 점 원하는 요소를 동적으로 변경해 줄 수 있다. 원하는 요소를 쉽게 찾을 수 있다. 브라우저의 렌더링 요약 브라우저는 HTML을 파싱해서 DOM을 생성한다. 이를 바탕으로 요소를 변경하거나 찾을 수 있다. 파이썬으..

한상희
'웹스크래핑' 태그의 글 목록