크롤링

현재 시점 기준(2023.08) 크롬 드라이버가 116 버전이 되면서 이전의 방법으로는 오류가 해결되지 않는다. 115, 116 버전으로 새로 업데이트됨에 따라 새로운 드라이버를 설치해주어야 하는데 설치 방법은 다음과 같다. 아래 크롬 드라이버 다운로드 사이트에서 각 버전에 맞는 드라이버를 설치하면 된다. ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 115 or newer, please consult the Chrome for Testing availability dashboard. This page provides convenient JSON endpoints for spec..

공모전 준비를 위해 작성했던 크롤링 코드를 정리하는 글입니다. 크롤링 과정을 간단히 작성하면 다음과 같다. 크롬 웹드라이버에서 '전주 한옥숙소' 검색 검색 결과에서 상세정보 탭으로 이 상세정보에서 리뷰 추출 먼저 webdrvier-manager를 설치한다. pip install webdriver-manager time 라이브러리와 warning을 무시하기 위한 라이브러리를 import 한다. import time import warnings warnings.filterwarnings('ignore') 크롤링을 위해 필요한 라이브러리도 import 해준다. 동적 크롤링을 위해 selenium을 사용하였고, webdriver로는 크롬드라이버를 사용했다. from selenium import webdriver..

공모전 준비를 위해 작성했던 크롤링 코드를 정리하는 글입니다. 크롤링은 공공데이터포털에서 전국 숙박업소에 대한 데이터를 다운로드하여 해당 데이터에 있는 숙소명을 네이버 지도에 직접 검색하여 리뷰를 가져오는 방식으로 진행했다. 다음과 같은 데이터 df에서 '업소명' 컬럼을 사용했으며, 크롤링 과정을 간단히 작성하면 다음과 같다. 크롬 웹드라이버에서 해당 숙소의 고유 주소로 이동(크롤링 코드에서 고유 주소(url)가 나오니 참고) 해당 숙소 정보에서 리뷰 탭으로 이동 리뷰 탭으로 이동 방문자 리뷰 텍스트를 크롤링 먼저 webdrvier-manager를 설치한다. pip install webdriver-manager time 라이브러리와 warning을 무시하기 위한 라이브러리를 import 한다. impor..

크롬 115 이후 버전은 아래 링크를 참고해주세요. ChromeDriver 115 버전 이후 드라이버 다운로드 및 AttributeError 오류 해결 방법 현재 시점 기준(2023.08) 크롬 드라이버가 116 버전이 되면서 이전의 방법으로는 오류가 해결되지 않는다. 115, 116 버전으로 새로 업데이트됨에 따라 새로운 드라이버를 설치해주어야 하는데 설치 dduniverse.tistory.com 파이썬 Selenium으로 크롤링 시 크롬 드라이버를 실행할 때 다음과 같은 에러는 Chorme 버전과 ChromeDriver 버전이 맞지 않아서 발생하는 것이다. This version of ChromeDriver only supports Chrome version 97 이 글의 작성 시점(2023.05)으..