공모전 준비를 위해 작성했던 크롤링 코드를 정리하는 글입니다. 크롤링 과정을 간단히 작성하면 다음과 같다. 크롬 웹드라이버에서 '전주 한옥숙소' 검색 검색 결과에서 상세정보 탭으로 이 상세정보에서 리뷰 추출 먼저 webdrvier-manager를 설치한다. pip install webdriver-manager time 라이브러리와 warning을 무시하기 위한 라이브러리를 import 한다. import time import warnings warnings.filterwarnings('ignore') 크롤링을 위해 필요한 라이브러리도 import 해준다. 동적 크롤링을 위해 selenium을 사용하였고, webdriver로는 크롬드라이버를 사용했다. from selenium import webdriver..

공모전 준비를 위해 작성했던 크롤링 코드를 정리하는 글입니다. 크롤링은 공공데이터포털에서 전국 숙박업소에 대한 데이터를 다운로드하여 해당 데이터에 있는 숙소명을 네이버 지도에 직접 검색하여 리뷰를 가져오는 방식으로 진행했다. 다음과 같은 데이터 df에서 '업소명' 컬럼을 사용했으며, 크롤링 과정을 간단히 작성하면 다음과 같다. 크롬 웹드라이버에서 해당 숙소의 고유 주소로 이동(크롤링 코드에서 고유 주소(url)가 나오니 참고) 해당 숙소 정보에서 리뷰 탭으로 이동 리뷰 탭으로 이동 방문자 리뷰 텍스트를 크롤링 먼저 webdrvier-manager를 설치한다. pip install webdriver-manager time 라이브러리와 warning을 무시하기 위한 라이브러리를 import 한다. impor..

명령프롬포트에서 docker-compose build 또는 docker-compose up을 입력했을 때 다음과 같은 오류가 발생하였다. error during connect: this error may indicate that the docker daemon is not running 윈도우에서 발생하는 오류로, cmd에서 도커 명령어를 입력하기 전에 Docker Desktop을 실행하지 않으면 발생한다. 따라서, Docker Desktop을 실행시킨 뒤 다시 도커 명령어를 입력하면 정상적으로 진행되는 것을 볼 수 있다.

장고로 만든 프로젝트를 도커 컨테이너로 옮기는 과정을 정리하였다. 도커 설치 과정은 아래 글을 참조해 주길 바란다. Docker | Docker Desktop 설치 및 Docker Desktop requries a newer WSL kernel version 해결 방법 Window 10 Home 환경에서 Docker desktop을 설치하면서 겪은 오류와 어떻게 해결했는지 남기고 같은 오류를 겪는 사람들을 위해 조금이라도 도움이 되었으면 하는 마음으로 글을 작성한다. Docker toolbox는 dduniverse.tistory.com 설치된 도커는 docker -v 명령어를 통해 버전을 확인할 수 있다. 장고 프로젝트를 진행하면서 설치했던 모든 라이브러리들은 가상환경에 저장되어 있다. 이 모든 것들을 ..

로렘 입숨(Lorem Ipsum)이 더미 텍스트를 생성해 준다면 로렘 픽숨(Lorem Picsum)은 더미 이미지를 생성해준다. 이미지 영역에 더미 이미지를 넣어 이해하기 쉬워지고, 빈 공간 대신 사용자가 요청하는 규격에 맞는 이미지를 제공해 준다. Lorem Picsum Lorem Ipsum... but for photos picsum.photos 위 사이트에 들어가면 https://picsum.photos/ 와 같은 URL들이 보일 것이다. 이 URL을 활용하여 픽셀을 부여해 크기에 맞는 이미지를 얻어오거나, 흑백 이미지 등을 가져올 수 있다. 먼저, 원하는 가로 세로 규격이 있으면 https://picsum.photos/(가로)/(세로)처럼 크기를 지정해 주면 된다. https://picsum.ph..

로렘 입숨(Lorem Ipsum)은 출판이나 그래픽 디자인 분야에서 폰트, 타이포그래피, 레이아웃 같은 그래픽 요소나 시각적 연출을 보여줄 때 사용하는 자리 표시자이다. 최종 결과물에 들어가는 실제적인 내용이 채워지기 전 텍스트 위치 또는 기능 테스트 용으로 실질적인 의미가 없는 글이다. 즉, 얼핏 보면 그럴싸하지만 막상 읽으려고 하면 아무런 의미도 없는 글을 무작위로 생성해 주는 도구이다. 영문판 로렘 입숨은 아래 사이트에서 볼 수 있다. Lorem Ipsum - All the facts - Lipsum generator What is Lorem Ipsum? Lorem Ipsum is simply dummy text of the printing and typesetting industry. Lorem ..