데이터시럽

from selenium import webdriver from tqdm import tqdm_notebook from urllib.request import urlopen, Request import pandas as pd import matplotlib_hangle import time import numpy as np import googlemaps EDA 웹크롤링 (3월 11일) - 주유소 데이터 불러와서 데이터 프레임으로 정리 url = "https://www.opinet.co.kr/searRgSelect.do" 서울 -> 각 구를 번갈아 선택 웹크롤링을 통해서 데이터를 갖고와야 함 부가데이터(세차장, 충전소, 경정비, 편의점, 24시간 운영) 유무에 대한 데이터도 포함해서 가져와야 함 pada..

Naver API 네이버 개발자 센터 https://developers.naver.com/main/ Application 어플리케이션 등록 어플리케이션 이름 ds_study 사용 API 검색 데이터랩(검색어트렌드) 데이터랩(쇼핑인사이트) 환경추가 WEB 설정 http://localhost Clienct ID: H2_6lcavpVyHW8211rUq Clienct Secret: D1XBjnKTe9 https://developers.naver.com/apps/#/myapps/H2_6lcavpVyHW8211rUq/overview 애플리케이션 - NAVER Developers developers.naver.com 2. 네이버 검색 API 사용하기 https://developers.naver.com/docs/ser..

Naver Movie Ranking 1. 네이버 영화 평점 사이트 분석 https://movie.naver.com/ 영화랭킹 탭 이동 영화랭킹에서 평점순(현재상영영화) 선택 https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=cur&date=20210914 웹 페이지 주소에는 많은 정보가 담겨있습니다. 원하는 정보를 얻기 위해서 변화시켜줘야 하는 주소의 규칙을 찾을 수 있습니다. 여기에서는 날짜 정보를 변경해주면 해당 페이지에 접근이 가능합니다. # requirements import pandas as pd from urllib.request import urlopen from bs4 import BeautifulSoup In [3]: url = "http..

- 서울 스타벅스, 이디야 매장데이터를 가지고 옴 - 각각 매장이름, 주소, 구 이름을 판다스로 저장함 패키지 갖고오기 import time import pandas as pd import seaborn as sns import numpy as np import matplotlib.pyplot as plt import seaborn as sns import numpy as np import matplotlib.pyplot as plt import seaborn as sns from tqdm import tqdm_notebook from selenium import webdriver from bs4 import BeautifulSoup from matplotlib import rc from tqdm imp..

거주하고 있는 고양시의 GS25 매장들을 크롤링 하고자 한다. 매장이름, 주소, 기능을 갖고옴 목표 - 페이지 접속과 페이지의 각 요소의 html 속성을 확인 - 1페이지의 각 요소를 갖고와서 저장하기 url : http://gs25.gsretail.com/gscvs/ko/store-services/locations GS25 일상생활의 중심, 하루의 시작 Lifestyle Platform GS25 gs25.gsretail.com - 특히 3번의 기능 을 갖고오는데 많은 고민을 했다. 일단 리스트 형태로 갖고오는것을 목표로 함 1. 필요 패키지 설치 # 필요 패키지 설치 from selenium import webdriver from webdriver_manager.chrome import ChromeDr..