Python/크롤링(Crawling) 썸네일형 리스트형 스타벅스 크롤링하기 + 차트 시각화 *이 글을 읽기전에 작성자 개인의견이 있으니, 다른 블로그와 교차로 읽는것을 권장합니다.*1. 스타벅스 크롤링커피전문점 중 스타벅스 브랜드의 매장위치를 크롤링한 후, 여러 차트를 뽑아내어 mongoDB에 데이터를 넣는 토이프로젝트를 해보았다.모듈설치 !pip install selenium webdriver-manager!pip install selenium!pip install chromedriver_autoinstaller!pip install foliumfrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysimport seaborn as sn.. 더보기 파이썬(4)-pixabay *이 글을 읽기전에 작성자 개인의견이 있으니, 다른 블로그와 교차로 읽는것을 권장합니다.*1. 특정 키워드를 검색해서 화면이 나오면 이미지 선택하기!pip install selenium!pip install chromedriver_autoinstaller import chromedriver_autoinstallerimport timefrom selenium import webdriverfrom urllib.request import Request, urlopendriver = webdriver.Chrome()def search(word): url = 'https://pixabay.com/ko/images/search/' + word driver.get(url)search('winter')ima.. 더보기 파이썬(3)-인스타그램으로 크롤링 *이 글을 읽기전에 작성자 개인의견이 있으니, 다른 블로그와 교차로 읽는것을 권장합니다.*1. 로그인!pip install selenium!pip install chromedriver_autoinstallerfrom selenium import webdriverfrom selenium.webdriver.common.keys import Keysdriver = webdriver.Chrome()url = 'https://www.instagram.com'driver.get(url)id= '인스타그램 아이디'pw= '인스타그램 비밀번호'input_id = driver.find_element('xpath', '/html/body/div[2]/div/div/div[2]/div/div/div[1]/section/ma.. 더보기 파이썬(2)-Selenium, 동적사이트 크롤링 *이 글을 읽기전에 작성자 개인의견이 있으니, 다른 블로그와 교차로 읽는것을 권장합니다.*1. Selenium셀레니움은 브라우저를 컨트롤할 수 있도록 지원하는 라이브러리입니다.정적사이트일 경우, BeautifulSoup로 requests하여 크롤링할 수 있지만, 동적사이트일 경우에는 사이트 접근이 막힙니다. 따라서, 동적사이트일 경우 Selenium을 사용하여 사이트에 접근합니다.!pip install selenium!pip install chromedriver_autoinstallerfrom selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom bs4 import BeautifulSoupdriver = webdriver.. 더보기 파이썬(1)-Crawling, Scraping *이 글을 읽기전에 작성자 개인의견이 있으니, 다른 블로그와 교차로 읽는것을 권장합니다.*1. 크롤링과 스크랩핑크롤링(Crawling): 인터넷의 데이터를 활용하기 위해 정보들을 분석하고 활용할 수 있도록 수집하는 행위스크랩핑(Scraping): 크롤링 + 데이터를 추출하고 가공하는 행위, 다만 법적인 판단에 의거해서 저작권 허용이 가능한 것만.2. request, BeautifulSoup 모듈 // requests 모듈: http 요청을 위해 사용하는 모듈, 파이썬에서 router요청방식(미들웨어)를 사용할 때,// 매개체로 사용하는 메서드입니다.import requests// BeautifulSoup 모듈: 웹 브라우저에서 구문 분석(parsing) 및 scraping에 활용하는데 필요한 모듈 fro.. 더보기 이전 1 다음
