전체 글 (54) 썸네일형 리스트형 [crawling] 네이버 블로그 및 여러 웹사이트 크롤링 class CRAW_ETC: def __init__(self): self.site_specific_classes = { 'naver.com': [ 'se-main-container', # 네이버 블로그 'se_component_wrap', 'se-component-content', 'article_viewer', # 네이버 카페 'article_view', 'entryDetailView' # 네이버 지식백과 ], 'namu.wiki': [ .. [crawling] selenium으로 크롤링 from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.chrome.options import Optionsfrom bs4 import BeautifulSoupimport timeurl = 'https://brunch.co.kr/@alex267/270'# Selenium 설정chrome_options = Options()chrome_options.add_argument("--headless") # 백그라운드 실행chrome_options.add_argument("--no-sandbox")chrome_options.add_argument("--disable-dev-shm.. 브라우저 탭 이름 가져오기 selenium 활용 (리눅스) from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.chrome.options import Optionsimport time# ChromeDriver 경로 설정driver_path = '/project/work/test_api/chromedriver-linux64/chromedriver'# Chrome 옵션 설정chrome_options = Options()chrome_options.add_argument("--headless") # 브라우저를 백그라운드에서 실행 (옵션)chrome_options.add_argument("--no-sandbox")chrome_opt.. 이전 1 2 3 4 ··· 18 다음