조수현님의 블로그

오늘 팀 회의를 했는데 우리 LLM 과제 뭐할거냐고 하다가 최적의 프롬프트 생성기를 만들기로 했다.그리고 내가 맡은 것은 데이터 수집이었다.그래서 하나하나 복사 붙여넣기를 하자니 너무 싫어서 Selenium을 사용법을 찾아보았다일단 이거 다 설치해야함셀레니움 설치 : pip install selenium구글 드라이버 설치 : brew install --cask chromedriver웹드라이버 매니저 설치 : pip3 install webdriver_manager1️⃣ Selenium을 활용한 웹 크롤링 기본 개념Selenium을 사용하면 웹사이트를 자동으로 탐색하고 데이터를 추출할 수 있음.React 기반 사이트는 JavaScript로 데이터를 로드하기 때문에 일반적인 BeautifulSoup 크롤링이 ..