14. Python Selenium으로 브라우저 자동화하기 — 동적 웹 페이지 크롤링 완벽 가이드

처음에는 requests와 BeautifulSoup 조합만으로도 웬만한 페이지는 다 긁어올 수 있어서 크롤링이 정말 쉽다고 생각했어요. 그러다 어느 날, 평소처럼 코드를 돌렸는데 아무리 해도 빈 화면이나 에러 메시지만 출력되더라고요. 브라우저 창에는 뻔히 보이는 데이터가 왜 안 가져와지나 한참을 헤맸죠. 알고 보니 그 사이트가 리액트로 전면 개편되면서 데이터를 JavaScript로 동적 로딩하게 바뀐 거였습니다. 서버에서 받아온 초기 HTML에는 정말로 아무것도 없었던 거죠. 그때 처음으로 화면을 직접 제어해야겠다는 필요성을 느끼고 Selenium을 공부하기 시작했습니다.

이 글에서는 Selenium이 정확히 어떤 상황에서 필요한지, 설치와 기본 설정 방법, 브라우저를 코드로 제어하는 핵심 명령어, 그리고 실전 자동화 예제까지 단계별로 안내해 드리겠습니다.


Selenium이 필요한 이유 — requests가 못 하는 것

이전 글에서 배운 requests + BeautifulSoup 조합은 서버가 HTML을 통째로 내려주는 정적 페이지에서는 잘 동작합니다. 하지만 현대 웹사이트의 상당수는 다릅니다.

페이지를 열면 처음엔 빈 화면이었다가, JavaScript가 실행되면서 데이터가 채워지는 방식입니다. 로그인 후에만 보이는 페이지, 스크롤을 내려야 나타나는 콘텐츠, 버튼을 클릭해야 펼쳐지는 메뉴 — 이 모든 것이 requests로는 가져올 수 없습니다. HTML을 요청하는 순간엔 아직 데이터가 없기 때문입니다.

비유하자면 이렇습니다. requests는 식당에 전화로 메뉴판을 팩스로 보내달라고 요청하는 것입니다. Selenium은 직접 식당에 찾아가서 자리에 앉고, 메뉴를 펼치고, 음식을 주문하는 것입니다. 실제 손님처럼 브라우저를 조작하기 때문에 JavaScript가 실행된 이후의 완성된 페이지를 그대로 가져올 수 있습니다.

Selenium이 적합한 상황

  • 로그인이 필요한 페이지의 데이터 수집
  • JavaScript로 동적 로딩되는 콘텐츠 (무한 스크롤, 탭 전환 등)
  • 버튼 클릭, 드롭다운 선택 등 사용자 인터랙션이 필요한 경우
  • 웹 기반 반복 업무 자동화 (폼 제출, 파일 다운로드 등)

Selenium 설치 및 환경 설정

라이브러리 설치

pip install selenium

WebDriver 이해하기 — Selenium의 핵심 개념

Selenium은 Python 코드의 명령을 받아 실제 브라우저를 제어합니다. 이때 Python과 브라우저 사이의 통역사 역할을 하는 것이 WebDriver입니다.

과거에는 브라우저 버전에 맞는 WebDriver 파일을 직접 다운로드해서 경로 설정까지 해야 했습니다. 이 과정이 초보자에게 가장 큰 진입 장벽이었습니다. 지금은 selenium 4.6 이상부터 WebDriver Manager가 내장되어 이 과정이 자동화됩니다.

# selenium 최신 버전이면 별도 설치 불필요
pip install selenium --upgrade


브라우저 실행하기 — 첫 번째 자동화

Chrome 브라우저 열기

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 기본 실행 (브라우저 창이 실제로 열림)
driver = webdriver.Chrome()

# 특정 페이지 열기
driver.get("https://www.google.com")

print(f"현재 페이지 제목: {driver.title}")

# 브라우저 종료
driver.quit()

실행하면 Chrome 창이 자동으로 열리고 구글 홈페이지로 이동합니다. 마치 누군가 키보드 없이 마우스만으로 브라우저를 조작하는 것처럼 보입니다.


Headless 모드 — 창 없이 백그라운드 실행

서버나 자동화 배치 작업에서는 브라우저 창이 불필요합니다. Headless 모드를 사용하면 화면 없이 백그라운드에서 동작합니다.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("--headless")          # 창 없이 실행
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")

driver = webdriver.Chrome(options=options)
driver.get("https://www.google.com")
print(driver.title)
driver.quit()

핵심 명령어 — 페이지 요소 찾고 조작하기

Selenium에서 가장 많이 쓰는 작업은 요소를 찾고(find) → 조작하는(action) 두 단계입니다.

요소 찾기 — find_element

from selenium.webdriver.common.by import By

# ID로 찾기
element = driver.find_element(By.ID, "username")

# CSS 선택자로 찾기 (가장 범용적)
element = driver.find_element(By.CSS_SELECTOR, "input.search-box")

# XPath로 찾기 (복잡한 구조에서 유용)
element = driver.find_element(By.XPATH, "//button[@type='submit']")

# 여러 요소를 리스트로 찾기
elements = driver.find_elements(By.CSS_SELECTOR, "li.item")

💡 어떤 선택자를 써야 할까: ID가 있으면 By.ID가 가장 빠릅니다. 없다면 By.CSS_SELECTOR를 기본으로 사용하고, CSS로 접근이 어려운 복잡한 구조에서만 By.XPATH를 사용하는 것을 권장합니다.

요소 조작하기 — 클릭, 입력, 텍스트 읽기

# 텍스트 입력
input_box = driver.find_element(By.NAME, "q")
input_box.send_keys("Python 자동화")

# 버튼 클릭
button = driver.find_element(By.CSS_SELECTOR, "button[type='submit']")
button.click()

# 텍스트 읽기
heading = driver.find_element(By.TAG_NAME, "h1")
print(heading.text)

# 속성값 읽기
link = driver.find_element(By.CSS_SELECTOR, "a.result-link")
print(link.get_attribute("href"))


대기(Wait) 처리 — 가장 중요한 개념

Selenium 초보자가 가장 많이 겪는 오류가 NoSuchElementException입니다. 코드가 너무 빠르게 실행되어, 브라우저가 페이지를 아직 다 불러오기 전에 요소를 찾으려 해서 발생하는 오류입니다.

비유하자면, 택배가 아직 도착하지 않았는데 문을 열어보는 것과 같습니다. 기다리는 로직이 반드시 필요합니다.

명시적 대기 (권장) — WebDriverWait

특정 요소가 나타날 때까지 최대 N초 동안 기다리는 방식입니다. 가장 안정적이고 실무에서 권장되는 방법입니다.

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

wait = WebDriverWait(driver, 10)  # 최대 10초 대기

# 요소가 나타날 때까지 대기 후 클릭
element = wait.until(
    EC.presence_of_element_located((By.CSS_SELECTOR, ".result-item"))
)
print(element.text)

암묵적 대기 (간단한 경우)

driver.implicitly_wait(10)  # 모든 find 요청에 최대 10초 대기 적용

⚠️ 명시적 대기와 암묵적 대기를 혼용하면 예측하기 어려운 오류가 발생합니다. 하나만 선택해서 일관되게 사용하십시오.

실전 예제 1 — 구글 검색 자동화

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

driver = webdriver.Chrome()
driver.get("https://www.google.com")

wait = WebDriverWait(driver, 10)

# 검색창 찾아서 키워드 입력
search_box = wait.until(
    EC.presence_of_element_located((By.NAME, "q"))
)
search_box.send_keys("Python 웹 자동화")
search_box.send_keys(Keys.RETURN)  # 엔터키

# 결과 로딩 대기
time.sleep(2)

# 검색 결과 제목 수집
results = driver.find_elements(By.CSS_SELECTOR, "h3")
for idx, result in enumerate(results[:5], 1):
    print(f"{idx}. {result.text}")

driver.quit()


실전 예제 2 — 스크롤 내려 동적 콘텐츠 로딩

무한 스크롤 페이지에서 콘텐츠를 수집할 때 사용하는 패턴입니다.

import time

driver.get("https://example-infinite-scroll.com")

# 3번 스크롤 내리기
for _ in range(3):
    # 페이지 맨 아래로 스크롤
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(2)  # 콘텐츠 로딩 대기

# 스크롤 후 로딩된 요소 수집
items = driver.find_elements(By.CSS_SELECTOR, ".feed-item")
print(f"수집된 항목 수: {len(items)}")

실전 예제 3 — 로그인 자동화

from selenium import webdriver
from selenium.webdriver.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://example.com/login")

wait = WebDriverWait(driver, 10)

# 아이디 입력
id_field = wait.until(EC.presence_of_element_located((By.ID, "username")))
id_field.send_keys("my_username")

# 비밀번호 입력
pw_field = driver.find_element(By.ID, "password")
pw_field.send_keys("my_password")

# 로그인 버튼 클릭
login_btn = driver.find_element(By.CSS_SELECTOR, "button[type='submit']")
login_btn.click()

# 로그인 후 페이지 확인
wait.until(EC.url_contains("/dashboard"))
print(f"로그인 성공. 현재 URL: {driver.current_url}")

⚠️ 주의: 계정 정보를 코드에 직접 하드코딩하지 마십시오. .env 파일이나 환경 변수로 관리하는 것을 권장합니다.

자주 발생하는 오류와 해결법

오류 1 — NoSuchElementException

원인: 요소가 아직 로딩되지 않았거나 선택자가 잘못됨
해결: WebDriverWait으로 명시적 대기 추가, 브라우저 개발자도구(F12)로 선택자 재확인

오류 2 — StaleElementReferenceException

원인: 페이지가 새로 고침되거나 DOM이 변경된 후 기존에 찾은 요소를 다시 사용
해결: 요소를 사용 직전에 다시 find_element()로 재탐색

오류 3 — WebDriverException: Chrome not reachable

원인: Chrome 버전과 ChromeDriver 버전 불일치
해결: pip install --upgrade selenium으로 최신 버전 업그레이드. Selenium 4.6 이상은 자동으로 호환 드라이버를 설치합니다.

오류 4 — 요소는 있는데 클릭이 안 되는 경우

원인: 요소가 화면 밖에 있거나 다른 요소에 가려진 경우
해결: JavaScript로 스크롤 후 클릭

driver.execute_script("arguments[0].scrollIntoView();", element)
element.click()

마무리 — 핵심 요약

✅ Python Selenium 자동화 체크리스트

  1. JavaScript 동적 로딩 페이지에는 Selenium을 사용합니다
  2. webdriver.Chrome()으로 브라우저를 실행합니다
  3. 요소는 By.CSS_SELECTOR를 기본 선택자로 사용합니다
  4. WebDriverWait으로 명시적 대기를 반드시 적용합니다 — time.sleep()만 의존하면 불안정합니다
  5. 작업 완료 후 driver.quit()으로 브라우저를 종료합니다
  6. 계정 정보는 코드에 직접 쓰지 않고 환경 변수로 관리합니다

다음으로 알아두면 좋은 것

Selenium에 익숙해졌다면 Playwright를 살펴보시길 권장합니다. Microsoft가 만든 Playwright는 Selenium보다 속도가 빠르고, 비동기 처리를 기본 지원하며, 특히 최신 SPA(Single Page Application) 환경에서 더 안정적으로 작동합니다. 두 도구를 모두 다룰 수 있으면 어떤 웹 자동화 상황에서도 적절한 도구를 선택할 수 있게 됩니다.


댓글

댓글 쓰기

이 블로그의 인기 게시물

1.Python 설치부터 실행까지 10분 만에 끝내기 — 초보자도 바로 따라 하는 완벽 가이드

이미지
프로그래밍을 처음 시작하기로 결심한 날, 많은 분들이 유튜브를 켜고 이렇게 검색합니다. "파이썬 설치 방법." 영상을 따라가다 보면 어느 순간 화면 속 강사의 컴퓨터와 내 컴퓨터가 달라지기 시작합니다. "명령어를 찾을 수 없습니다", "PATH가 설정되지 않았습니다" 같은 오류 메시지가 등장하고, 결국 설치도 못 한 채 탭을 닫아버리게 됩니다. 이 글은 바로 그 지점을 해결하기 위해 쓰였습니다. 설치 과정에서 실제로 막히는 이유, 놓치기 쉬운 체크박스 한 칸의 의미, 그리고 첫 코드를 실행하는 순간까지 — 군더더기 없이 안내해 드리겠습니다. 저도 처음 설치때 1시간을 소비 했습니다.이제 해매지 마세요~!!  Python이 실제로 하는 일 — 번역가 비유로 이해하기 Python을 설치하기 전에, Python이 무엇인지 정확히 이해하면 이후 과정이 훨씬 자연스러워집니다. 컴퓨터는 본래 0과 1, 즉 기계어만 이해합니다. 사람이 "파일을 열어줘"라고 말해도 컴퓨터는 알아듣지 못합니다. Python은 바로 이 간극을 메우는 번역가 역할을 합니다. 우리가 사람에게 말하듯 작성한 코드를 컴퓨터가 이해할 수 있는 언어로 변환해 주는 것입니다. 여기서 핵심이 있습니다. 번역가가 없으면 대화가 불가능합니다. Python을 설치한다는 것은 곧 이 번역가를 내 컴퓨터에 고용하는 일입니다. 설치가 완료된 순간부터 여러분의 컴퓨터는 Python이라는 언어를 이해하기 시작합니다. Python을 선택해야 하는 이유 문법이 자연어에 가깝습니다 — if 날씨 == "맑음": 나가기() 처럼, 코드가 한국어 문장 구조와 유사합니다. 범용성이 압도적입니다 — 데이터 분석, 웹 개발, 자동화, AI 모델 구축까지 하나의 언어로 가능합니다. 생태계가 방대합니다 — 전 세계 개발자들이 만든 50만 개 이상의 라이브러리가 무료로 제공됩니다. 취업 시장에서 가장 수요가 높습니다 ...
자세한 내용 보기

30.Python pyautogui로 마우스와 키보드 자동화하기: VSCode 실전 가이드

이미지
 저도 처음에 PATH에서 막혔는데, 매일 반복되는 사내 시스템 클릭 작업을 자동화해보려고 pyautogui 를 설치했지만 VSCode에서 실행할 때마다 "No module named 'pyautogui'"라는 오류만 계속 나왔던 기억이 있습니다. 분명 터미널에서는 설치가 잘 됐다고 나왔는데, 알고 보니 VSCode가 바라보고 있던 Python 인터프리터 경로와 제가 패키지를 설치한 경로가 서로 달랐던 것이 원인이었습니다. 인터프리터를 올바르게 맞춰주고 나서야 마우스가 제 손을 대신해 화면을 클릭하고 키보드를 두드리는 신기한 광경을 볼 수 있었습니다. 이번 글에서는 그때의 시행착오를 바탕으로, VSCode 환경에서 Python pyautogui를 활용해 마우스와 키보드를 자동화하는 방법을 정리해보려 합니다. pyautogui란 무엇인가 마우스와 키보드를 코드로 제어하는 라이브러리 pyautogui 는 Python 코드로 마우스 움직임과 클릭, 키보드 입력을 프로그래밍적으로 제어할 수 있게 해주는 GUI 자동화 라이브러리입니다. 웹 브라우저나 애플리케이션 내부 요소를 직접 다루는 Selenium과 달리, pyautogui는 화면 좌표와 픽셀을 기준으로 동작하기 때문에 특정 프로그램에 국한되지 않고 컴퓨터 화면에서 벌어지는 거의 모든 작업을 자동화할 수 있습니다. 비유하자면 pyautogui는 마치 컴퓨터 앞에 보이지 않는 손 하나를 앉혀두는 것과 같습니다. 이 손은 사람이 시키는 대로 정확한 좌표를 클릭하고, 정해진 문장을 타이핑하며, 화면 속 특정 이미지를 찾아내기까지 하는데, 사람과 다른 점은 지치지 않고 똑같은 작업을 몇 번이고 정확하게 반복한다는 것입니다. pyautogui가 유용한 대표적인 상황 반복적인 클릭 작업이 많은 사내 시스템 업무 자동화 특정 시간마다 실행해야 하는 프로그램 작업 자동화 게임이나 소프트웨어 테스트 시 반복 입력 시뮬레이션 화면 캡처와 이미지 인식을 결합한 자동 작업 흐름 구성 매크로 프로그램을 대...
자세한 내용 보기

29.Python subprocess로 외부 명령어 실행하기: VSCode 실전 활용법

이미지
저도 처음에는 회사에서 매일 반복하던 번거로운 서버 배포 작업을 자동화해 보려고, 파이썬 스크립트 안에 깃( git ) 명령어를 넣어 실행하는 코드를 짰던 것이 시작이었습니다. 분명 내 터미널에 직접 입력할 때는 잘만 되던 명령어가, 파이썬 코드로 실행하니 자꾸 FileNotFoundError 만 뱉어내서 도대체 뭐가 문제인지 몇 시간이나 소스 코드 이 줄 저 줄을 뜯어고치며 밤새 삽질을 했습니다. 알고 보니 코드가 아니라 VS Code가 명령 프로그램의 위치를 찾지 못하는 'PATH 환경변수' 문제였죠. 실행 경로를 명시해 주자마자 스크립트가 배포 작업을 알아서 척척 단 5초 만에 끝내는 걸 보고 , 저는 이 파이썬 자동화의 강력함에 완전히 매료되었습니다. 이번 글에서는 그때의 시행착오를 바탕으로 subprocess 를 활용해 외부 명령어를 안전하게 제어하는 방법을 정리해 보겠습니다. Python 코드 안에서 터미널 명령어를 직접 실행하고 싶었던 적이 있으신가요? 예를 들어 git , ffmpeg , curl 같은 외부 프로그램을 Python 스크립트 안에서 자동으로 호출하고 그 결과를 받아와야 하는 경우가 생각보다 자주 발생합니다. 이럴 때 필요한 것이 바로 subprocess 모듈이며, 이를 활용하면 Python이 마치 터미널을 대신 조작하는 것처럼 외부 프로그램을 자유자재로 실행할 수 있습니다. 이번 글에서는 VSCode 환경에서 Python subprocess를 활용해 외부 명령어를 실행하고 결과를 처리하는 방법을 실전 예제와 함께 정리해보겠습니다. subprocess란 무엇인가 Python에서 외부 프로세스를 실행하는 표준 모듈 subprocess 는 Python 표준 라이브러리에 내장된 모듈로, Python 코드 안에서 운영체제의 명령어나 다른 프로그램을 새로운 프로세스로 실행할 수 있게 해줍니다. 쉽게 말해 여러분이 평소 터미널에 직접 타이핑하던 명령어를, Python 코드가 대신 입력해주고 그 결과까지 받아와주는 것이...
자세한 내용 보기