6. Python으로 CSV 파일 다루기 — 읽기, 쓰기, pandas까지 완벽 정리


처음 엑셀 데이터를 다룰 때 어떤 라이브러리를 선택해야 할지 몰라 헤맸던 적이 있습니다. 결국 CSV 형식 하나면 대부분의 데이터 작업이 해결된다는 사실을 한참이 지나서야 깨달았습니다



이 글에서는 CSV가 무엇인지부터, Python 기본 csv 모듈로 읽고 쓰는 방법, 실무에서 훨씬 많이 쓰이는 pandas를 활용한 데이터 처리, 그리고 자주 발생하는 오류 해결까지 — 단계적으로 안내해 드리겠습니다.

CSV란 무엇인가 — 엑셀보다 단순하고, 그래서 더 강력한 형식

CSV는 Comma-Separated Values의 약자로, 쉼표로 데이터를 구분한 텍스트 파일입니다. 엑셀처럼 화려한 서식은 없지만, 그 단순함이 오히려 가장 큰 강점입니다.

비유하자면 CSV는 줄 노트와 같습니다. 엑셀이 색깔, 테두리, 수식까지 갖춘 양식지라면, CSV는 칸만 구분된 단순한 줄 노트입니다. 꾸밈은 없지만 어디서든 열 수 있고, 프로그램끼리 데이터를 주고받을 때 가장 널리 쓰이는 형식입니다.

실제로 CSV 파일을 메모장으로 열면 아래처럼 보입니다.

이름,나이,직업
김현욱,35,개발자
이하늘,28,디자이너
박지수,31,기획자

엑셀로 열면 이 쉼표들이 자동으로 셀 구분선으로 변환되어 표 형태로 표시됩니다. Python은 이 파일을 직접 읽어서 원하는 방식으로 처리할 수 있습니다.

CSV를 배워야 하는 이유

  • 범용성이 압도적입니다 — 엑셀, 구글 스프레드시트, 데이터베이스 모두 CSV 내보내기를 지원합니다.
  • 용량이 작습니다 — 서식 정보가 없어 동일한 데이터라도 엑셀보다 파일 크기가 훨씬 작습니다.
  • 자동화에 가장 적합합니다 — 매일 쌓이는 데이터를 Python으로 자동 처리할 때 CSV가 사실상 표준입니다.
  • 별도 라이브러리 없이 바로 사용 가능합니다 — Python 기본 모듈만으로도 충분히 다룰 수 있습니다.

csv 모듈로 CSV 파일 다루기 — 설치 없이 바로 시작

Python에는 CSV 처리를 위한 csv 모듈이 기본으로 내장되어 있습니다. pip 설치 없이 바로 사용할 수 있습니다.

CSV 파일 쓰기

VS Code에서 새 파일을 만들고 아래 코드를 작성합니다.

import csv

# 저장할 데이터 준비
data = [
    ["이름", "나이", "직업"],
    ["김현욱", 35, "개발자"],
    ["이하늘", 28, "디자이너"],
    ["박지수", 31, "기획자"],
]

with open("members.csv", "w", encoding="utf-8-sig", newline="") as file:
    writer = csv.writer(file)
    writer.writerows(data)

print("CSV 파일이 생성되었습니다.")

⚠️ utf-8-sig vs utf-8: 한글이 포함된 CSV를 Windows 엑셀에서 바로 열 경우, utf-8 인코딩으로 저장하면 한글이 깨집니다. 엑셀 호환이 필요하다면 반드시 utf-8-sig를 사용하십시오.

⚠️ newline="": Windows 환경에서 이 옵션을 빠뜨리면 행과 행 사이에 빈 줄이 한 칸씩 추가됩니다. CSV 쓰기 시에는 항상 포함하십시오.



CSV 파일 읽기

import csv

with open("members.csv", "r", encoding="utf-8-sig") as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)

실행 결과:

['이름', '나이', '직업']
['김현욱', '35', '개발자']
['이하늘', '28', '디자이너']
['박지수', '31', '기획자']

💡 주의: CSV에서 읽어온 숫자는 모두 문자열(str) 로 처리됩니다. 나이를 숫자로 사용하고 싶다면 int(row[1]) 처럼 형변환이 필요합니다.

DictReader — 컬럼명으로 데이터 접근하기

행 번호 대신 컬럼 이름으로 데이터를 다루면 코드가 훨씬 직관적입니다.

import csv

with open("members.csv", "r", encoding="utf-8-sig") as file:
    reader = csv.DictReader(file)
    for row in reader:
        print(f"이름: {row['이름']}, 직업: {row['직업']}")

실행 결과:

이름: 김현욱, 직업: 개발자
이름: 이하늘, 직업: 디자이너
이름: 박지수, 직업: 기획자



pandas로 CSV 다루기 — 실무 수준의 데이터 처리

csv 모듈이 기본기라면, pandas는 실무에서 데이터를 본격적으로 다룰 때 사용하는 도구입니다. 수백만 행의 데이터도 몇 줄의 코드로 처리할 수 있고, 필터링·정렬·집계 등 엑셀에서 하던 작업 대부분을 코드로 자동화할 수 있습니다.

pandas 설치하기

가상환경이 활성화된 상태에서 설치합니다.

pip install pandas

CSV 파일 읽기 — read_csv()

import pandas as pd

df = pd.read_csv("members.csv", encoding="utf-8-sig")
print(df)

실행 결과:

   이름  나이   직업
0  김현욱  35  개발자
1  이하늘  28  디자이너
2  박지수  31   기획자

한 줄로 CSV를 읽어 표 형태(DataFrame)로 만들어줍니다. 이 df 변수 하나로 이후 모든 데이터 처리를 수행합니다.

업로드 중: 총 18363바이트 중 18363바이트가 업로드되었습니다.


자주 쓰는 pandas 기본 조작

import pandas as pd

df = pd.read_csv("members.csv", encoding="utf-8-sig")

# 상위 몇 행만 확인
print(df.head(2))

# 특정 컬럼만 선택
print(df["이름"])

# 조건으로 필터링 — 나이가 30 이상인 행만
print(df[df["나이"] >= 30])

# 나이 기준으로 정렬
print(df.sort_values("나이", ascending=False))

# 기본 통계 확인
print(df.describe())

CSV 파일로 저장하기 — to_csv()

pandas로 처리한 데이터를 다시 CSV로 저장합니다.

# 인덱스 번호 없이 저장
df.to_csv("members_sorted.csv", index=False, encoding="utf-8-sig")

💡 index=False: 이 옵션을 빠뜨리면 0, 1, 2 같은 행 번호가 첫 번째 열로 함께 저장됩니다. 대부분의 경우 필요 없으므로 항상 index=False를 추가하는 것을 권장합니다.



실전 예제 — 매출 데이터 자동 집계하기

이론에서 벗어나, 실무에서 바로 쓸 수 있는 예제를 하나 살펴보겠습니다. 매일 쌓이는 매출 CSV 파일을 읽어서 담당자별 합계를 자동으로 계산하는 코드입니다.

먼저 아래 내용으로 sales.csv 파일을 만들겠습니다.

담당자,상품,금액
김현욱,노트북,1200000
이하늘,마우스,35000
김현욱,모니터,450000
박지수,키보드,85000
이하늘,웹캠,120000
박지수,마우스,35000

import pandas as pd

df = pd.read_csv("sales.csv", encoding="utf-8-sig")

# 담당자별 총 매출 합계
result = df.groupby("담당자")["금액"].sum().reset_index()
result.columns = ["담당자", "총매출"]
result = result.sort_values("총매출", ascending=False)

print(result)
result.to_csv("sales_summary.csv", index=False, encoding="utf-8-sig")
print("집계 완료. sales_summary.csv에 저장되었습니다.")

실행 결과:

  담당자     총매출
0  김현욱  1650000
1  이하늘   155000
2  박지수   120000

엑셀에서 피벗 테이블을 만들던 작업을 코드 다섯 줄로 해결했습니다. 파일 이름만 바꾸면 내일도, 다음 달도 같은 코드로 동일한 집계를 자동으로 처리할 수 있습니다.



자주 발생하는 오류와 해결법

오류 1 — 한글이 깨져서 출력되는 경우

원인: 인코딩 불일치
해결: 파일 저장 시 utf-8-sig, 읽기 시도 시 cp949 또는 euc-kr을 시도

# 인코딩을 모를 때 chardet 라이브러리로 자동 감지
pip install chardet

import chardet

with open("unknown.csv", "rb") as f:
    result = chardet.detect(f.read())
    print(result["encoding"])

오류 2 — pandas로 읽었더니 숫자 컬럼이 object(문자열)로 인식되는 경우

원인: 숫자 사이에 쉼표(1,000)나 공백이 포함된 경우
해결: 읽은 후 변환 처리

df["금액"] = df["금액"].str.replace(",", "").astype(int)

오류 3 — FileNotFoundError — 파일을 찾을 수 없는 경우

원인: 작업 디렉토리와 파일 위치 불일치 (이전 파일 입출력 편에서 상세히 다룬 내용)
해결: os.path.abspath(__file__) 기준으로 경로 설정

import os
base_dir = os.path.dirname(os.path.abspath(__file__))
file_path = os.path.join(base_dir, "members.csv")
df = pd.read_csv(file_path, encoding="utf-8-sig")

마무리 — 핵심 요약

✅ Python CSV 처리 체크리스트

  1. 한글 포함 CSV는 utf-8-sig 인코딩을 사용합니다 — 엑셀 호환 보장
  2. CSV 쓰기 시 newline=""을 항상 추가합니다 — 빈 줄 삽입 방지
  3. 단순 읽기/쓰기는 csv 모듈로 충분합니다 — 별도 설치 불필요
  4. 데이터 분석·가공이 필요하면 pandas를 사용합니다 — 필터링, 정렬, 집계 모두 가능
  5. 저장 시 index=False를 습관화합니다 — 불필요한 행 번호 컬럼 제거
  6. 경로 문제는 os.path 기반으로 해결합니다 — 작업 디렉토리에 의존하지 않음

다음으로 알아두면 좋은 것

CSV와 pandas에 익숙해졌다면, 다음 단계로 Excel 파일(.xlsx) 직접 처리(openpyxl), JSON 데이터 다루기, 또는 matplotlib으로 데이터를 그래프로 시각화하는 방향으로 학습을 이어가시길 권장합니다. 데이터를 읽고 가공하는 것에서 한 걸음 더 나아가 시각적으로 표현할 수 있게 되면, 단순한 자동화 스크립트를 넘어 실질적인 데이터 분석 도구를 직접 만들 수 있게 됩니다.


댓글

댓글 쓰기

이 블로그의 인기 게시물

1.Python 설치부터 실행까지 10분 만에 끝내기 — 초보자도 바로 따라 하는 완벽 가이드

이미지
프로그래밍을 처음 시작하기로 결심한 날, 많은 분들이 유튜브를 켜고 이렇게 검색합니다. "파이썬 설치 방법." 영상을 따라가다 보면 어느 순간 화면 속 강사의 컴퓨터와 내 컴퓨터가 달라지기 시작합니다. "명령어를 찾을 수 없습니다", "PATH가 설정되지 않았습니다" 같은 오류 메시지가 등장하고, 결국 설치도 못 한 채 탭을 닫아버리게 됩니다. 이 글은 바로 그 지점을 해결하기 위해 쓰였습니다. 설치 과정에서 실제로 막히는 이유, 놓치기 쉬운 체크박스 한 칸의 의미, 그리고 첫 코드를 실행하는 순간까지 — 군더더기 없이 안내해 드리겠습니다. 저도 처음 설치때 1시간을 소비 했습니다.이제 해매지 마세요~!!  Python이 실제로 하는 일 — 번역가 비유로 이해하기 Python을 설치하기 전에, Python이 무엇인지 정확히 이해하면 이후 과정이 훨씬 자연스러워집니다. 컴퓨터는 본래 0과 1, 즉 기계어만 이해합니다. 사람이 "파일을 열어줘"라고 말해도 컴퓨터는 알아듣지 못합니다. Python은 바로 이 간극을 메우는 번역가 역할을 합니다. 우리가 사람에게 말하듯 작성한 코드를 컴퓨터가 이해할 수 있는 언어로 변환해 주는 것입니다. 여기서 핵심이 있습니다. 번역가가 없으면 대화가 불가능합니다. Python을 설치한다는 것은 곧 이 번역가를 내 컴퓨터에 고용하는 일입니다. 설치가 완료된 순간부터 여러분의 컴퓨터는 Python이라는 언어를 이해하기 시작합니다. Python을 선택해야 하는 이유 문법이 자연어에 가깝습니다 — if 날씨 == "맑음": 나가기() 처럼, 코드가 한국어 문장 구조와 유사합니다. 범용성이 압도적입니다 — 데이터 분석, 웹 개발, 자동화, AI 모델 구축까지 하나의 언어로 가능합니다. 생태계가 방대합니다 — 전 세계 개발자들이 만든 50만 개 이상의 라이브러리가 무료로 제공됩니다. 취업 시장에서 가장 수요가 높습니다 ...
자세한 내용 보기

30.Python pyautogui로 마우스와 키보드 자동화하기: VSCode 실전 가이드

이미지
 저도 처음에 PATH에서 막혔는데, 매일 반복되는 사내 시스템 클릭 작업을 자동화해보려고 pyautogui 를 설치했지만 VSCode에서 실행할 때마다 "No module named 'pyautogui'"라는 오류만 계속 나왔던 기억이 있습니다. 분명 터미널에서는 설치가 잘 됐다고 나왔는데, 알고 보니 VSCode가 바라보고 있던 Python 인터프리터 경로와 제가 패키지를 설치한 경로가 서로 달랐던 것이 원인이었습니다. 인터프리터를 올바르게 맞춰주고 나서야 마우스가 제 손을 대신해 화면을 클릭하고 키보드를 두드리는 신기한 광경을 볼 수 있었습니다. 이번 글에서는 그때의 시행착오를 바탕으로, VSCode 환경에서 Python pyautogui를 활용해 마우스와 키보드를 자동화하는 방법을 정리해보려 합니다. pyautogui란 무엇인가 마우스와 키보드를 코드로 제어하는 라이브러리 pyautogui 는 Python 코드로 마우스 움직임과 클릭, 키보드 입력을 프로그래밍적으로 제어할 수 있게 해주는 GUI 자동화 라이브러리입니다. 웹 브라우저나 애플리케이션 내부 요소를 직접 다루는 Selenium과 달리, pyautogui는 화면 좌표와 픽셀을 기준으로 동작하기 때문에 특정 프로그램에 국한되지 않고 컴퓨터 화면에서 벌어지는 거의 모든 작업을 자동화할 수 있습니다. 비유하자면 pyautogui는 마치 컴퓨터 앞에 보이지 않는 손 하나를 앉혀두는 것과 같습니다. 이 손은 사람이 시키는 대로 정확한 좌표를 클릭하고, 정해진 문장을 타이핑하며, 화면 속 특정 이미지를 찾아내기까지 하는데, 사람과 다른 점은 지치지 않고 똑같은 작업을 몇 번이고 정확하게 반복한다는 것입니다. pyautogui가 유용한 대표적인 상황 반복적인 클릭 작업이 많은 사내 시스템 업무 자동화 특정 시간마다 실행해야 하는 프로그램 작업 자동화 게임이나 소프트웨어 테스트 시 반복 입력 시뮬레이션 화면 캡처와 이미지 인식을 결합한 자동 작업 흐름 구성 매크로 프로그램을 대...
자세한 내용 보기

29.Python subprocess로 외부 명령어 실행하기: VSCode 실전 활용법

이미지
저도 처음에는 회사에서 매일 반복하던 번거로운 서버 배포 작업을 자동화해 보려고, 파이썬 스크립트 안에 깃( git ) 명령어를 넣어 실행하는 코드를 짰던 것이 시작이었습니다. 분명 내 터미널에 직접 입력할 때는 잘만 되던 명령어가, 파이썬 코드로 실행하니 자꾸 FileNotFoundError 만 뱉어내서 도대체 뭐가 문제인지 몇 시간이나 소스 코드 이 줄 저 줄을 뜯어고치며 밤새 삽질을 했습니다. 알고 보니 코드가 아니라 VS Code가 명령 프로그램의 위치를 찾지 못하는 'PATH 환경변수' 문제였죠. 실행 경로를 명시해 주자마자 스크립트가 배포 작업을 알아서 척척 단 5초 만에 끝내는 걸 보고 , 저는 이 파이썬 자동화의 강력함에 완전히 매료되었습니다. 이번 글에서는 그때의 시행착오를 바탕으로 subprocess 를 활용해 외부 명령어를 안전하게 제어하는 방법을 정리해 보겠습니다. Python 코드 안에서 터미널 명령어를 직접 실행하고 싶었던 적이 있으신가요? 예를 들어 git , ffmpeg , curl 같은 외부 프로그램을 Python 스크립트 안에서 자동으로 호출하고 그 결과를 받아와야 하는 경우가 생각보다 자주 발생합니다. 이럴 때 필요한 것이 바로 subprocess 모듈이며, 이를 활용하면 Python이 마치 터미널을 대신 조작하는 것처럼 외부 프로그램을 자유자재로 실행할 수 있습니다. 이번 글에서는 VSCode 환경에서 Python subprocess를 활용해 외부 명령어를 실행하고 결과를 처리하는 방법을 실전 예제와 함께 정리해보겠습니다. subprocess란 무엇인가 Python에서 외부 프로세스를 실행하는 표준 모듈 subprocess 는 Python 표준 라이브러리에 내장된 모듈로, Python 코드 안에서 운영체제의 명령어나 다른 프로그램을 새로운 프로세스로 실행할 수 있게 해줍니다. 쉽게 말해 여러분이 평소 터미널에 직접 타이핑하던 명령어를, Python 코드가 대신 입력해주고 그 결과까지 받아와주는 것이...
자세한 내용 보기