데이터 정제와 관리

생각 열기 — 4월 평균 대여는 몇 건일까

새솔시 담당자가 4월 기록 파일을 받아 평균 대여 건수를 냈더니 5,030건이 나왔다. 그런데 4월에 가장 많이 빌린 날도 3,293건이었다. 무슨 일일까?

정제란

데이터 정제(data cleaning) — 모은 데이터에서 빠진 값·틀린 값·겹친 값·필요 없는 부분을 찾아 고치거나 지워 분석할 수 있게 다듬는 일는 분석하기 전에 데이터를 다듬는 일이다. 있어야 할 자리에 값이 빠진 것을 결측치(missing value) — 있어야 할 자리에 값이 빠진 것. 빈칸, 다른 값들과 동떨어진 값을 이상치(outlier) — 다른 값들과 동떨어진 값. 기계 오류일 수도, 진짜 특별한 날일 수도 있다라고 한다. 실제 데이터 분석에서 가장 많은 시간을 쓰는 일이 바로 정제라는 말이 있을 만큼 중요하다.

직접 정제해 보기

아래 실험실에서 단계 단추를 눌러 4월 기록을 다듬어 보자. 표의 문제 칸이 색으로 보이고, 위쪽 숫자가 모두 초록이 되면 정제가 끝난 것이다. 누른 단계는 판다스 코드가 되어 아래에 쌓인다.

파이썬으로 정제하기

실험실에서 한 일을 판다스 코드로 쓰면 이렇다. 단계마다 줄 끝의 설명과 실험실 단추를 견주어 보자.

import pandas as pd

df = pd.read_csv('bike_raw.csv')
print('처음:', df.shape)

df = df.drop(columns=['기록한사람', '메모'])     # ① 필요 없는 열 빼기
print('중복 행:', df.duplicated().sum())
df = df.drop_duplicates()                        # ② 중복 지우기

df['평균기온'] = df['평균기온'].astype(str).str.replace('도', '')    # ③ 단위 떼기
df['평균기온'] = pd.to_numeric(df['평균기온'], errors='coerce')
print('빈칸:', df.isna().sum().sum())
df = df.dropna()                                 # ④ 빈칸 있는 줄 지우기

df = df[df['대여건수'] < 10000]                  # ⑤ 이상한 값 거르기
print('마지막:', df.shape)
df.to_csv('bike_clean.csv', index=False)         # 저장

처음: (32, 7)
중복 행: 2
빈칸: 3
마지막: (26, 5)

32줄 7열이 26줄 5열이 되었다. 중복 2줄, 빈칸이 있던 3줄, 이상한 값 1줄이 빠졌고, 열 2개를 뺐다. pd.to_numeric(…, errors='coerce') 는 «숫자로 바꾸되, 못 바꾸는 칸은 빈칸으로 두라»는 뜻이다. 그래서 「도」를 먼저 떼지 않으면 그 칸까지 빈칸이 되어 지워진다 — 실험실 1번 실험에서 본 그대로다.

정제한 데이터 관리하기

정제는 한 번 하고 끝나는 일이 아니다. 다음 달 기록이 오면 또 해야 하고, 친구나 선생님이 «어떻게 다듬었는지» 물어볼 수 있다.

• 원본

  원본은 그대로 둔다

  정제한 결과는 새 이름(bike_clean.csv)으로 저장한다. 원본을 덮어쓰면 실수했을 때 되돌릴 수 없다.

• 기록

  무엇을 했는지 적는다

  어떤 열을 뺐고, 빈칸을 지웠는지 채웠는지, 이상치 기준은 얼마였는지. 위의 판다스 코드가 그대로 기록이 된다.

• 이름

  파일 이름에 규칙을

  「bike_2025_04_clean.csv」처럼 무엇·언제·어떤 상태인지 이름만 보고 알 수 있게.

• 보관

  안전한 곳에

  개인 정보가 남아 있다면 아무나 볼 수 있는 곳에 두지 않는다. 필요 없어진 개인 정보는 지운다.

확인 문제