용어집

본문에서 정의한 용어 60개를 모았다. 각 용어는 처음 나온 차시로 이어진다.

결측치(missing value): 값이 기록되지 않아 비어 있는 자료. 조사 누락, 장비 고장, 응답 거부 등으로 생긴다. 0과 다르다. 0은 값이 없는 것이 아니라 값이 0이라는 뜻이다. 이상치·결측치·정규화, 그리고 시각화
경사하강법(gradient descent): 오차가 줄어드는 방향으로 기울기와 절편을 조금씩 고쳐 나가는 방법. 한 번에 옮기는 정도를 학습률(learning rate)이라고 한다. 회귀 — 통계 모델과 기계학습 모델의 비교
계급 폭(class width): 히스토그램(histogram)에서 값을 묶는 구간의 너비. 폭을 좁히면 세부 모양이 드러나고, 넓히면 큰 흐름만 남는다. 분석자가 정하는 값이다. 같은 데이터, 다른 방법 — 결과 비교
공공 데이터(public data): 공공 기관이 만들어 누구나 쓸 수 있도록 공개한 데이터다. 출처와 갱신 시점이 밝혀져 있어 근거로 쓰기에 적합하다. 데이터가 바꾼 사회와 직업
공통 속성(common attribute): 두 데이터셋에 함께 나타나며 같은 대상을 가리키는 속성이다. 통합의 기준이 되므로 대상마다 값이 하나씩만 있어야 한다. 데이터셋을 잇다 — 데이터베이스와 통합
교란 변수(confounding variable): 두 속성 모두에 영향을 주어 둘 사이에 관계가 있는 것처럼 보이게 만드는 제3의 속성. 교란 변수를 빼놓고 해석하면 원인을 잘못 짚는다. 속성 간 관계를 파악하고 통합하기
군집 분석(clustering): 미리 정해진 정답 없이 속성이 비슷한 데이터끼리 묶어 여러 개의 군집으로 나누는 분석. 군집 — 유사성으로 묶고 해석하기
기계학습(machine learning): 모델이 데이터에서 규칙을 찾아 예측이나 분류를 수행하도록 만드는 방법. 사람이 규칙을 직접 적지 않는다. 두 가지 이상의 방법으로 검증하기
대리 지표(proxy indicator): 직접 재기 어려운 대상을 대신해 재는 값. 대리 지표를 쓸 때는 원래 대상과 어떤 관계인지 근거를 밝혀야 한다. 사례에서 주제로 — 적합성 판단
대표값(representative value): 자료 전체를 하나의 수로 요약한 값. 평균, 중앙값, 최빈값이 대표적이다. 어느 것을 쓰는지에 따라 같은 자료의 요약이 달라진다. 같은 데이터, 다른 방법 — 결과 비교
데이터(data): 관찰하거나 측정한 결과를 일정한 형식으로 기록한 값이다. 기록되지 않은 인상이나 기억은 데이터가 아니다. 데이터로 판단한다는 것
데이터 가용성(data availability): 필요한 데이터를 실제로 확보할 수 있는 정도. 이미 있는 기록, 직접 측정, 설문 가운데 하나로 확보 경로를 밝힐 수 있어야 한다. 사례에서 주제로 — 적합성 판단
데이터 과학(data science): 데이터에서 문제 해결에 쓸 수 있는 규칙과 의미를 찾아내는 학문이자 활동이다. 데이터 수집, 전처리, 분석, 해석, 판단으로 이어지는 과정 전체를 다룬다. 데이터로 판단한다는 것
데이터 과학자(data scientist): 데이터를 모아 분석하고 그 결과를 판단으로 옮기는 일을 맡는 직업이다. 통계, 프로그래밍, 해당 분야의 지식을 함께 쓴다. 데이터가 바꾼 사회와 직업
데이터 기반 의사 결정(data-driven decision making): 느낌이나 관행이 아니라 수집한 데이터를 근거로 판단하는 방식이다. 판단의 근거와 절차를 기록으로 남기는 것이 특징이다. 데이터로 판단한다는 것
데이터 리터러시(data literacy): 데이터를 읽고 뜻을 파악하며 근거로 쓸 수 있는 능력이다. 값의 출처와 한계를 함께 살피는 태도를 포함한다. 데이터가 바꾼 사회와 직업
데이터 모델(data model): 데이터에서 찾아낸 규칙을 식이나 규칙의 형태로 나타낸 것. 데이터를 요약하고 새로운 값을 예측하는 데 쓴다. 데이터 모델이란 무엇이며 무엇으로 분석하나
데이터 모델링(data modeling): 데이터에서 규칙을 찾고 그 규칙을 모델로 만든 뒤 결과를 확인하는 전체 과정. 데이터 모델이란 무엇이며 무엇으로 분석하나
데이터 통합(data integration): 공통 속성을 기준으로 여러 표의 자료를 하나의 표로 합치는 일. 기준 속성의 값 표기와 단위가 서로 같아야 짝이 지어진다. 속성 간 관계를 파악하고 통합하기
데이터베이스(database): 서로 관계가 있는 데이터셋을 모아 체계적으로 저장하고 관리하는 시스템이다. 여러 사람이 같은 데이터를 함께 쓸 수 있게 한다. 데이터셋을 잇다 — 데이터베이스와 통합
데이터셋(dataset): 하나의 주제에 대해 같은 속성 구조로 모아 놓은 데이터의 모음이다. 보통 표 한 개의 형태를 가진다. 데이터셋을 잇다 — 데이터베이스와 통합
메타데이터(metadata): 데이터 자체가 아니라 데이터를 설명하는 데이터. 수집 기관, 조사 시점, 조사 대상, 항목 설명, 단위 등이 들어간다. 보통 데이터와 함께 제공되는 설명 문서에 적혀 있다. 편향 없이 모으고, 특성을 읽다
문제 정의(problem definition): 해결하려는 문제를 측정 가능한 형태로 다시 쓴 문장. 대상, 기간, 측정할 값, 판단 기준을 포함한다. 사례에서 주제로 — 적합성 판단
민감도 확인(sensitivity check): 조건을 조금 바꿔도 결론이 유지되는지 확인하는 작업. 이상치를 빼거나 기간을 나눠 같은 분석을 다시 한다. 끝까지 분석하고 의미를 해석하기
범주형 자료(categorical data): 속성의 자료형(data type) 가운데 하나. 값이 양이 아니라 종류를 나타낸다. 버스·도보처럼 크기를 더할 수 없으므로 값별 빈도와 비율로 요약한다. 편향 없이 모으고, 특성을 읽다
비식별화(de-identification): 기록에서 특정 개인이나 소집단을 알아볼 수 없게 만드는 처리. 이름을 지우는 것만으로는 충분하지 않고, 공개 단위를 넓히는 방법도 함께 쓴다. 전 과정 성찰과 사회적 영향
비정형 데이터(unstructured data): 정해진 행과 열이 없어 표에 그대로 담기지 않는 데이터다. 사진, 음성, 영상, 자유 형식의 글이 여기에 든다. 정형과 비정형, 그리고 속성의 가치
비지도 학습(unsupervised learning): 맞히려는 목표 속성이 없을 때 데이터 자체의 구조나 관계를 찾는 방식. 군집과 연관이 여기에 든다. 목적에 가장 알맞은 방법 고르기
상관관계(correlation): 두 속성이 함께 변하는 정도. 세기를 수로 나타낸 값이 상관 계수(correlation coefficient)이고 −1과 1 사이다. 1에 가까우면 강한 양의 관계, −1에 가까우면 강한 음의 관계, 0에 가까우면 관계가 약하다. 속성 간 관계를 파악하고 통합하기
속성(attribute): 정형 데이터에서 하나의 열을 뜻한다. 관측 대상의 한 가지 특징을 담으며 이름, 단위, 값의 범위를 함께 가진다. 정형과 비정형, 그리고 속성의 가치
수치형 자료(numerical data): 값이 양을 나타내는 자료. 더하거나 평균을 구할 수 있다. 평균, 중앙값, 최솟값, 최댓값으로 요약한다. 시간·길이처럼 이어지는 값과 횟수처럼 끊어지는 값으로 나뉜다. 편향 없이 모으고, 특성을 읽다
신뢰도(confidence): A를 산 거래 가운데 B도 함께 산 거래의 비율. `신뢰도 = (A와 B를 함께 포함한 거래 수) ÷ (A를 포함한 거래 수)` 연관 — 지지도·신뢰도·향상도
아이디어 발산과 수렴(divergent and convergent thinking): 판단을 미루고 아이디어를 많이 만드는 단계와, 기준을 세워 후보를 줄이는 단계. 두 단계를 섞으면 아이디어가 일찍 잘린다. 탐색적 분석에서 아이디어로
연관 분석(association analysis): 함께 나타나는 항목의 관계를 찾아 `A를 사면 B도 산다` 형태의 연관 규칙을 만드는 분석. 연관 — 지지도·신뢰도·향상도
유클리드 거리(Euclidean distance): 속성별 차이를 각각 제곱해 더한 뒤 제곱근을 씌운 값. 값이 작을수록 두 데이터가 비슷하다고 본다. 군집 — 유사성으로 묶고 해석하기
이상치(outlier): 다른 값들과 크게 떨어져 있는 값. 기록 실수일 수도 있고 실제로 일어난 드문 값일 수도 있다. 원인을 확인한 뒤에 처리 방법을 정한다. 이상치·결측치·정규화, 그리고 시각화
이해관계자(stakeholder): 분석 결과에 영향을 주거나 영향을 받는 사람과 집단. 결과를 쓰는 쪽과 결과 때문에 부담을 지는 쪽을 모두 포함한다. 전 과정 성찰과 사회적 영향
인과관계(causality): 한쪽이 다른 쪽의 원인이 되는 관계. 두 값이 함께 움직인다는 사실만으로는 인과관계를 말할 수 없다. 끝까지 분석하고 의미를 해석하기
잔차(residual): 실제 값에서 모델의 예측값을 뺀 차이. 잔차를 제곱해 더한 값을 잔차 제곱합이라고 한다. 회귀 — 통계 모델과 기계학습 모델의 비교
장바구니 분석(market basket analysis): 한 번의 구매를 장바구니 하나로 보고, 장바구니에 함께 담긴 품목의 연관을 찾는 연관 분석. 연관 — 지지도·신뢰도·향상도
재현 가능성(reproducibility): 같은 데이터와 같은 절차로 다른 사람이 같은 결과를 얻을 수 있는 정도. 데이터 출처, 전처리 규칙, 분석 방법이 모두 기록되어야 확보된다. 전 과정 성찰과 사회적 영향
정규화(normalization): 값의 범위를 정해진 구간으로 옮기는 전처리. 최솟값을 0, 최댓값을 1로 맞출 때는 `정규화 값 = (값 − 최솟값) ÷ (최댓값 − 최솟값)`을 쓴다. 단위가 다른 속성을 함께 비교할 때 쓴다. 이상치·결측치·정규화, 그리고 시각화 · 또 나오는 차시 1개
정형 데이터(structured data): 행과 열이 정해진 표 형태로 저장되는 데이터다. 각 열은 하나의 속성을 뜻하고, 각 행은 하나의 관측 대상을 뜻한다. 정형과 비정형, 그리고 속성의 가치
정확도(accuracy): 전체 사례 가운데 맞게 예측한 사례의 비율. `정확도 = (맞게 예측한 사례 수) ÷ (전체 사례 수)` 모델을 평가한다 — 예측률과 정확도
지도 학습(supervised learning): 맞히려는 목표 속성이 데이터에 함께 기록되어 있을 때 그 값을 예측하도록 모델을 만드는 방식. 회귀와 분류가 여기에 든다. 목적에 가장 알맞은 방법 고르기
지지도(support): 전체 거래 가운데 A와 B가 함께 담긴 거래의 비율. `지지도 = (A와 B를 함께 포함한 거래 수) ÷ (전체 거래 수)` 연관 — 지지도·신뢰도·향상도
최빈값(mode): 자료에서 가장 자주 나타난 값. 범주형 자료에도 쓸 수 있다. 가장 자주 나타난 값이 여러 개일 수도 있다. 같은 데이터, 다른 방법 — 결과 비교
최소 재현 예시(minimal reproducible example): 같은 문제가 그대로 나타나는 가장 작은 데이터와 코드. 행을 3~5개로 줄이고 관계없는 부분을 지워 만든다. 끝까지 분석하고 의미를 해석하기
최소제곱법(method of least squares): 잔차 제곱합을 가장 작게 하는 기울기와 절편을 공식으로 한 번에 구하는 방법. 회귀 — 통계 모델과 기계학습 모델의 비교
측정 가능성(measurability): 관심 대상을 수나 범주로 나타낼 수 있는 정도. 단위와 측정 방법을 말할 수 있으면 측정 가능성이 있다. 사례에서 주제로 — 적합성 판단
탐색적 데이터 분석(Exploratory Data Analysis, EDA): 데이터를 요약하고 시각화해 구조와 특징을 파악하는 분석 단계. 가설을 검증하기 전에 물어볼 질문을 찾는 것이 목적이다. 탐색적 분석에서 아이디어로
파생 변수(derived variable): 원래 열을 계산해 새로 만든 열. 전월 대비 증감률, 1인당 사용량처럼 원본에 없던 관점을 드러낸다. 탐색적 분석에서 아이디어로
평균절대오차(Mean Absolute Error, MAE): 예측값과 실제값의 차를 절댓값으로 바꿔 평균한 값. 값이 작을수록 예측이 정확하고, 단위는 원래 값과 같다. 두 가지 이상의 방법으로 검증하기
평균제곱오차의 제곱근(Root Mean Squared Error, RMSE): 오차를 제곱해 평균한 뒤 제곱근을 씌운 값. 큰 오차에 민감하고, 단위가 원래 목표 속성과 같아 해석하기 쉽다. 모델을 평가한다 — 예측률과 정확도
표집 편향(sampling bias): 표본을 고르는 방법 때문에 표본이 전체를 대표하지 못하는 현상. 특정 집단이 조사에서 빠지거나, 응답할 뜻이 있는 사람만 응답하는 경우에 생긴다. 편향 없이 모으고, 특성을 읽다
향상도(lift): 신뢰도를 B의 지지도로 나눈 값. `향상도 = 신뢰도 ÷ (B의 지지도)` 이며, A를 산 사실이 B를 살 가능성을 얼마나 바꾸는지 나타낸다. 연관 — 지지도·신뢰도·향상도
혼동행렬(confusion matrix): 실제 갈래와 예측한 갈래를 가로세로로 놓아 맞은 사례와 틀린 사례를 한눈에 정리한 표. 모델을 평가한다 — 예측률과 정확도
회귀 분석(regression): 입력 속성으로 목표 속성의 값을 예측하는 분석. 목표 속성이 점수나 판매량처럼 이어지는 수일 때 쓴다. 회귀 — 통계 모델과 기계학습 모델의 비교
k-최근접 이웃(k-Nearest Neighbors, k-NN): 예측하려는 값과 가장 가까운 k개의 기록을 찾아 그 값들의 평균으로 예측하는 기계학습 방법. 식을 세우지 않고 이웃 기록을 그대로 이용한다. 두 가지 이상의 방법으로 검증하기
k-평균 군집화(k-means clustering): 군집 개수 k를 먼저 정한 뒤 각 데이터를 가장 가까운 중심에 배정한다. 그다음 중심을 다시 계산하는 과정을 되풀이한다. 군집 — 유사성으로 묶고 해석하기