Ⅰ. 데이터 과학의 이해 · 2차시
정형과 비정형, 그리고 속성의 가치
데이터를 형태에 따라 정형과 비정형으로 구분한다. 정형 데이터에서 속성별 의미와 속성 간 관계를 읽고, 그 데이터가 분석 대상으로서 가치가 있는지 판단한다.
학교에서 하루 동안 쌓이는 자료를 떠올려 본다.
급식 만족도 설문의 점수표, 체육대회 사진, 학급 게시판의 글, 도서관 대출 기록이 모두 자료다.
이 자료들은 생김새가 다르다. 생김새가 다르면 저장하는 방법도 분석하는 방법도 달라진다.
데이터의 형태로 나누기
나누는 기준은 내용이 아니라 다.
행과 열이 미리 정해져 있고 모든 행이 같은 항목을 가지면 표로 저장할 수 있다. 이런 데이터는 값을 바로 비교하고 계산할 수 있다.
반대로 정해진 항목이 없고 길이와 형식이 자유로우면 표에 그대로 담기지 않는다.
- 정형 데이터(structured data)
- 행과 열이 정해진 표 형태로 저장되는 데이터다. 각 열은 하나의 속성을 뜻하고, 각 행은 하나의 관측 대상을 뜻한다.
- 비정형 데이터(unstructured data)
- 정해진 행과 열이 없어 표에 그대로 담기지 않는 데이터다. 사진, 음성, 영상, 자유 형식의 글이 여기에 든다.
속성이 말하는 것
- 속성(attribute)
- 정형 데이터에서 하나의 열을 뜻한다. 관측 대상의 한 가지 특징을 담으며 이름, 단위, 값의 범위를 함께 가진다.
| 번호 | 학년 | 참여 횟수 | 만족도(10점) | 이동 시간(분) |
|---|---|---|---|---|
| 1 | 1 | 2 | 4 | 25 |
| 2 | 1 | 5 | 6 | 10 |
| 3 | 2 | 8 | 8 | 12 |
| 4 | 2 | 11 | 9 | 8 |
| 5 | 3 | 3 | 5 | 30 |
| 6 | 3 | 9 | 8 | 15 |
짝짓기에서 확인한 대로 각 이 무엇을 뜻하는지 먼저 정해야 한다.
학년은 가 있는 값이므로 평균을 내는 의미가 크지 않다. 참여 횟수는 세는 값이므로 합과 평균이 뜻을 가진다. 만족도는 10점 척도로 사람이 매긴 값이다. 이동 시간은 분 단위로 측정한 값이다.
같은 숫자라도 뜻이 다르면 다루는 방법이 달라진다. 속성의 뜻을 정하지 않고 계산하면 결과를 할 수 없다.
속성 간의 관계
분석 대상으로서 가치가 있는가
| 점검 질문 | 가치가 낮다고 보는 경우 |
|---|---|
| 목적과 맞는가 | 알고 싶은 것과 관계없는 속성만 들어 있다 |
| 값이 채워져 있는가 | 빈칸이 지나치게 많아 비교할 행이 적다 |
| 값이 서로 다른가 | 모든 행의 값이 같아 행을 구분해 주지 못한다 |
| 기록 기준이 같은가 | 반마다 단위나 측정 시점이 달라 값을 함께 볼 수 없다 |
| 관계를 볼 속성이 둘 이상인가 | 속성이 하나뿐이어서 관계를 확인할 수 없다 |
| 개인을 특정하지 않는가 | 이름이나 연락처가 그대로 들어 있다 |
확인 문제
4문항 · 고르면 바로 채점된다
다음 중 정형 데이터로 볼 수 있는 것은 무엇인가?
정형 데이터는 행과 열이 정해진 형태로 저장된다. 사진, 자유 형식의 글, 음성 파일은 정해진 열이 없어 비정형 데이터다.
정형 데이터에서 속성 간 관계를 파악하는 목적은 무엇인가?
속성 간 관계는 두 속성이 함께 변하는 정도를 뜻한다. 관계가 보이면 그 데이터가 분석 대상으로서 잠재적 가치가 있다고 판단할 근거가 된다.
모든 행에서 값이 똑같은 속성은 분석 대상으로서 가치가 낮다.
값이 모두 같으면 행을 구분해 주지 못한다. 무엇이 다른지 설명할 수 없으므로 그 속성에서 얻을 정보가 없다.
비정형 데이터는 분석에 쓸 수 없으므로 모아 둘 필요가 없다.
비정형 데이터도 값을 뽑아 표 형태로 정리하면 분석에 쓸 수 있다. 다만 정형 데이터보다 전처리 과정이 더 필요하다.