시스템 테스트와 고쳐 내기

생각 열기 — 만든 사람은 잘못 쓰지 않는다

7차시의 단위 테스트와 통합 테스트를 모두 통과했다. 모둠에서는 다 끝났다고 생각했다. 옆 모둠에게 써 보라고 넘겼더니 5분 만에 이런 것들이 나왔다.

• 점수를 넣는 칸에 그냥 엔터를 눌렀더니 프로그램이 멈췄다.
• 점수를 300개 넘게 넣었더니 뒤쪽이 잘렸다.
• 결과가 나온 뒤 한 명을 더 넣고 싶었는데 방법이 없어 처음부터 다시 해야 했다.

시스템 테스트 — 전체를, 실제 조건에서

시스템 테스트(system test) — 완성한 프로그램 전체를 실제 사용 조건에서 요구 사항과 대조하는 시험는 앞의 두 테스트와 보는 것이 다르다.

시스템 테스트에서 대조 대상이 요구 사항 명세서라는 점이 중요하다. 2차시에 적은 F1F4와 N1N4를 하나씩 짚어 가며 지켜졌는지 확인한다. 명세서를 대충 적었다면 여기서 확인할 것이 없어진다.

비기능 요구를 확인한다

기능 요구는 통합 테스트에서 대부분 걸러진다. 시스템 테스트에서 새로 드러나는 것은 비기능 요구다. 만드는 동안에는 아무 문제도 일으키지 않던 것들이다.

결함을 기록하는 법

찾은 문제를 말로 전하면 사라진다. 결함 보고서로 적는다. 좋은 보고서에는 네 가지가 있다.

• ① 재현

  어떻게 하면 다시 생기는가

  "그냥 이상하다"가 아니라 "점수 칸에서 아무것도 안 넣고 엔터를 눌렀다"처럼 순서대로 적는다.

• ② 기대

  무엇이 나와야 했는가

  명세서의 몇 번 요구를 어겼는지 함께 적으면 고치는 사람이 판단하기 쉽다.

• ③ 실제

  무엇이 나왔는가

  오류 메시지가 있으면 그대로 옮겨 적는다. 요약하지 않는다.

• ④ 환경

  어디서 생겼는가

  어느 컴퓨터, 어느 실행 방법인지. 특정 환경에서만 나는 문제가 있다.

결함 보고서 — 예시

고치고, 되던 것을 다시 본다

결함을 고칠 때는 순서가 있다.

1. 재현한다. 보고서대로 따라 해 문제를 눈으로 확인한다. 재현되지 않으면 조건이 덜 적힌 것이다.
2. 테스트 사례를 먼저 만든다. 그 결함을 잡아내는 사례를 7차시의 테스트 목록에 추가한다. 지금은 실패한다.
3. 고친다. 새 사례가 통과할 때까지.
4. 전부 다시 돌린다. 되던 사례가 깨지지 않았는지 확인한다 — 회귀 테스트.

2번을 건너뛰면 같은 결함이 나중에 되살아나도 아무도 모른다. 고칠 때마다 테스트 사례가 하나씩 늘어나는 것이 정상이다.

고치기 전과 고친 뒤

생각 열기에서 나온 잘못, 0 < 점수 로 적어 0점이 걸러지던 문제를 고쳐 보자.

def is_valid_before(score):
    return 0 < score <= 100

def is_valid_after(score):
    return 0 <= score <= 100

for label, f in [("고치기 전", is_valid_before), ("고친 뒤", is_valid_after)]:
    print(f"{label}: 0점 -> {f(0)}, 1점 -> {f(1)}, 100점 -> {f(100)}")

고치기 전: 0점 -> False, 1점 -> True, 100점 -> True
고친 뒤: 0점 -> True, 1점 -> True, 100점 -> True

#include <stdio.h>

int is_valid_before(int score) { return score > 0 && score <= 100; }
int is_valid_after(int score)  { return score >= 0 && score <= 100; }

int main(void)
{
    printf("고치기 전: 0점 -> %d, 1점 -> %d, 100점 -> %d\n",
           is_valid_before(0), is_valid_before(1), is_valid_before(100));
    printf("고친 뒤: 0점 -> %d, 1점 -> %d, 100점 -> %d\n",
           is_valid_after(0), is_valid_after(1), is_valid_after(100));
    return 0;
}

고치기 전: 0점 -> 0, 1점 -> 1, 100점 -> 1
고친 뒤: 0점 -> 1, 1점 -> 1, 100점 -> 1

바뀐 것은 부등호 하나(> → >=)뿐이다. 1점과 100점은 고치기 전과 후가 같아서, 그 값들만 넣어 봤다면 잘못을 끝내 발견하지 못했을 것이다. 경계값을 넣어야 하는 이유가 이 한 줄에 다 들어 있다.

결과를 공유한다

프로젝트의 마지막은 만든 것을 남에게 보여 주는 일이다. 발표에서 다룰 것은 완성한 기능만이 아니다.

활동

더 알아보기