[ X ] 애플리케이션 테스트 관리 - 애플리케이션 테스트 케이스 설계

[ 1 ] 애플리케이션 테스트 케이스 작성

( 1 ) 소프트웨어 테스트의 이해

• 소프트웨어 테스트 개념
  • 개발된 응용 애플리케이션이나 시스템이 사용자가 요구하는 기능, 성능, 사용성, 안정성 등을 만족하는지 확인하고, 노출되지 않은 숨어있는 소프트웨어의 결함을 찾아내는 활동
• 소프트웨어 테스트 필요성
  • 오류 발견 관점
    
    • 프로그램에 잠재된 오류를 밝ㄴ하고 이를 수정하여 올바른 프로그램을 개발하기 위해 필요
  • 오류 예방 관점
    • 프로그램 실행 전에 동료 검토, 워크 스루, 인스펙션 등을 통해 오류를 사전에 발견하는 예방 차원의 필요
  • 품질 향상 관점
    • 사용자의 요구사항 및 기대 수준을 만족하도록 반복적인 테스트를 거쳐 제품의 신뢰도르 향상하는 품질 보증을 위해 피요
• 소프트웨어 테스트의 기본 원칙
  • 결합 존재 증명
    • 결함이 존재함을 밝히는 활동
    • 결함이 없다는 것을 증명할 수는 없음
    • 결함을 줄이는 활동
  • 완벽 테스팅은 불가능
    • 완벽하게 테스팅하려는 시도는 불필요한 시간과 자원 낭비
  • 초기 집중
    • 초기 테스트 설계 시 장점: 테스팅 결과를 단 시간에 알 수 있고, 테스팅 기간 단축, 재작업을 줄여 개발 기간 단축 및 결함 예방
  • 결함 집중
    • 적은 수의 모듈에서 대다수의 결함이 발견됨
    • 소프트웨어 테스트에서 오류의 80%는 전체 모듈의 20% 내에서 발견
    • 파레토 법칙의 내용인 80대 20 법칙 적용
  • 살충제 패러독스
    • 동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그를 찾지 못함
    • 테스트 케이스의 정기적 리뷰와 개선 및 다른 시각에서의 접근이 필요
  • 정황 의존성
    • 소프트웨어의 성격에 맞게 테스트 실시
    • 정황과 비즈니스 도메인에 따라 테스트를 다르게 수행
  • 오류-부재의 궤변
    • 요구사항을 충족시켜주지 못한다면, 결함이 없다고 해도 품질이 높다고 볼 수 없음.
• 소프트웨어 테스트 프로세스
  • 테스트 계획
  • 테스트 분석 및 디자인
  • 테스트 케이스 및 시나리오 작성
  • 테스트 수행
• 소프트웨어 테스트 산출물
  • 테스트 계획서
  • 테스트 베이시스
  • 테스트 케이스
  • 테스트 슈트
  • 테스트 시나리오
  • 테스트 스크립트
  • 테스트 결과서

( 2 ) 소프트웨어 테스트 유형

• 프로그램 실행 여부에 따른 분류
  • 정적 테스트 ( 리뷰, 정적 분석 )
    • 테스트 대상을 실행하지 않고 구조를 분석하여 논리성을 검증하는 테스트
  • 동적 테스트 ( 화이트박스 테스트, 블랙박스 테스트, 경험기반 테스트 )
    • 소프트웨어를 실행하는 방식으로 테스트를 수행하여 결함을 검출하는 방식
• 테스트 기법에 따른 분류
  
  • 화이트 박스 테스트(White-Box Test)
    • 각 응용 프로그램의 내부 구조와 동작을 검사하는 소프트웨어 테스트.
  • 화이트 박스 테스트 유형
    • 구문 커버리지= 문장커버리지
      • 구문 커버리지는 프로그램 내의 모든 명령문을 적어도 한 번 수행하는 커버리지
      • 조건문 결과와 관계없이 구문 실행 개수로 계산
    • 결정 커버리지 = 선택 커버리지 = 분기 커버러지
      • 결정 커버리지는 (각 분기의) 결정 포인트 내의 전체 조건식이 적어도 한번은 참(T)과 거짓(F)의 결과를 수행하는 테스트 커버리지
      • 구문 커버리지를 포함
    • 조건 커버리지
      • 각 분기의 결정 포인트 내의 각 개별 조건식이 적어도 한 번은 참과 거짓의 결과가 되도록 수행하는 테스트 커버리지
      • 구문 커버리지 포함
    • 조건/결정 커버리지
      • 조건/결정 커버리지는 전체 조건식뿐만 아니라 개별 조건식도 참 한번, 거짓 한 번 결과가 되도록 수행하는 테스트 커버리지
    • 변경 조건/결정 커버리지
      • 변경/조건 커버리지는 개별 조건식의 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 함으로써 조건/결정 커버리지를 향상시킨 커버리지
    • 다중 조건 커버리지
      • 결정 조건 내 모든 개별 조건식의 모든 가능한 조합을 100% 보장하는 커버리지
    • 기본 경로 커버리지 = 경로 커버리지
      • 기본 경로 커버리지는 수행가능한 모든 테스트 경로를 수행하는 기법
    • 제어 흐름 테스트
      • 제어 흐름 테스트는 프로그램 제어 구조를 그래프 형태로 나타내어 내부 로직을 테스트하는 기법
    • 데이터 흐름 테스트
      • 제어 흐름 그래피에 데이터 사용현황을 추가한 그래프를 통해 테스트하는 깁ㅂ
    • 루프 테스트
      • 프로그램의 반복 구조에 초점을 맞춰 실시하는 테스트 기법
  • 블랙박스 테스트(Black-Box Test)
    • 동등분할 테스트 = 동치 분할 테스트, 균등 부할 테스트 동치 클래스 분해 테스트
      • 입력 데이터의 영역을 유사한 도메인별로 유효값/무효값을 그룹핑하여 대푯값 테스트 케이스를 도출하여 테스트하는 기법
    • 경곗값 분석 테스트 = 한계값 테스트
      • 등가 분할 후 경곗값 부분에서 오류 발생 확률이 높기 때문에 경곗값을 포함하여 테스트 케이스를 설계하여 테스트하는 기법
    • 결정 테이블 테스트
      • 요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트하는 기법
    • 상태 전이 테스트
      • 테스트 대상ㆍ시스템이나 객체의 상태를 구분하고, 이벤트에 의해 어느 한 상태에서 다른 상태로 전이되는 경우의 수를 수행하는 테스트 기법
    • 유스케이스 테스트
      • 시스템이 실제 사용되는 유스케이스로 모델링 되어 있을 때 프로세스 흘므을 기반으로 테스트 케이스를 명세화하여 수행하는 테스트 기법
    • 분류 트리 테스트
      • SW의 일부 또는 전체를 트리 구조로 분석 및 표현하여 테스트 케이스를 설계하여 테스트하는 기법
    • 페어와이즈 테스트
      • 테스트 데이터값들 간에 최소한 한 번씩을 조합하는방식이며, 이는 커버해야 할 기능적 범위를 모든 조합에 비해 상대적으로 적은 양의 테스트 세트를 구성하기 위한 테스트 기법
    • 원인-결과 그래프 테스트
      • 그래프를 활용하여 입력 데이터 간의 관계 및 출력에 미치는 영향을 분석하여 효용성이 높은 테스트 케이스를 선정하여 테스트하는 기법
    • 비교 테스트
      • 여러 버전의 프로그램의 같은 입력값을 넣어서 동일한 결과 데이터가 나오는지 비교해 보는 테스트 기법
    • 오류 추정 테스트
      • 개발자가 범할 수 있는 실수를 추정하고 이에 따른 결함이 검출되도록 테스트 케이스를 설계하여 테스트하는 기법
• 테스트 시각에 따른 분류
  • 검증(Verification)
    • 소프트웨어 개발 과정을 테스트
    • 올바른 제품을 생상하고 있는지 검증
    • 이전 단계에서 설정된 개발 규격과 요구를 충족하는지 판단
  • 확인(Validation)
    • 소프트웨어 결과를 테스트
    • 만들어진 제품이 제대로 동작하는지 확인
    • 최종 사용자 요구 또는 소프트웨어 요구에 적합한지 판단
• 테스트 목적에 따른 분류
  • 테스트 목적에 따른 분류 
    • 회복 테스트(Recovery Testing)
      • 시스템에 고의로 실패를 유도하고, 시스템의 정상적 복귀 여부를 테스트하는 기법
    • 안전 테스트(Security Testing)
      • 불법적인 소프트웨어가 접근하여 시스템을 파괴하지 못하도록 소스 코드 내의 보안적인 결함을 미리 점검하는 테스트 기법
    • 성능 테스트(Performance Testing)
      • 사용자의 이벤트에 시스템이 응답하는 시간, 특정 시간 내에 처리하는 업무량, 사용자 요구에 시스템이 바응하는 속도 등을 측정하는 테스트 기법
    • 구조 테스트(Structure Testing)
      • 시스템의 내부 논리 경로, 소스코드의 복잡도를 평가하는 테스트 기법
    • 회귀 테스트(Regression Testing)
      • 회귀 테스트는 오류를 제거하거나 수정한 시스템에서 오류 제거와 수정에 의해 새로이 유입된 오류가 없는지 확인 하는 일종의 반복 테스트 기법
    • 병행 테스트(Parallel Testing)
      • 변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교하는 테스트 기법
  • 성능 테스트의 상세 유형
    • 부하 테스트(Load Testing)
      • 시스템에 부하를 계속 증가시키면서 시스템의 임계점을 찾는 테스트
    • 강도 테스트(Stress Testing)
      • 시스템의 처리 능력 이상의 부하, 즉 임계점 이상의 부하를 가하여 비정상적인 상황에서 시스템의 동작 상태를 확인하는 테스트
    • 스파이크 테스트(Spike Testing)
      • 짧은 시간에 사용자가 몰릴 때 시스템의 반응 측정 테스트
    • 내구성 테스트(Endurance Testing)
      • 오랜 시간 동안 시스템에 높은 부하를 가하여 시스템 반응 테스트
  • 테스트 종류에 따른 분류
    • 명세 기반 테스트(블랙박스 테스트)
      • 프로그램의 요구사항 명세서를 기반으로 테스트 케이스를 선정하여 테스트 기법
    • 구조 기반 테스트(화이트박스 테스트)
      • 소프트웨어 내부 논리 흐름에 따라 테스트 케이스를 작성학 확인하는 테스트 기법
    • 경험 기반 테스트(블랙박스 테스트)
      • 유사 소프트웨어나 유사 기술 평가에서 테스트의 경험을 토대로 한, 직관과 기술 능력을 기반으로 수행하는 테스트 기법

( 3 ) 정적 테스트

• 리뷰
  • 리뷰 유형
    • 동료검토(Peer Review)
      • 동료 검토는 2~3명이 진행하는 리뷰 형태로 요구사항 명세서 작성자가 요구사항 명세서를 설명하고, 이해 관계자들이 설명을 들으면서 결함을 발견하는 형태로 진행하는 검토 기법
    • 인스펙션(Inspection)
      • 인스펙션은 소프트웨어 요구, 설계, 원시코드 등의 저작자 외의 다른 전문가 또는 팀이 검사하여 문제를 식별하고 문제에 대한 올바른 해결을 찾아내는 형식적인 검토 기법이다
    • 워크 스루(Walk Through)
      • 검토 자료를 회의전에 배포해서 사전 검토 후 짧은 시간 동안 회의를 진행하는 검토 기법
  • 정적 분석(Static Analysis)
    • 정적 분석으로는 코딩 표준 부합, 코드 복잡도 계산, 자료 흐름 분석 등이 있다.

( 4 ) 동적 테스트

• 화이트 박스 테스트(구조 기반 테스트)
  • 각 응용 프로그램의 내부 구조와 동작을 검사하는 소프트웨어 테스트 
  • 화이트 박스 테스트는 구조 기반 테스트, 코드 기반 테스트, 로직 기반 테스트, 글래스 박스 테스트 라고 부른다
  • 구문 커버리지
    • 프로그램 내의 모든 명령문을 적어도 한번은 수행하는 테스트 커버리지
  • 결정 커버리지
    • 각 분기의 결정 포인트 내의 전체 조건식이 적어도 한 번은 참(T)과 거짓(F)의 결과를 수행하는 테스트 커버리지
  • 조건 커버리지
    • 각 분기의 결정 포인트 내의 개별 조건식이 적어도 한 번은 참과 거짓의 결과가 되도록 수행하는 테스트 ㅁ커버리지
• 블랙박스 테스트(명세 기반 테스트)
  • 프로그램의 외부 사용자의 요구사항 명세를 보면서 수행하는 테스트 기법

[ 2 ] 애플리케이션 테스트 시나리오 작성

( 1 ) 테스트 레벨

• 테스트 레벨의 개념
  • 테스트 레벨은 함께 편성되고 관리되는 테스트 활동의 그룹이다.
  • 각각의 테스트 레벨은 서로 독립적이다.
• 테스트 레벨의 종류(단통시인)
  • 단위 테스트
    • 사용자의 요구사항에 대한 단위 모듈 서브루틴 등을 테스트하는 단계
    • 자료 구조, 실행 경로, 오류처리, 인터페이스 테스트가 있다
  • 통합 테스트
    • 단위 테스트를 통과한 모듈 사이의 인터페이스, 통합된 컴포넌트 간의 상호 작용을 검증하는 테스트 단계
    • 빅뱅 테스트, 샌드위치 테스트, 상향식 테스트, 하향식 테스트
  • 시스템 테스트
    • 통합된 단위 시스템의 기능이 시스템에서 정상적으로 수행되는지를 검증하는 테스트 단계
    • 기능, 비기능 요구사항 테스트
  • 인수 테스트
    • 계악상의 요구사항이 만족되었는지 확인하기 위한 테스트 단계
    • 계약 인수, 규정 인수, 사용자 인수, 운영상의 인수, 알파, 벡타 테스트
• V 모델과 테스트 레벨
  • 테스트 게획 및 설계(요기설개)
    • 요구사항 분석 
    • 기계 명세 분석
    • 설계
    • 개발
  • 테스트 수정(단통시인)
    • 단위 테스트
    • 통합 테스트
    • 시스템 테스트
    • 인수 테스트

---

살충제 패러독스의 개념에 대해 서술하시오.

동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그를 찾지 못한다는 원리

 

테스트의 종류 중 동치 분할 테스트, 경곗값 분석 테스트가 있는 테스트 기법을 쓰시오.

블랙박스 테스트

 

테스트 오라클 중 특정한 몇 개의 입력값에 대해서만 기대하는 결과를 제공해주는 오라클은 무엇인가?

샘플링 오라클

 

그래프를 활용하여 입력 데이터 간의 관계 및 출력에 미치는 영향을 분석하여 효용성이 높은 테스트 케이스를 선정하여 테스트하는 기법은 무엇인가?

원인-결과 그래프 테스트 ( Cause-Effect Graph Testing )

 

V 모델에 대한 1 ~ 4 까지 들어갈 테스트를 쓰시오

1. 단위 테스트

2. 통합 테스트

3. 시스템 테스트

4. 인수 테스트