MODULE m7 · 8.0 HOURS

Hybrid TLS 핸드셰이크 분석

0% 완료

LEARNING OBJECTIVES

이번 모듈의 목표

  1. 양자 위협 환경에서 TLS 1.3의 취약성을 설명한다.
  2. ML-KEM 기반 하이브리드(Hybrid) TLS 핸드셰이크 구조를 이해한다.
  3. OQS(Open Quantum Safe) 기반 로컬 환경에서 하이브리드 모드 성능을 측정한다.
  4. 패킷 캡처를 통해 기존 알고리즘과 PQ 알고리즘이 결합된 핸드셰이크 과정을 분석한다.

하이브리드 TLS 핸드셰이크 이론

현행 TLS 1.3은 ECDH(Elliptic Curve Diffie-Hellman)와 같은 고전적 공개키 암호에 의존하며, 이는 충분한 성능의 양자 컴퓨터가 등장할 경우 공격 위협에 노출된다[S2]. 이에 대한 대응으로 NIST 표준인 ML-KEM(Module-Lattice-Based Key-Encapsulation Mechanism)과 같은 포스트퀀텀 암호(PQC)를 통합하는 연구가 활발하다[S2].

하이브리드 모드의 보안 가정

완전한 PQC 전환 이전에 운영 안정성을 위해 고전적 알고리즘과 PQ 알고리즘을 결합한 ‘하이브리드(Hybrid) 모드’를 사용한다. 이 방식은 두 알고리즘의 공유 비밀(Shared Secret)을 결합하여, 두 알고리즘 중 하나만 안전해도 통신의 비밀성을 보장하도록 설계한다.

성능 고려사항

TLS 1.3 핸드셰이크 성능은 KEM의 계산 비용에 직접적으로 의존한다[S2]. 특히 키 생성(Key Generation), 캡슐화(Encapsulation), 역캡슐화(Decapsulation) 단계에서의 연산 효율성이 전체 핸드셰이크 속도를 결정한다. 최근에는 AVX-512와 같은 명령어 집합 최적화를 통해 다항식 곱셈과 모듈러 축소 과정을 가속화하여 핸드셰이크 성능을 높이는 기법이 적용되고 있다[S2].

WORKED EXAMPLES

해설 예제

  1. 예제 1: 하이브리드 키 교환 과정 - 클라이언트는 고전적 공유 비밀 값과 PQC 캡슐화 결과값을 서버에 전송합니다. 서버는 역캡슐화 후 두 공유 비밀을 KDF(Key Derivation Function)에 결합하여 세션키를 생성합니다.
  2. 예제 2: 핸드셰이크 지연 분석 - PQ 알고리즘 적용 시 추가적인 키 크기(Key Size)가 증가함에 따라 네트워크 전송 시간이 늘어나는 현상을 비교 분석합니다. 성능 최적화(예: AVX-512 사용) 적용 전후의 핸드셰이크 당 처리량(Handshakes per second) 차이를 수치화합니다[S2].

LAB PROTOCOL

OQS 기반 하이브리드 TLS 핸드셰이크 재현 실험

  1. 1

    격리된 Docker 환경에서 liboqs 및 oqs-provider가 통합된 OpenSSL 3 빌드 환경을 구축한다.

  2. 2

    기존 ECDH 모드와 ML-KEM 기반 하이브리드 모드(예: secp256r1_mlkem768)를 설정한다.

  3. 3

    로컬 루프백(Loopback) 인터페이스를 사용하여 두 모드 간 TLS 1.3 핸드셰이크를 실행한다.

  4. 4

    Wireshark를 사용하여 ClientHello 및 ServerHello 메시지 내의 키 교환 데이터 필드를 패킷 캡처한다.

  5. 5

    실행 시간 측정 스크립트를 사용하여 100회 이상의 핸드셰이크 평균 시간을 측정하고, 하이브리드 모드의 오버헤드를 기록한다.

안전 점검
  • 본 실험은 로컬 환경의 격리된 루프백 인터페이스에서만 수행하며 외부 네트워크 트래픽을 생성하지 않는다.
  • 실제 인증서, 개인키, 사용자 데이터 등 운영 보안 자산을 절대 사용하지 않는다.
  • 학습용 OQS 라이브러리는 실험적 도구이므로 실제 운영 보안 서비스에 사용하지 않는다.
  • 실험 종료 시 모든 생성된 임시 키와 로컬 측정 데이터를 삭제한다.

실습 제출물

  • 설정 및 실행 로그 파일
  • Wireshark 패킷 캡처 파일(.pcapng) 및 키 교환 필드 분석 노트
  • 핸드셰이크 성능 비교 측정 CSV 데이터

ASSIGNMENT

TLS 1.3 하이브리드 전환 성능 분석 보고서

제출물

평가 기준

  • 실험의 재현 가능성(환경 설정 및 스크립트 명시 여부)
  • 패킷 분석의 정확성(키 교환 필드 식별)
  • 성능 측정 데이터의 논리적 해석
  • 이론적 보안 가정과 실험 결과의 연결성

KNOWLEDGE CHECK

이해도 점검

1하이브리드 TLS 핸드셰이크의 주된 보안적 이점은 무엇입니까?
2TLS 1.3 핸드셰이크 성능에 가장 큰 영향을 미치는 PQ 알고리즘 요소는 무엇입니까?

FIELD CHECK

완료 기준

  • 로컬 환경에서 liboqs 기반 하이브리드 TLS 핸드셰이크 재현 성공
  • Wireshark 분석을 통해 하이브리드 키 교환 메시지 확인
  • 성능 측정 데이터 기반의 결과 분석 보고서 제출
  • 안전 제약 사항(데이터 격리, 운영 키 미사용) 준수 확인

MODULE SOURCES

이 모듈의 근거

  1. Faster Post-Quantum TLS 1.3 Based on ML-KEM: Implementation ...arxiv.org · paper