MODULE m1 · 8.0 HOURS

RAG 아키텍처 이해

0% 완료

LEARNING OBJECTIVES

이번 모듈의 목표

  1. RAG(Retrieval-Augmented Generation) 아키텍처의 핵심 구성 요소를 이해한다.
  2. 대규모 언어 모델(LLM)이 가진 지식 한계와 검색 기반 증강의 필요성을 파악한다.
  3. 검색-생성 파이프라인의 구조적 흐름을 설명할 수 있다.

RAG(Retrieval-Augmented Generation) 아키텍처 개요

최신 자연어 처리(NLP) 및 딥러닝 모델은 방대한 텍스트 데이터를 학습하여 뛰어난 성능을 보이지만, 모델 학습 시점에 포함되지 않은 최신 정보나 특정 도메인의 비공개 데이터에 대해서는 환각(hallucination)을 보이거나 정보를 알지 못하는 한계가 있습니다 [S1].

검색을 통한 LLM의 한계 극복

RAG는 모델이 모든 지식을 매개변수(parameter) 내부에 암기하게 하는 대신, 질문과 관련된 외부의 신뢰할 수 있는 문서를 ‘적절한 시점(just-in-time)’에 검색하여 생성 단계의 입력으로 제공하는 방식입니다 [S2].

핵심 구성 요소

  1. 검색기(Retriever): 사용자의 질의(query)를 받아 벡터 데이터베이스 등에서 관련성이 높은 문서 조각(chunk)을 식별합니다.
  2. 증강(Augmentation): 검색된 문서와 원래 질문을 조합하여 LLM에 전달할 프롬프트를 구성합니다.
  3. 생성기(Generator): 증강된 정보를 바탕으로 사실 기반의 응답을 생성합니다.

이러한 구조는 모델의 지식을 최신 상태로 유지하고, 생성된 답변의 근거를 추적 가능하게 함으로써 신뢰성을 확보하는 데 기여합니다.

WORKED EXAMPLES

해설 예제

  1. 사례 1: 전통적인 LLM 방식 - '오늘자 뉴스 알려줘'라고 질문할 경우 학습 데이터 이후의 사건을 인지하지 못해 잘못된 정보를 생성할 위험이 있음.
  2. 사례 2: RAG 방식 - '오늘자 뉴스 알려줘' 질문 시, 1) 외부 검색 엔진이나 실시간 뉴스 API를 통해 검색기(Retriever)가 관련 기사를 수집하고, 2) 이를 문맥(context)으로 포함하여 LLM에 전달함으로써 정확한 최신 정보 응답을 생성.

LAB PROTOCOL

RAG 아키텍처 흐름 시각화 및 분석

  1. 1

    Jupyter Notebook을 열고 RAG 기본 파이프라인의 3단계(입력, 검색, 생성) 구조를 도식화한다.

  2. 2

    오픈 라이선스 문서 코퍼스에서 5개의 짧은 텍스트를 추출하여 데이터셋 샘플을 만든다.

  3. 3

    간단한 키워드 매칭 검색기(Retriever) 함수를 작성하여 질문에 맞는 문서를 반환하도록 구현한다.

  4. 4

    검색된 문서를 프롬프트 템플릿에 주입하는 증강 단계를 코드로 작성한다.

안전 점검
  • 실제 개인정보나 기밀문서를 절대 코퍼스 데이터로 사용하지 않는다.
  • API 사용 시 호출 횟수 제한(Rate Limit)을 확인하고 테스트 코드에 시드(seed) 값을 설정하여 재현성을 확보한다.

실습 제출물

  • RAG 아키텍처 다이어그램 (Notebook 셀 내 포함)
  • 간단한 키워드 기반 검색기 구현 코드
  • 문서 주입형 프롬프트 생성 결과물

ASSIGNMENT

RAG 기반 정보 검색 파이프라인 분석 보고서

제출물

평가 기준

  • RAG의 3단계(검색, 증강, 생성)가 정확하게 구분되어 설명되었는가?
  • 검색 단계에서 관련 없는 문서가 검색될 가능성에 대한 분석이 타당한가?
  • 비공개 데이터 보안 지침을 준수하며 구현하였는가?

KNOWLEDGE CHECK

이해도 점검

1RAG가 LLM 학습 방식과 비교하여 가지는 주된 장점은 무엇입니까?
2검색기(Retriever)의 역할로 올바른 것은 무엇입니까?

FIELD CHECK

완료 기준

  • RAG 아키텍처의 구성 요소를 설명할 수 있다.
  • 실습한 RAG 파이프라인 코드가 정상적으로 작동하여 관련 문서를 검색 및 증강하는 것을 확인한다.
  • RAG 파이프라인의 한계점과 개선 방향을 분석 보고서에 기술한다.

MODULE SOURCES

이 모듈의 근거

  1. Stanford CS 224N | Natural Language Processing with Deep Learningweb.stanford.edu · university
  2. Natural Language Processing with Deep Learning CS224N/Ling284web.stanford.edu · university