RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 LLM(Large Language Model)이 답을 만들기 전에 외부 자료를 검색해서 그 내용을 프롬프트에 붙여 주는 방식이다. LLM은 학습 시점 이후의 일이나 사내 문서처럼 학습에 없던 자료를 모르고, 모르면 그럴듯하게 지어낸다(환각, Hallucination). 문서가 바뀔 때마다 모델을 다시 학습시키는 대신, 필요한 조각을 찾아 "보여 주고" 답하게 한다. 교재를 펴 놓고 푸는 오픈북 시험과 비슷하다. 이름은 2020년 루이스(Lewis) 등의 논문에서 왔다.
흐름
[미리 한 번: 인덱싱]
문서 → 조각내기(chunking) → 임베딩 → 저장소에 넣기
[질문마다]
질문 → 임베딩 → 비슷한 조각 상위 k개 검색 (Retrieval)
→ "아래 자료를 근거로 답하라" + 조각 + 질문 (Augmented)
→ LLM이 답과 출처 생성 (Generation)- 임베딩(Embedding): 텍스트를 의미를 담은 숫자 벡터로 바꾼 것 → 텍스트 임베딩. 뜻이 비슷한 문장일수록 벡터 공간에서 가깝다. "환불 규정이 어떻게 되나요?"와 "반품하면 돈은 언제 돌려받나요?"는 겹치는 단어가 거의 없어도 가깝게 놓인다. 가까움은 보통 코사인 유사도로 잰다
- 벡터 DB: "이 벡터와 가장 가까운 k개"를 빨리 찾는 데 맞춘 저장소. 벡터가 많아지면 전부 비교할 수 없어 HNSW 같은 근사 최근접 탐색(Approximate Nearest Neighbor, ANN) 인덱스로 정확한 1등을 조금 포기하고 속도를 얻는다. PostgreSQL 확장인 pgvector처럼 기존 DB에 붙이는 선택지도 있다. 조각이 수천 개 수준이면 배열을 순회하며 유사도를 계산해도 충분하다
grep과 무엇이 다른가
- 같다고 보는 기준: grep은 글자가 정확히 같아야 찾고, 벡터 검색은 뜻이 비슷하면 찾는다. 그래서 자연어 질문에는 벡터 검색이 강하고, 고유명사·에러 코드·버전 번호처럼 정확히 맞아야 하는 말에는 키워드 검색이 강하다
- 찾은 뒤: grep은 일치하는 줄 목록을 주고 끝난다. 읽고 종합하는 것은 사람 몫이다. RAG는 찾은 조각을 LLM에 넘겨 질문에 맞는 답을 문장으로 만든다
- 그래서 grep 결과를 LLM에 넣어 답하게 하는 것도 구조상으로는 RAG다. 코딩 에이전트가 파일을 검색해 읽고 답하는 것이 그 형태다 → 에이전트 루프
품질은 검색에서 갈린다
답이 틀리는 원인은 대개 LLM보다 "맞는 조각을 찾아왔는가"다.
- 청크 크기: 너무 작으면 문맥이 끊기고, 너무 크면 관계없는 내용이 섞이고 컨텍스트를 낭비한다. 제목 단위로 자르고 조각마다 출처·제목 같은 메타데이터를 붙이는 방식이 흔하다
- 하이브리드 검색: 벡터 검색에 키워드 순위 함수인 BM25를 섞고, 두 결과를 순위 융합(Rank Fusion)으로 합친다. BM25는 역색인 위에서 단어 빈도로 점수를 매기는 전통 검색의 핵심이다
- 리랭커(Reranker): 1차로 넉넉히 뽑은 후보를 더 정밀한 모델로 다시 매겨 상위 몇 개만 넘긴다
- 평가: 질문과 정답 문서를 짝지은 작은 평가셋을 만들고, 정답이 상위 k개 안에 드는 비율을 개선 전후로 비교한다. LLM을 부르지 않고 검색 품질만 재면 싸고 빠르다
Anthropic은 조각마다 문서 전체 맥락을 짧게 덧붙인 뒤 임베딩하는 "Contextual Retrieval"을 소개하며, 이 기법에 BM25와 리랭킹을 더하자 상위 20개 검색 실패율이 67% 줄었다고 보고했다(그 실험에 한정된 수치다). 같은 글은 지식 베이스가 20만 토큰보다 작으면 RAG 없이 전부 프롬프트에 넣고 프롬프트 캐시를 쓰는 편이 낫다고도 말한다. 컨텍스트 윈도우가 커져도 비용·지연·관계없는 내용 때문에 추려 넣는 검색은 여전히 쓰인다.
파인튜닝과의 차이
파인튜닝(Fine-tuning)은 모델 가중치를 다시 학습시키는 것이라 말투나 형식을 익히는 데 맞고, 자주 바뀌는 지식을 넣기에는 느리고 비싸다. 지식은 RAG로 공급하고, 문서가 바뀌면 다시 인덱싱한다. 사이트가 에이전트에게 읽을 원문 목록을 알려 주는 llms.txt도 넓게 보면 검색을 돕는 장치다. 배경은 AI·머신러닝·딥러닝·LLM의 관계에서 다룬다. 서버 없이 브라우저 안에서 검색과 생성을 모두 돌린 사례는 브라우저 안에서 도는 RAG 구현기에 있다.
출처: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Lewis et al.(2020) · Contextual Retrieval in AI Systems Anthropic(2024)