Sparse Retrieval전통적인 키워드 기반 검색 방식으로 빠르고 직관적이며 적은 자원이 필요하지만, 의미 기반 검색이 어렵다는 한계가 있음.희소 벡터 형태로 표현하여 검색 수행 희소 벡터: 전체 어휘 사전의 크기에 해당하는 차원을 가진 벡터, 해당 문서나 쿼리에 등장하는 단어에 해당하는 위치만 1이고 나머지는 모두 0인 형태를 갖는다.TF-IDF(Term Frequency-Inverse Document Frequency): 특정 단어가 문서에 나타나는 빈도와(TF) 그 단어가 전체 문서에서 얼마나 희귀하게 나타나는지(IDF)를 반영하여 단어의 중요도를 계산합니다. 여기서 자주 나타나면서도 문서 집합 전체에 드물게 나타나는 단어가 높은 가중치를 받음.단어 빈도(Term Frequency, TF): ..

전통적인 RAG 기술 👀chunking, query 변형, 검색 알고리즘, re-rank, ... 1️⃣ Self-RAG💫 Self-Reflection (자체 반영)검색된 문서와 생성된 응답 모두에 대해 점검하고 검증하는 추가 단계를 포함 → 자체 평가LLM이 기존 RAG의 각 단계에 직접 개입하여 보다 정교한 제어를 수행하는 방식1) 작동방식검색: 사용자의 질문을 분석하여 외부 데이터 검색이 필요한지 결정(Retrieve=yes 토큰 출력)생성: 검색된 정보가 있으면, 이를 바탕으로 답변관련성 평가: 검색된 문서의 관련성 평가답변 생성: 관련 정보가 있는 문서가 존재할 경우 → 자신의 기존 지식 + 검색 정보 결합한 포괄적인 답변 관련 정보가 있는 문서가 없다면 →..

RAG에서의 첫번째 단계 "Query" 다루기를 더 자세히 살펴보자.질문 입력 및 변환 → 검색 및 재정렬 → 프롬프트 템플릿설정 → 문맥 구성 → 답변 생성 및 응답 제 1. Query 추론내가 말하는 추론 단계는 Query를 정확하게 이해하는 단계이다. Query가 애매하거나 multi-hop 과정을 거쳐야 하는 경우1-1. Query 재작성LLM 활용하여 의미 추론 및 재구성다중 질의 생성(multiquery generation): 질의 변형의 한 기법으로, 사용자의 원래 질문을 바탕으로 여러 개의 다양한 쿼리ㅡㄹㄹ 생성하는 방법다중 질의 생성: LLM을 사용하여 원래 질문을 다양한 관점으로 변형시켜 여러 개의 질문 생성. 동의어 사용, 질문 구조 변경, 특정 측면 강조병렬 검색: 생성된 각 쿼리..

RAG (Retrieval-Augmented Generation)LLM의 한계를 극복하기 위해 '지식 검색'과 '언어 생성'을 결합한 프레임워크RAG 동작 과정질문 이해 및 처리(Query Encoder)지식 검색(Retrieval)생성(Generaton)- 사용자의 질문을 이해하기 위한 언어 모델- 질문을 벡터 형태로 인코딩- 외부 지식 베이스에서 관련 정보를 검색- LLM이 쿼리와 검색된 지식을 이용하여 응답 생성- LLM Prompting RAG 장단점1. 장점외부 지식 활용하여 LLM의 지식 부족 문제를 해결하고, 최신 정보 또는 특정 도메인 지식을 활용할 수 있습니다.증거를 기반 생성하여 검색된 지식 정보를 증거로 활용하여 보다 사실에 기반한 답변 생성, 생성된 답변의 출처를 명시함으로써 신뢰성..