[RAG] 3. Sparse Retrieval와 Dense Retrieval (+Ensemble, Reranker)

Sparse Retrieval전통적인 키워드 기반 검색 방식으로 빠르고 직관적이며 적은 자원이 필요하지만, 의미 기반 검색이 어렵다는 한계가 있음.희소 벡터 형태로 표현하여 검색 수행 희소 벡터: 전체 어휘 사전의 크기에 해당하는 차원을 가진 벡터, 해당 문서나 쿼리에 등장하는 단어에 해당하는 위치만 1이고 나머지는 모두 0인 형태를 갖는다.TF-IDF: 특정 단어가 문서에 나타나는 빈도와(TF) 그 단어가 몇 개의 문서에서 나타나는지(IDF)를 반영하여 단어의 중요도를 계산합니다. 여기서 자주 나타나면서도 문서 집합 전체에 드물게 나타나는 단어가 높은 가중치를 받음.TF: 단어 t의 문서 d 내 등장 횟수 / 문서 d의 총 단어 수IDF: log(전체 문서 수 / 단어 t가 등장하는 문서 수)문서 길이..

[LangChain] 2. LangChain과 RAG에 대한 모든 것

[LangChain] 시리즈 1편. LangChain의 개념과 작동과정 등을 먼저 읽어보시는 걸 추천드립니다! [LangChain] 1. LangChain의 모든 것LangChainLLM을 활용한 애플리케이션 개발을 위한 오픈소스 프레임워크LLM과의 상호작용, 메모리 관리, 체인 실행, 데이터 처리 등을 통해 복잡한 AI 애플리케이션을 효율적으로 구축할 수 있음.LangGrwavetoai.com RAG사용자가 질문을 입력하면 연관된 문서를 검색한 후, 검색 결과를 바탕으로 응답을 생성하는 방식RAG에 대한 더 자세한 내용은 아래 링크로!🔥 1. RAG와 LangGraph의 등장과 동작과정RAG (Retrieval-Augmented Generation)LLM의 한계를 극복하기 위해 '지식 검색'과 '언..

전통적인 RAG 기술 👀chunking, query 변형, 검색 알고리즘, re-rank, ... 1️⃣ Self-RAG💫 Self-Reflection (자체 반영)LLM이 기존 RAG의 각 단계에 직접 개입하여 보다 정교한 제어를 수행하는 방식 1) 작동방식검색: 사용자의 질문을 분석하여 외부 데이터 검색이 필요한지 결정(Retrieve=yes 토큰 출력)생성: 검색된 정보가 있으면, 이를 바탕으로 답변관련성 평가: 검색된 문서의 관련성 평가답변 생성: 관련 정보가 있는 문서가 존재할 경우 → 자신의 기존 지식 + 검색 정보 결합한 포괄적인 답변 관련 정보가 있는 문서가 없다면 → 검색된 문서 무시 + 기존 지식 활용한 답변평가: 생성된 답변의 유용성 평가, 필요 ..

1. RAG 시스템 성능 검증1.1 컴포넌트별 평가 (Component-wise Evaluation)1.1.1 Retrieval 성능 평가지표공식설명측정 방법Precision@KP@K = (관련 문서 수 in top-K) / K상위 K개 중 관련 문서 비율수동 라벨링 또는 자동 판정Recall@KR@K = (검색된 관련 문서 수) / (전체 관련 문서 수)전체 관련 문서 중 검색된 비율완전한 관련성 데이터셋 필요Mean Reciprocal Rank (MRR)MRR = (1/|Q|) Σ (1/rank_i)첫 번째 관련 문서의 평균 역순위여러 쿼리에 대한 평균Normalized DCG (NDCG)NDCG = DCG / IDCG순위를 고려한 누적 이득관련성 점수 기반 (0-3점 등)Hit RateHR@K = ..

Ollama란?사용자가 로컬에서 LLM을 직접 실행할 수 있도록 도와주는 오픈소스 플랫폼다양한 오픈 소스 LLM 모델의 설치, 실행, 커스터마이즈 기능까지 간편하게 제공하기 때문에 오픈 소스 AI 기술을 활용하고자 하는 사용자들에게 최적의 솔루션을 제공합니다. 🔥 로컬 LLM 실행에 Ollama를 선택해야 하는 이유로컬 LLM 실행은 개인정보 보호, 비용 효율성, 오프라인 사용, 그리고 완전한 제어권이 중요한 프로젝트에 특히 적합한 선택입니다.클라우드 기반 AI 서비스가 널리 사용되고 있지만, 로컬에서 LLM을 실행할 수 있는 Ollama를 선택하는 것에는 여러 중요한 장점이 있습니다.1) 완벽한 개인정보 보호 및 보안모든 데이터(프롬프트, 문서, 생성된 텍스트)가 로컬 시스템에서만 처리외부로 데이터가..

1️⃣ AI 에이전트ChatGPT를 이용할 경우 이메일의 본문은 작성할 수 있지만 실제로 이메일을 특정 시간에 발송하는 것은 불가능함. 하지만 AI 에이전트를 이용하면 이메일 발송이라는 "실행"까지 가능하다.과거 에이전트: 특정 작업을 자동화하기 위해 하나의 고정된 알고리즘만 사용AI Agent: 사람의 개입 없이 스스로 작업을 수행하고 의사 결정을 내리는 프로그램자동화: 반복적이거나 단순한 작업을 자동으로 수행효율성: 시간과 비용 절감자율성: 사람이 일일이 지시하지 않아도, 스스로 판단하여 상황에 맞게 작업하여 수행 구분LLMRAGAI Agent핵심 역할텍스트 생성(두뇌)검색+생성(정보 수집)작업 계획+실행+재계획(작업 관리자)주요 기능질문 이해, 자연어 처리, 응답 생성외부 데이터베이스 또는 웹 검색..

LangChainLLM을 활용한 애플리케이션 개발을 위한 오픈소스 프레임워크LLM과의 상호작용, 메모리 관리, 체인 실행, 데이터 처리 등을 통해 복잡한 AI 애플리케이션을 효율적으로 구축할 수 있음.LangGraph: 그래프 기반 모델링을 도와주는 패키지로, 여러 작업을 동시에 처리하거나 특정 조건에 따라 작업을 분기하는 복잡한 애플리케이션을 설계할 수 있음.LangSmith: LLM 애플리케이션을 디버킹, 테스트, 평가, 모니터링할 수 있는 개발자 플랫폼LangServe: REST API 배포를 도와주는 패키지, 랭체인의 체인을 REST API로 간편하게 배포할 수 있음.장점: 특정 작업을 수행할 때 원하는 기능을 손쉽게 사용할 수 있어 프로젝트의 복잡성을 줄이고 개발 효율을 극대화 함모듈성: 모든 ..

RAG에서의 첫번째 단계 "Query" 다루기를 더 자세히 살펴보자.질문 입력 및 변환 → 검색 및 재정렬 → 프롬프트 템플릿설정 → 문맥 구성 → 답변 생성 및 응답 제 1. Query 추론내가 말하는 추론 단계는 Query를 정확하게 이해하는 단계이다. Query가 애매하거나 multi-hop 과정을 거쳐야 하는 경우1-1. Query 재작성LLM 활용하여 의미 추론 및 재구성다중 질의 생성(multiquery generation): 질의 변형의 한 기법으로, 사용자의 원래 질문을 바탕으로 여러 개의 다양한 쿼리ㅡㄹㄹ 생성하는 방법다중 질의 생성: LLM을 사용하여 원래 질문을 다양한 관점으로 변형시켜 여러 개의 질문 생성. 동의어 사용, 질문 구조 변경, 특정 측면 강조병렬 검색: 생성된 각 쿼리..

RAG (Retrieval-Augmented Generation)LLM의 한계를 극복하기 위해 '지식 검색'과 '언어 생성'을 결합한 프레임워크RAG 동작 과정질문 이해 및 처리(Query Encoder)지식 검색(Retrieval)생성(Generaton)- 사용자의 질문을 이해하기 위한 언어 모델- 질문을 벡터 형태로 인코딩- 외부 지식 베이스에서 관련 정보를 검색- LLM이 쿼리와 검색된 지식을 이용하여 응답 생성- LLM Prompting RAG 장단점1. 장점외부 지식 활용하여 LLM의 지식 부족 문제를 해결하고, 최신 정보 또는 특정 도메인 지식을 활용할 수 있습니다.증거를 기반 생성하여 검색된 지식 정보를 증거로 활용하여 보다 사실에 기반한 답변 생성, 생성된 답변의 출처를 명시함으로써 신뢰성..

2004년 제안 키워드 추출 기능 + 핵심 문장 추출 기능 1. 키워드 추출 기능 단어 그래프 사용(명사, 동사, 형용사와 같은 단어만 사용) 최소 빈도수 + 문장 + 토크나이저 유사도 → 두 단어의 co-occurrence 계산(두 단어 간격이 window인 횟수(2~8)) 2. 핵심 문장 추출 기능 문장 간 유사도 측정 : 두 문장에 공통으로 등장한 단어의 개수를 각 문장의 단어 개수의 log 값의 합으로 나눈 값 문장의 길이가 길수록 높은 유사도 자주 등장하는 단어가 많이 포함될 수록 유사도 증가 Cosine similarity 는 길이가 짧은 문장에 민감 LexRank (Erkan at al., 2004) 는 TF-IDF + Cosine similarity 이용 (결과 크게 다르지 않음) *참고 ..