[RAG] 3. Sparse Retrieval와 Dense Retrieval (+Ensemble, Reranker)

Sparse Retrieval전통적인 키워드 기반 검색 방식으로 빠르고 직관적이며 적은 자원이 필요하지만, 의미 기반 검색이 어렵다는 한계가 있음.희소 벡터 형태로 표현하여 검색 수행 희소 벡터: 전체 어휘 사전의 크기에 해당하는 차원을 가진 벡터, 해당 문서나 쿼리에 등장하는 단어에 해당하는 위치만 1이고 나머지는 모두 0인 형태를 갖는다.TF-IDF: 특정 단어가 문서에 나타나는 빈도와(TF) 그 단어가 몇 개의 문서에서 나타나는지(IDF)를 반영하여 단어의 중요도를 계산합니다. 여기서 자주 나타나면서도 문서 집합 전체에 드물게 나타나는 단어가 높은 가중치를 받음.TF: 단어 t의 문서 d 내 등장 횟수 / 문서 d의 총 단어 수IDF: log(전체 문서 수 / 단어 t가 등장하는 문서 수)문서 길이..

전통적인 RAG 기술 👀chunking, query 변형, 검색 알고리즘, re-rank, ... 1️⃣ Self-RAG💫 Self-Reflection (자체 반영)LLM이 기존 RAG의 각 단계에 직접 개입하여 보다 정교한 제어를 수행하는 방식 1) 작동방식검색: 사용자의 질문을 분석하여 외부 데이터 검색이 필요한지 결정(Retrieve=yes 토큰 출력)생성: 검색된 정보가 있으면, 이를 바탕으로 답변관련성 평가: 검색된 문서의 관련성 평가답변 생성: 관련 정보가 있는 문서가 존재할 경우 → 자신의 기존 지식 + 검색 정보 결합한 포괄적인 답변 관련 정보가 있는 문서가 없다면 → 검색된 문서 무시 + 기존 지식 활용한 답변평가: 생성된 답변의 유용성 평가, 필요 ..

LangChainLLM을 활용한 애플리케이션 개발을 위한 오픈소스 프레임워크LLM과의 상호작용, 메모리 관리, 체인 실행, 데이터 처리 등을 통해 복잡한 AI 애플리케이션을 효율적으로 구축할 수 있음.LangGraph: 그래프 기반 모델링을 도와주는 패키지로, 여러 작업을 동시에 처리하거나 특정 조건에 따라 작업을 분기하는 복잡한 애플리케이션을 설계할 수 있음.LangSmith: LLM 애플리케이션을 디버킹, 테스트, 평가, 모니터링할 수 있는 개발자 플랫폼LangServe: REST API 배포를 도와주는 패키지, 랭체인의 체인을 REST API로 간편하게 배포할 수 있음.장점: 특정 작업을 수행할 때 원하는 기능을 손쉽게 사용할 수 있어 프로젝트의 복잡성을 줄이고 개발 효율을 극대화 함모듈성: 모든 ..