LangSmith을 활용해 RAG 평가하기

1️⃣ 평가용 데이터셋 구축하기테스트 데이터셋을 생성하는 방법은 RAGAS에서 생성하거나, 직접 입력해서 추가할 수 있습니다.과정question-retrieval 평가: 검색한 결과(retrieval)과 질문(question)과 관련성이 있는지 평가question-answer 평가: LLM이 생성한 답변(answer)이 질문과 얼마나 관련성이 있는지 평가retrieval-answer 평가: LLM이 생성한 답변이 검색된 결과 안에서 답변하였는지 평가. 특히, 할루시네이션 확인에 필요ground truth: 평가나 학습을 위해 사람이 정해 놓은 기준 정답. 이를 기준으로 검색이나 응답 결과의 정확도를 판단할 수 있습니다. 2️⃣ LLM-as-a-judge로 평가하기LLM을 평가자로 활용하는 방식입니다.qu..

[PAPER] RAPTOR(Recursive Abstractive Processing for Tree-Organized Retrieval)

https://arxiv.org/pdf/2401.18059 트리 구조를 만들어 하위 노드의 구체적인 내용을 요약해서 상위 노드를 만들어 가는 컨텍스트로서 재귀적 요약을 수행한다.즉, 하위 레이어의 청크를 요약해서 클러스터를 만들고, 클러스터의 내용을 요약해서 상위 레이어의 요약본을 만드는 방식 RAPTOR는 긴 문서에서 정보를 효율적으로 추출하기 위해 재귀적인 요약 및 클러스터링을 통해 계층적 트리 구조를 생성합니다. 기존 방식이 짧은 텍스트 조각만 검색하여 전체적인 맥락 이해에 한계가 있었던 반면, RAPTOR는 다양한 추상화 수준에서 정보를 통합합니다. 연구는 RAPTOR가 질의응답(QA) 작업에서 기존 검색 방식보다 우수합니다. 이 시스템은 확장성과 계산 효율성이 뛰어나 방대한 텍스트 코퍼스 처리에..