Github CODE다음 강의를 보고 정리한 내용입니다. Keyword: Reasoning RAG, Langchain, Ollama, QdrantDB, Docling 1. 라이브러리 설치VectorDB는 QdrantDB를 사용했다. 실무에서 생각했을 때 유지보수가 용이한게 가장 중요하다. 어떤 collection을 넣었는지, 어떤 문서들이 어떤 chunking 과정을 통해 들어가있는지 웹 UI를 통해 확인 가능하다.Docling은 Entity를 모두 파싱 가능하고, 쉽게 LLM이해할 수 있도록 마크다운으로 변환하는 라이브러리pip install -q langchain langgraph langchain-docling langchain-qdrant langchain-text-splitters langcha..

Agent-to-Agent란?AI 에이전트 간 정보·요청·작업을 직접 교환하고 협력할 수 있도록 정의한 개방형 통신 프로토콜각 에이전트는 서로 다른 기반 기술이나 플랫폼에서 독립적으로 작동 가능탈중앙화된 환경을 기반으로 에이전트 간 안전한 메 시지 교환 및 능동적인 실시간 협업 환경 제공2025년 4월 Google에 의해 AI 에이전트 상호운용성 (interoperatbility)을 위한 핵심 프로토콜로 제안 → 복잡한 기업 워크플로우 자동화 및 AI 에이전트 간 협업 생태계 혁신을 주도할 핵심 기술로 주목이기종(Heterogeneous) 플랫폼 간 에이전트 협업 등 다양한 AI 에이전트 간 소통이 필요한 분야에 적용 작동 방식사용하는 모든 Agent가 다른 Agent와 통신하기 위해 서로 다른 API ..

https://arxiv.org/abs/2405.07437Github: https://github.com/YHPeter/Awesome-RAG-Evaluation ✅ RAG 시스템 평가의 주요 목표1. 전반적인 성능 이해RAG는 정보 검색 기술과 생성형 언어 모델을 통합하여 사실에 기반하지 않은 응답과 hallucination을 줄이고 콘텐츠의 신뢰성과 풍부함을 향상시킵니다. 이러한 retrieval과 Generation의 fusion 구조로 인해, 시스템의 performance는 각 구성 요소를 개별적으로 평가하는 것만으로는 완전히 이해될 수 없으며, 검색 정확도와 생성 품질 간의 상호작용을 효과적으로 포착할 수 있는 포괄적인 평가 지표 개발이 필요합니다.2. 복잡성 및 동적 지식 소스 관리RAG 시스템..

*업데이트 중입니다.논문 내용은 글이나 코드로도 정리할 예정입니다. RAG✅ Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Lewis et al., 2021RAG 개념 처음 제시한 논문. 현재 LLM에서 활용되는 RAG와 약간 다른 개념인 것 같음 (Fine-Tuning을 위한 RAG)✅ Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable FrameworksYunfan Gao, Yun Xiong, Meng Wang, Haofen Wang, 2024LangGraph✅ Retrieval-Augmented Generation for Large Language Models:..

AI Agent의 모든 것1️⃣ AI 에이전트ChatGPT를 이용할 경우 이메일의 본문은 작성할 수 있지만 실제로 이메일을 특정 시간에 발송하는 것은 불가능함. 하지만 AI 에이전트를 이용하면 이메일 발송이라는 "실행"까지wavetoai.com 질문 → 에이전트 → 답변 도구 1️⃣ 구현하기 080456/LangChain/랭체인에서_에이전트_사용하기.ipynb at main · gilbutITbook/080456랭체인 & 랭그래프로 AI 에이전트 개발하기 소스 코드. Contribute to gilbutITbook/080456 development by creating an account on GitHub.github.com 1) Zero-shot ReAct사용자와 LLM 사이에..

Sparse Retrieval전통적인 키워드 기반 검색 방식으로 빠르고 직관적이며 적은 자원이 필요하지만, 의미 기반 검색이 어렵다는 한계가 있음.희소 벡터 형태로 표현하여 검색 수행 희소 벡터: 전체 어휘 사전의 크기에 해당하는 차원을 가진 벡터, 해당 문서나 쿼리에 등장하는 단어에 해당하는 위치만 1이고 나머지는 모두 0인 형태를 갖는다.TF-IDF(Term Frequency-Inverse Document Frequency): 특정 단어가 문서에 나타나는 빈도와(TF) 그 단어가 전체 문서에서 얼마나 희귀하게 나타나는지(IDF)를 반영하여 단어의 중요도를 계산합니다. 여기서 자주 나타나면서도 문서 집합 전체에 드물게 나타나는 단어가 높은 가중치를 받음.단어 빈도(Term Frequency, TF): ..

[LangChain] 시리즈 1편. LangChain의 개념과 작동과정 등을 먼저 읽어보시는 걸 추천드립니다! [LangChain] 1. LangChain의 모든 것LangChainLLM을 활용한 애플리케이션 개발을 위한 오픈소스 프레임워크LLM과의 상호작용, 메모리 관리, 체인 실행, 데이터 처리 등을 통해 복잡한 AI 애플리케이션을 효율적으로 구축할 수 있음.LangGrwavetoai.com RAG사용자가 질문을 입력하면 연관된 문서를 검색한 후, 검색 결과를 바탕으로 응답을 생성하는 방식RAG에 대한 더 자세한 내용은 아래 링크로!🔥 1. RAG와 LangGraph의 등장과 동작과정RAG (Retrieval-Augmented Generation)LLM의 한계를 극복하기 위해 '지식 검색'과 '언..

전통적인 RAG 기술 👀chunking, query 변형, 검색 알고리즘, re-rank, ... 1️⃣ Self-RAG💫 Self-Reflection (자체 반영)검색된 문서와 생성된 응답 모두에 대해 점검하고 검증하는 추가 단계를 포함 → 자체 평가LLM이 기존 RAG의 각 단계에 직접 개입하여 보다 정교한 제어를 수행하는 방식1) 작동방식검색: 사용자의 질문을 분석하여 외부 데이터 검색이 필요한지 결정(Retrieve=yes 토큰 출력)생성: 검색된 정보가 있으면, 이를 바탕으로 답변관련성 평가: 검색된 문서의 관련성 평가답변 생성: 관련 정보가 있는 문서가 존재할 경우 → 자신의 기존 지식 + 검색 정보 결합한 포괄적인 답변 관련 정보가 있는 문서가 없다면 →..

1. RAG 시스템 성능 검증1.1 컴포넌트별 평가 (Component-wise Evaluation)1.1.1 Retrieval 성능 평가지표공식설명측정 방법Precision@KP@K = (관련 문서 수 in top-K) / K상위 K개 중 관련 문서 비율수동 라벨링 또는 자동 판정Recall@KR@K = (검색된 관련 문서 수) / (전체 관련 문서 수)전체 관련 문서 중 검색된 비율완전한 관련성 데이터셋 필요Mean Reciprocal Rank (MRR)MRR = (1/|Q|) Σ (1/rank_i)첫 번째 관련 문서의 평균 역순위여러 쿼리에 대한 평균Normalized DCG (NDCG)NDCG = DCG / IDCG순위를 고려한 누적 이득관련성 점수 기반 (0-3점 등)Hit RateHR@K = ..

Ollama란?사용자가 로컬에서 LLM을 직접 실행할 수 있도록 도와주는 오픈소스 플랫폼다양한 오픈 소스 LLM 모델의 설치, 실행, 커스터마이즈 기능까지 간편하게 제공하기 때문에 오픈 소스 AI 기술을 활용하고자 하는 사용자들에게 최적의 솔루션을 제공합니다. 🔥 로컬 LLM 실행에 Ollama를 선택해야 하는 이유로컬 LLM 실행은 개인정보 보호, 비용 효율성, 오프라인 사용, 그리고 완전한 제어권이 중요한 프로젝트에 특히 적합한 선택입니다.클라우드 기반 AI 서비스가 널리 사용되고 있지만, 로컬에서 LLM을 실행할 수 있는 Ollama를 선택하는 것에는 여러 중요한 장점이 있습니다.1) 완벽한 개인정보 보호 및 보안모든 데이터(프롬프트, 문서, 생성된 텍스트)가 로컬 시스템에서만 처리외부로 데이터가..