생성형 AI가 이미 일상과 업무 곳곳에 깊숙이 들어왔습니다. 챗봇, 문서 요약, 코드 자동 작성, 상담 시스템, 검색 보강(RAG)까지 다양한 분야에서 활용되죠. 그런데 최근 사람들은 깨닫기 시작했습니다.“AI는 잘 쓰면 유용하지만, 악의적인 입력을 받으면 보안 취약점으로 변할 수 있다.”대표적인 예가 프롬프트 인젝션(Prompt Injection)입니다.“규칙을 무시해” → 모델이 금지된 정보를 흘려버림“이 링크를 열어 실행해” → 시스템이 잘못된 명령 수행“이 데이터를 전송해” → 내부 정보가 외부로 유출이런 위협에 대응하기 위해 등장한 개념이 LLM Firewall과 AI Security Mesh입니다. LLM Firewall이란?LLM을 보호하는 방화벽입력과 출력을 모두 감시하고위험한 패턴이나 ..

1️⃣ 평가용 데이터셋 구축하기테스트 데이터셋을 생성하는 방법은 RAGAS에서 생성하거나, 직접 입력해서 추가할 수 있습니다.과정question-retrieval 평가: 검색한 결과(retrieval)과 질문(question)과 관련성이 있는지 평가question-answer 평가: LLM이 생성한 답변(answer)이 질문과 얼마나 관련성이 있는지 평가retrieval-answer 평가: LLM이 생성한 답변이 검색된 결과 안에서 답변하였는지 평가. 특히, 할루시네이션 확인에 필요ground truth: 평가나 학습을 위해 사람이 정해 놓은 기준 정답. 이를 기준으로 검색이나 응답 결과의 정확도를 판단할 수 있습니다. 2️⃣ LLM-as-a-judge로 평가하기LLM을 평가자로 활용하는 방식입니다.qu..

https://arxiv.org/pdf/2401.18059 트리 구조를 만들어 하위 노드의 구체적인 내용을 요약해서 상위 노드를 만들어 가는 컨텍스트로서 재귀적 요약을 수행한다.즉, 하위 레이어의 청크를 요약해서 클러스터를 만들고, 클러스터의 내용을 요약해서 상위 레이어의 요약본을 만드는 방식 RAPTOR는 긴 문서에서 정보를 효율적으로 추출하기 위해 재귀적인 요약 및 클러스터링을 통해 계층적 트리 구조를 생성합니다. 기존 방식이 짧은 텍스트 조각만 검색하여 전체적인 맥락 이해에 한계가 있었던 반면, RAPTOR는 다양한 추상화 수준에서 정보를 통합합니다. 연구는 RAPTOR가 질의응답(QA) 작업에서 기존 검색 방식보다 우수합니다. 이 시스템은 확장성과 계산 효율성이 뛰어나 방대한 텍스트 코퍼스 처리에..

Stuff문서 전체를 단일 프롬프트에 한 번에 넣어 요약문서 크기가 작을 때 적합Map-ReduceMap 단계: 문서를 작은 청크로 나눈 뒤 각각 요약Reduce 단계: 각 청크의 요약을 최종 요약본으로 통합한 번에 합치는 과정에서 요약본의 순서가 바뀔 수 있음. Map-RefineMap 단계: 문서를 작은 청크로 나눈 뒤 각각 요약Refine 단계: 생성된 요약을 순차적으로 처리하여 최종 요약본을 점진적으로 개선요약본을 순서대로 처리하므로 문서의 맥락이 어느 정도 유지된다는 장점이 있다. 다만, 비용과 시간이 더 많이 든다. 4. Chain of Density논문 초기에 엔티티가 적은 요약을 생성한 후 길이를 늘리지 않으면서 누락된 중요 엔티티들을 반복적으로 통합하여 밀도 높은 요약을 완성5. Clus..

Github CODE다음 강의를 보고 정리한 내용입니다. Keyword: Reasoning RAG, Langchain, Ollama, QdrantDB, Docling 1. 라이브러리 설치VectorDB는 QdrantDB를 사용했다. 실무에서 생각했을 때 유지보수가 용이한게 가장 중요하다. 어떤 collection을 넣었는지, 어떤 문서들이 어떤 chunking 과정을 통해 들어가있는지 웹 UI를 통해 확인 가능하다.Docling은 Entity를 모두 파싱 가능하고, 쉽게 LLM이해할 수 있도록 마크다운으로 변환하는 라이브러리pip install -q langchain langgraph langchain-docling langchain-qdrant langchain-text-splitters langcha..

Agent-to-Agent란?AI 에이전트 간 정보·요청·작업을 직접 교환하고 협력할 수 있도록 정의한 개방형 통신 프로토콜각 에이전트는 서로 다른 기반 기술이나 플랫폼에서 독립적으로 작동 가능탈중앙화된 환경을 기반으로 에이전트 간 안전한 메 시지 교환 및 능동적인 실시간 협업 환경 제공2025년 4월 Google에 의해 AI 에이전트 상호운용성 (interoperatbility)을 위한 핵심 프로토콜로 제안 → 복잡한 기업 워크플로우 자동화 및 AI 에이전트 간 협업 생태계 혁신을 주도할 핵심 기술로 주목이기종(Heterogeneous) 플랫폼 간 에이전트 협업 등 다양한 AI 에이전트 간 소통이 필요한 분야에 적용 작동 방식사용하는 모든 Agent가 다른 Agent와 통신하기 위해 서로 다른 API ..

https://arxiv.org/abs/2405.07437Github: https://github.com/YHPeter/Awesome-RAG-Evaluation ✅ RAG 시스템 평가의 주요 목표1. 전반적인 성능 이해RAG는 정보 검색 기술과 생성형 언어 모델을 통합하여 사실에 기반하지 않은 응답과 hallucination을 줄이고 콘텐츠의 신뢰성과 풍부함을 향상시킵니다. 이러한 retrieval과 Generation의 fusion 구조로 인해, 시스템의 performance는 각 구성 요소를 개별적으로 평가하는 것만으로는 완전히 이해될 수 없으며, 검색 정확도와 생성 품질 간의 상호작용을 효과적으로 포착할 수 있는 포괄적인 평가 지표 개발이 필요합니다.2. 복잡성 및 동적 지식 소스 관리RAG 시스템..

*업데이트 중입니다.논문 내용은 글이나 코드로도 정리할 예정입니다. RAG✅ Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Lewis et al., 2021RAG 개념 처음 제시한 논문. 현재 LLM에서 활용되는 RAG와 약간 다른 개념인 것 같음 (Fine-Tuning을 위한 RAG)✅ Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable FrameworksYunfan Gao, Yun Xiong, Meng Wang, Haofen Wang, 2024LangGraph✅ Retrieval-Augmented Generation for Large Language Models:..

AI Agent의 모든 것1️⃣ AI 에이전트ChatGPT를 이용할 경우 이메일의 본문은 작성할 수 있지만 실제로 이메일을 특정 시간에 발송하는 것은 불가능함. 하지만 AI 에이전트를 이용하면 이메일 발송이라는 "실행"까지wavetoai.com 질문 → 에이전트 → 답변 도구 1️⃣ 구현하기 080456/LangChain/랭체인에서_에이전트_사용하기.ipynb at main · gilbutITbook/080456랭체인 & 랭그래프로 AI 에이전트 개발하기 소스 코드. Contribute to gilbutITbook/080456 development by creating an account on GitHub.github.com 1) Zero-shot ReAct사용자와 LLM 사이에..

Sparse Retrieval전통적인 키워드 기반 검색 방식으로 빠르고 직관적이며 적은 자원이 필요하지만, 의미 기반 검색이 어렵다는 한계가 있음.희소 벡터 형태로 표현하여 검색 수행 희소 벡터: 전체 어휘 사전의 크기에 해당하는 차원을 가진 벡터, 해당 문서나 쿼리에 등장하는 단어에 해당하는 위치만 1이고 나머지는 모두 0인 형태를 갖는다.TF-IDF(Term Frequency-Inverse Document Frequency): 특정 단어가 문서에 나타나는 빈도와(TF) 그 단어가 전체 문서에서 얼마나 희귀하게 나타나는지(IDF)를 반영하여 단어의 중요도를 계산합니다. 여기서 자주 나타나면서도 문서 집합 전체에 드물게 나타나는 단어가 높은 가중치를 받음.단어 빈도(Term Frequency, TF): ..