생성형 AI가 이미 일상과 업무 곳곳에 깊숙이 들어왔습니다. 챗봇, 문서 요약, 코드 자동 작성, 상담 시스템, 검색 보강(RAG)까지 다양한 분야에서 활용되죠. 그런데 최근 사람들은 깨닫기 시작했습니다.“AI는 잘 쓰면 유용하지만, 악의적인 입력을 받으면 보안 취약점으로 변할 수 있다.”대표적인 예가 프롬프트 인젝션(Prompt Injection)입니다.“규칙을 무시해” → 모델이 금지된 정보를 흘려버림“이 링크를 열어 실행해” → 시스템이 잘못된 명령 수행“이 데이터를 전송해” → 내부 정보가 외부로 유출이런 위협에 대응하기 위해 등장한 개념이 LLM Firewall과 AI Security Mesh입니다. LLM Firewall이란?LLM을 보호하는 방화벽입력과 출력을 모두 감시하고위험한 패턴이나 ..

1️⃣ 평가용 데이터셋 구축하기테스트 데이터셋을 생성하는 방법은 RAGAS에서 생성하거나, 직접 입력해서 추가할 수 있습니다.과정question-retrieval 평가: 검색한 결과(retrieval)과 질문(question)과 관련성이 있는지 평가question-answer 평가: LLM이 생성한 답변(answer)이 질문과 얼마나 관련성이 있는지 평가retrieval-answer 평가: LLM이 생성한 답변이 검색된 결과 안에서 답변하였는지 평가. 특히, 할루시네이션 확인에 필요ground truth: 평가나 학습을 위해 사람이 정해 놓은 기준 정답. 이를 기준으로 검색이나 응답 결과의 정확도를 판단할 수 있습니다. 2️⃣ LLM-as-a-judge로 평가하기LLM을 평가자로 활용하는 방식입니다.qu..

https://arxiv.org/pdf/2401.18059 트리 구조를 만들어 하위 노드의 구체적인 내용을 요약해서 상위 노드를 만들어 가는 컨텍스트로서 재귀적 요약을 수행한다.즉, 하위 레이어의 청크를 요약해서 클러스터를 만들고, 클러스터의 내용을 요약해서 상위 레이어의 요약본을 만드는 방식 RAPTOR는 긴 문서에서 정보를 효율적으로 추출하기 위해 재귀적인 요약 및 클러스터링을 통해 계층적 트리 구조를 생성합니다. 기존 방식이 짧은 텍스트 조각만 검색하여 전체적인 맥락 이해에 한계가 있었던 반면, RAPTOR는 다양한 추상화 수준에서 정보를 통합합니다. 연구는 RAPTOR가 질의응답(QA) 작업에서 기존 검색 방식보다 우수합니다. 이 시스템은 확장성과 계산 효율성이 뛰어나 방대한 텍스트 코퍼스 처리에..

1편에 이어.. 2편엔 AI 기능 구현에 대해 자세히 작성해보려고한다. [비사이드 508 AI 포텐데이] 10일간의 챌린지 후기 1508 AI 포텐데이❎NAVER Cloud | Notion🧿 프로그램 특징bside.notion.site 1️⃣ 포텐데이 참가 이유포텐데이는 10일간 불태우는 프로젝트 경진대회이다.서론이 길다...퇴사한지 벌써 반년이 지나가면서 사wavetoai.com 1. 서비스 간단 소개 T성향이 ‘티’나는 사람을 위한 F 공감 시뮬레이션 챗봇 서비스 우리의 거리는 몇 미터? | Notion한눈에 보기 👀ubiquitous-blackberry-1d3.notion.site*최종 산출물 노션페이지여기서 서비스 소개서 및 프로토타입을 확인 할 수 있다. 나티나??나티나?? has 5 re..

Stuff문서 전체를 단일 프롬프트에 한 번에 넣어 요약문서 크기가 작을 때 적합Map-ReduceMap 단계: 문서를 작은 청크로 나눈 뒤 각각 요약Reduce 단계: 각 청크의 요약을 최종 요약본으로 통합한 번에 합치는 과정에서 요약본의 순서가 바뀔 수 있음. Map-RefineMap 단계: 문서를 작은 청크로 나눈 뒤 각각 요약Refine 단계: 생성된 요약을 순차적으로 처리하여 최종 요약본을 점진적으로 개선요약본을 순서대로 처리하므로 문서의 맥락이 어느 정도 유지된다는 장점이 있다. 다만, 비용과 시간이 더 많이 든다. 4. Chain of Density논문 초기에 엔티티가 적은 요약을 생성한 후 길이를 늘리지 않으면서 누락된 중요 엔티티들을 반복적으로 통합하여 밀도 높은 요약을 완성5. Clus..