2025/06/19 3

RAG & Agent 시스템 성능 검증은 어떻게 할까?

1. RAG 시스템 성능 검증1.1 컴포넌트별 평가 (Component-wise Evaluation)1.1.1 Retrieval 성능 평가지표공식설명측정 방법Precision@KP@K = (관련 문서 수 in top-K) / K상위 K개 중 관련 문서 비율수동 라벨링 또는 자동 판정Recall@KR@K = (검색된 관련 문서 수) / (전체 관련 문서 수)전체 관련 문서 중 검색된 비율완전한 관련성 데이터셋 필요Mean Reciprocal Rank (MRR)MRR = (1/|Q|) Σ (1/rank_i)첫 번째 관련 문서의 평균 역순위여러 쿼리에 대한 평균Normalized DCG (NDCG)NDCG = DCG / IDCG순위를 고려한 누적 이득관련성 점수 기반 (0-3점 등)Hit RateHR@K = ..

NLP | LLM 2025.06.19

[카카오 코테 2018 | python] 비밀지도

문제 링크 : https://school.programmers.co.kr/learn/courses/30/lessons/17681level1프로그래머스Q1) 문제를 어떻게 이해했나요?A1) 주어진 두 지도를 각각 이진수 형태로 변환하고, 각 위치에서 둘 중 하나라도 벽(1)이면 전체 지도에서 벽으로 표시해야합니다.Q2) 어떤 방식으로 풀건가요?A2) OR 연산을 수행하여 둘 중 하나라도 1이면 1이 되도록 처리를 합니다. 그리고, 그 결과를 n자리의 2진수로 변환합니다.2진수 문자열에서 '1' 은 '#'으로 '0'은 ' '으로 치환하여 리스트로 반환합니다. 🔥 내 코드: 2진수를 직접 구하는 함수를 만들었음def num_to_2(n, num): result = "" while num > 0: ..

Algorithm 2025.06.19

[카카오 코테 2018 | python] [1차] 다트 게임

문제 링크: https://school.programmers.co.kr/learn/courses/30/lessons/17682level1Q1) 이 문제 어떻게 이해하셨나요?A1) 이 문제는 다트 점수를 규칙에 따라 계산한 다음 총합을 구하는 문제라고 이해했습니다. 다트는 총 3세트로 구성이 되어있고, 각 세트는 점수, 보너스, 옵션으로 구성되어있습니다.Q2) 어떻게 풀 계획인가요?A2) 우선 입력값의 문자열을 순서대로 탐색하면서 점수, 보너스, 옵션을 파싱합니다.점수를 계산한 후, 옵션에 따라 현재 점수와 이전 점수를 처리하고 마지막에 점수 리스트의 합을 반환합니다.*풀이 과정1. 먼저 문자열을 탐색하면서 점수를 뽑는데, 10은 두자리 숫자라서 예외처리를 해줘야합니다.2. 점수를 뽑았으면 그 다음 문자는..

Algorithm 2025.06.19
728x90