LangChain 2

[RAG] 3. Sparse Retrieval와 Dense Retrieval (+Ensemble, Reranker)

Sparse Retrieval전통적인 키워드 기반 검색 방식으로 빠르고 직관적이며 적은 자원이 필요하지만, 의미 기반 검색이 어렵다는 한계가 있음.희소 벡터 형태로 표현하여 검색 수행 희소 벡터: 전체 어휘 사전의 크기에 해당하는 차원을 가진 벡터, 해당 문서나 쿼리에 등장하는 단어에 해당하는 위치만 1이고 나머지는 모두 0인 형태를 갖는다.TF-IDF: 특정 단어가 문서에 나타나는 빈도와(TF) 그 단어가 몇 개의 문서에서 나타나는지(IDF)를 반영하여 단어의 중요도를 계산합니다. 여기서 자주 나타나면서도 문서 집합 전체에 드물게 나타나는 단어가 높은 가중치를 받음.TF: 단어 t의 문서 d 내 등장 횟수 / 문서 d의 총 단어 수IDF: log(전체 문서 수 / 단어 t가 등장하는 문서 수)문서 길이..

NLP | LLM 2025.06.24

[LangChain] 1. LangChain의 모든 것

LangChainLLM을 활용한 애플리케이션 개발을 위한 오픈소스 프레임워크LLM과의 상호작용, 메모리 관리, 체인 실행, 데이터 처리 등을 통해 복잡한 AI 애플리케이션을 효율적으로 구축할 수 있음.LangGraph: 그래프 기반 모델링을 도와주는 패키지로, 여러 작업을 동시에 처리하거나 특정 조건에 따라 작업을 분기하는 복잡한 애플리케이션을 설계할 수 있음.LangSmith: LLM 애플리케이션을 디버킹, 테스트, 평가, 모니터링할 수 있는 개발자 플랫폼LangServe: REST API 배포를 도와주는 패키지, 랭체인의 체인을 REST API로 간편하게 배포할 수 있음.장점: 특정 작업을 수행할 때 원하는 기능을 손쉽게 사용할 수 있어 프로젝트의 복잡성을 줄이고 개발 효율을 극대화 함모듈성: 모든 ..

NLP | LLM 2025.06.17
728x90