Sparse Retrieval전통적인 키워드 기반 검색 방식으로 빠르고 직관적이며 적은 자원이 필요하지만, 의미 기반 검색이 어렵다는 한계가 있음.희소 벡터 형태로 표현하여 검색 수행 희소 벡터: 전체 어휘 사전의 크기에 해당하는 차원을 가진 벡터, 해당 문서나 쿼리에 등장하는 단어에 해당하는 위치만 1이고 나머지는 모두 0인 형태를 갖는다.TF-IDF(Term Frequency-Inverse Document Frequency): 특정 단어가 문서에 나타나는 빈도와(TF) 그 단어가 전체 문서에서 얼마나 희귀하게 나타나는지(IDF)를 반영하여 단어의 중요도를 계산합니다. 여기서 자주 나타나면서도 문서 집합 전체에 드물게 나타나는 단어가 높은 가중치를 받음.단어 빈도(Term Frequency, TF): ..

LangChainLLM을 활용한 애플리케이션 개발을 위한 오픈소스 프레임워크LLM과의 상호작용, 메모리 관리, 체인 실행, 데이터 처리 등을 통해 복잡한 AI 애플리케이션을 효율적으로 구축할 수 있음. [주요 패키지]langchain-core: 랭체인의 중심 역할, LLM, Vector Store, Retriever 와 같은 중요한 기능들을 정의하는 기본구조 포함langchain: chain, agent, retriever 등 특정 서비스에 국한되지 않고, 다양한 환경에서 재사용할 수 있게 설계langchain-community: 랭체인 커뮤니티에서 유지 관리하는 다양한 타사 서비스 통합. LLM, Vector Store, Retriever 등파트너 패키지: langchain-[partner], 예) l..