업무자동화와 AI로 일하는 방법을 기록합니다.태그
#로컬 LLM 2
로컬 LLM 도구 3개로 사내 문서 RAG를 시도한 기록, Ollama·LM Studio·AnythingLLM
Ollama·LM Studio로 한국어 모델을 받고 AnythingLLM으로 사내 규정 문서 RAG를 묶어 봤습니다. 몇 달 만에 문서에 근거한 답이 나왔지만, 그때 답변 모델은 로컬이 아니라 클라우드(Gemini)였습니다.
사내 LLM RAG 구축 ② 문서는 100% 찾고 답은 0%, 노트북 사흘 시험
노트북 한 대로 사내 문서 AI 챗봇을 사흘간 띄워 봤습니다. 관련 문서는 100% 찾았지만 문서 내용으로 답한 비율은 0%였고, 이 실패로 이후 설계의 방향이 정해졌습니다.