1. Vue.js 앱을 로컬호스트로 올리기(1) Ubuntu 설치2025.02.28 - [데이터 분석] - Windows에서 WSL2와 Ubuntu 설치 및 Docker 사용하기(2) Node.js 설치sudo apt updatesudo apt install nodejs npm (3) Vue CLI 설치npm install -g @vue/cli (4) 새로운 Vue 프로젝트 생성vue create my-vue-app (5) Vue 앱 실행cd my-vue-appnpm run serve `http://localhost:8080`로 접속하여 Vue 앱이 정상적으로 실행되고 있는지 확인  2. 코드 수정하기(1) Vim 사용cd my-vue-appvim src/App.vue- `i` 키로 편집 모드- 코드 수..

Granger 인과관계(Granger Causality)란?Granger 인과관계(Granger Causality)는 시계열 데이터의 인과관계를 통계적으로 분석하는 기법이다. "변수 X가 변수 Y의 미래 값을 예측하는 데 유의미한 정보를 제공하는가?"라는 질문에 답하기 위해 고안된 방법이다.Granger 인과관계의 핵심 개념은 시계열의 시간적 선후 관계에 있다. 단순한 상관관계와는 다르게, 과거의 X 값이 Y의 미래 값을 얼마나 잘 예측하는지를 살펴본다는 점이다.Granger 인과관계의 수학적 정의Granger 인과관계는 다음의 두 개의 자기회귀(Autoregressive, AR) 모델을 비교함으로써 정의된다.1. 기준 모델 (Baseline Model)$Y_t = \alpha_0 + \sum_{i=1}..

OllamaOllama는 GPT-4o나 Gemini와 같은 LLM을 로컬 컴퓨터에서 돌릴 수 있도록 돕는 도구이다. 물론 오픈 소스로 풀린 LLM만 사용할 수 있긴 하지만 요즘엔 Llama나 Gemma 같은 성능이 좋은 오픈 소스 모델도 많이 등장했기 때문에 더욱 떠오르고 있는 툴이다.근데 왜 로컬 컴퓨터에서 굳이 LLM을 실행시켜야 할까? 크게 두 가지 장점이 있을 것이다.1. 보안 강화딥시크 사태에서 알 수 있듯, 웹을 통해 사용하는 LLM은 내 데이터가 유출될 가능성이 있다. 딥시크 뿐만 아니라 OpenAI의 ChatGPT도 별도 설정을 하지 않을 경우 대화 내용을 모델 학습에 사용하게 되며, 임시 채팅을 하더라도 최대 30일동안 채팅 내용을 보관하게 된다. 혹시라도 OpenAI가 해킹을 당한다면 ..

배경Windows 환경에서 가장 접근하기 쉬운 Docker 설치 방법은 Docker Desktop를 이용하는 것이다. 하지만 Docker Desktop은 개인 용도로 사용한다면 무료지만 상업적으로 사용하려면 돈을 지불해야만 한다.하지만 Docker Desktop이 아닌 Docker만 사용하는 것은 상업적으로 무료다. 그러므로 Windows에서 Linux 환경을 쓸 수만 있다면 Docker를 라이센스 문제 없이 상업적으로도 사용할 수 있다. 그걸 위하여 WSL2와 Ubuntu를 설치하고 해당 환경에서 Docker까지 설치해보도록 한다. WSL2 설치1. PowerShell을 관리자 권한으로 실행 2. `wsl --install` 명령어를 통해 WSL 설치기본적으로 WSL2가 설치되는데, 혹시 모르니 다음 ..

서론올해로 4년째 해보는 토이 프로젝트이다. 먼저 결론부터 쓰자면 2024 KBO MVP는 김도영이 될 것으로 머신러닝 예측 결과가 나왔다. 2021년부터 계속해온 MVP 예측 결과를 정리하면 아래와 같다.연도예측결과2021미란다미란다2022(잊음)이정후2023페디페디2024김도영??? 2022년에는 잊고 있어서 빼먹었고, 2021, 2023년은 MVP 발표가 된 후 예측했던 거라 감흥이 적었다면 올해는 MVP 발표가 되기 전이라 결과가 기대된다. 아래부터는 어떻게 예측했는지를 설명하고자 한다. 데이터 수집 및 정제당연한 소리지만 우선 데이터를 수집해야한다. 투, 타 모두 연도별로 선수 성적 데이터를 가져오는데 전체 데이터를 가지고 오면 MVP가 매우 적은 불균형한 데이터가 된다. 이를 막기 위해 연도별..

2024.06.03 - [AWS] - [AWS Summit Seoul 2024] LLM의 프롬프트 엔지니어링2024.07.22 - [데이터 분석/LLM] - LangChain을 이용한 RAG - (5) 생성 편아이디어이전에 AWS Summit에서 고급 RAG라고 해서, RAG로 문서와 관계 없는 질문을 하면 성능이 떨어지기 때문에 필요할 때만 RAG를 사용하도록 하라고 했었다.참고: [발표자료][생성형 AI 및 기계 학습] Amazon Bedrock을 활용한 프롬프트 엔지니어링 모범사례 (awscloud.com) 나는 이에 대해 아래와 같은 아이디어를 냈었는데 직접 구현해보기로 했다. 1. 주제가 다른 문서마다 벡터스토어를 따로 만들기2. 사용자의 질문이 들어오면 LLM을 통해 어느 벡터스토어를 거쳐야할..

2024.07.15 - [데이터 분석/LLM] - LangChain을 이용한 RAG - (4) 검색 편Augment & GenerateRetriever를 통해 찾은 문서를 프롬프트에 증강(Augment)하고 LLM을 통해 답변을 생성(Generate)하는 과정이다. 이로써 RAG의 R, A, G가 모두 제 역할을 마치게 된다.  Chain을 이용한 생성LangChain에 왜 Chain이 붙었는지에 대한 이유를 여기서 알 수 있게 된다.from langchain_openai import ChatOpenAIfrom langchain_core.output_parsers import StrOutputParserfrom langchain.schema.runnable import RunnablePassthrough..

2024.07.11 - [데이터 분석/LLM] - LangChain을 이용한 RAG - (3) 벡터 DB 편Retrieve드디어 RAG의 R을 수행한다. LangChain에서는 벡터스토어를 통해 검색을 하게 되며, 3편을 보면 벡터스토어를 선언할 때 임베딩 모델을 함께 넣어주기 때문에 사용자 입력(쿼리)을 벡터스토어가 알아서 임베딩해주고 그 결과를 가지고 검색을 수행한다.vectorstore_faiss = FAISS.from_documents( documents=split_docs, embedding=hf # HuggingFaceBge 임베딩 모델)  벡터스토어를 통해 바로 검색하는 방법이 있고, 벡터스토어를 retriever(검색기)로 변환한 후 검색하는 방법이 있다.query = "리셀은 암표와..

2024.07.06 - [데이터 분석/LLM] - LangChain을 이용한 RAG - (2) 문서 임베딩 편벡터 DB말 그대로 "벡터" 데이터를 효율적으로 저장하고 빠르게 검색하는데 최적화된 데이터베이스이다. 벡터 DB를 사용하는 이유는 1편에서 간단하게 설명했었다. 나는 거지이기 때문에 무료인 FAISS, Chroma DB를 사용하였다.  벡터스토어 생성벡터스토어는 벡터DB와 동일한 개념으로 사용되는 용어다. LangChain에서는 벡터스토어라고 표현을 했기 때문에 나도 그에 맞춰 작성을 하였다.from langchain_community.vectorstores import FAISS, Chromavectorstore_faiss = FAISS.from_documents( documents=spl..

Amazon Q Developer= 개발자를 위한 챗봇이다. 코드를 어떻게 작성해야 해결할 수 있을지 물어보고, 에러가 있을 때 해결방법을 알려주는 기능을 제공한다. 여기까지는 일반 LLM과 다른 점을 찾기 힘들다고 할 수 있겠지만 이외에도 [프로젝트의 전체 코드 확인 및 자동 주석 추가], [보안 취약점 확인 및 개선법 제공], [AWS 콘솔에서 오류 발생 시 해결책 제시], [네트워크 연결성 및 VPC 접근성 분석], [Code Transformation(Java 8에서 17로 업그레이드 기능)] 등을 제공한다.여기에 가장 추천하고 싶은 기능은 코드 작성 도우미인 [Code Whisperer]이다. Code Whisperer는 Github Copilot과 유사한 작업을 하여 코드 문맥이나 주석에 맞춰..