가던 blog

https://gadeonyy.tistory.com/12 [GenAI] 검색 증강 생성 (RAG)이란 무엇인가요?RAG에 앞서, Foundation Model이란?Foundation Model은 대규모의 비정형/비지도 데이터를 기반으로 학습된 AI 신경망 모델로, 다양한 작업에 범용적으로 적용될 수 있는 기반 모델을 의미합니다. 기존의 목gadeonyy.tistory.com 지난 번에, "검색 증강 생성 (RAG)"에 대해서 알아보았는데요,RAG 프로세스에 대해서 더 자세히 알아보겠습니다. 개괄적인 프로세스는 다음과 같습니다 Document Loader → Text Spliter → Embedding → Vector store → Retriever → Prompt → LLM → Chain ..

AGI 시대, 챗봇 UX는 어떻게 달라져야 하는가?Google DeepMind는 Post-AGI Research Scientist를 공개 채용했습니다. 이는 AGI를 넘어 “AGI 이후의 세상”, 즉 인간과 유사한 범용 지능을 가진 AI와 어떻게 공존할 것인가에 대한 연구의 시작을 의미합니다. “Post-AGI”를 준비하는 지금, 우리는 어떤 챗봇 경험을 설계해야 할까? 사용자 중심의 설계사용자 프로파일링: 연령, 언어 수준, 관심사, 이전 대화 히스토리를 바탕으로 맞춤 대화 흐름 제공컨텍스트 인지: 사용자가 이미 제공한 정보를 재활용하여 불필요한 반복을 줄이고 대화 만족도를 높입니다심리학적 설계: 친근한 톤, 긍정 강화 메시지, 공감 표현 등을 통해 몰입도를 높이고 이탈률을 낮춥니다텍스트를 넘어선 커뮤..

청소년을 위한 주식 투자 교육, TeensMate – AI 챗봇 시스템1. 문제 상황: 청소년 주식 투자 관심도 증가와 부족한 금융 교육최근 한국에서 청소년들의 주식 투자에 대한 관심이 급격히 증가하고 있습니다. 특히, 2019년부터 2022년까지 10대의 주식 계좌 개설 수가 3.7배 증가하며, 청소년들이 투자의 세계에 발을 들여놓고 있습니다. 하지만 주식 투자에 대한 관심도가 높아진 반면, 금융 이해력은 여전히 낮은 수준에 머물러 있습니다.2023년 현재, 청소년들의 금융 이해력은 평균 60점에 그치며, 2013년보다 개선되었지만 여전히 금융 교육의 필요성이 큽니다. 청소년들은 금융 관련 용어나 투자 상품에 대한 기본적인 이해가 부족하고, 그로 인해 합리적인 투자 판단을 내리는 데 어려움을 겪고 있습..

RAG에 앞서, Foundation Model이란?Foundation Model은 대규모의 비정형/비지도 데이터를 기반으로 학습된 AI 신경망 모델로, 다양한 작업에 범용적으로 적용될 수 있는 기반 모델을 의미합니다. 기존의 목적 지향적 모델들과 달리, 한 번의 학습으로 다양한 다운스트림 태스크(예: 번역, 요약, 이미지 분석, 질의응답 등)에 소량의 튜닝만으로 적용 가능하다는 점이 가장 큰 특징입니다.데이터: 대부분 라벨 없는 방대한 텍스트, 이미지, 영상 등 비정형 데이터.학습 방식: 주로 자가(supervised) 학습 또는 비지도(unsupervised) 학습.활용 범위: 언어 → 영상 → 멀티모달 → 물리 기반 AI까지 빠르게 확장 중.GPT, BERT, PaLM, LLaMA, Claude 등이..

*데이터 베이스 관련 알아두면 좋은 것!**계속 내용 고도화 필요....* 1. RAID (Redundant Array of Independent Disks)여러 개의 하드디스크를 하나처럼 묶어서 사용하는 방식목적: 속도 향상 또는 데이터 안전성 확보내용 정리 (대표적인 RAID 종류)RAID특징장점단점RAID 0스트라이핑 (데이터 분산 저장)빠른 속도장애 시 복구 불가RAID 1미러링 (복제 저장)높은 안정성저장 공간 절반 사용RAID 5스트라이핑 + 패리티 (오류 복구 정보)효율+안정성느린 쓰기RAID 10RAID 1 + RAID 0속도+안정성많은 디스크 필요심화 이해RAID는 하드웨어 방식(전용 장비 사용)과 소프트웨어 방식(OS 기반)이 있음패리티란? 데이터 오류를 검출하고 복구하기 위한 체크 정..

Tablespace와 Data File에 대해 알아보겠습니다.Data File디스크에 실제 존재하는 파일이며, 이런 파일들이 하나 이상 모여 Tablespace를 구성합니다. Blocks (블록)Database는 데이터를 블록(Block) 단위로 읽고 저장합니다.운영체제 블록과 오라클 데이터 블록으로 구분되며 시스템의 I/O 단위로 이해할 수 있습니다.대부분의 데이터베이스는 8kb가 적합하며, Oracle의 경우에도 기본 블록 사이즈가 8kb입니다.이때, 데이터베이스의 튜닝에서 중요한 것은 이 블록 단위 I/O를 줄이는 것입니다. SegmentsTablespace의 조각으로, Tablespace를 구성하는 논리적인 저장 단위입니다.Table 및 Index 같은 것들이 segment에 해당됩니다. [참고]..

앙상블 학습은 두 개 이상의 모델을 생성하고 결합함으로써 예측에 대한 합의에 도달하는 방법입니다. 앙상블 학습을 활용하는 2가지 이유1. 앙상블 학습 프레임워크는 앙상블을 구성하는 개별 모델보다 더욱 견고하다.2. 예측 오차의 분산이 감소한다. 앙상블 학습이 유용한 경우1. "최적의" 모델을 선택할 수 없음데이터 세트의 일부 분포에서는 서로 다른 모델이 나은 성능을 보이는 상황이 발생할 수 있습니다. 2. 데이터의 초과/부족많은 양의 데이터가 있는 경우, 하나의 모델을 대량의 데이터로 훈련하는 대신, 분류 작업을 여러 모델에 나누어 분산시키고 예측 시간 동안 앙상블할 수 있습니다.반면, 사용 가능한 데이터가 작은 경우, *Bootstrapping 전략을 사용할 수 있습니다. * Bootstrap: 데이터..

우연히 유튜브 알고리즘을 타고 을 시청했습니다. https://www.youtube.com/watch?v=ZFWCcA7AoMQ Cloud, Database, JAVA, Generative AI.. 지식의 홍수 속에서"과연 내가 목표를 가지고 학습하고 있을까?"라는 의문을 가지게 되었습니다. 어느샌가 홍수에 주도권을 빼앗긴 것 같은데, 이 영상을 보고 다시 마음을 다잡게 되어 공유합니다 ჱ̒¯꒳¯) 빅픽처를 생각하기 과제가 주어졌을 때, 항상 질문하는 습관을 기르자. "이걸 내가 왜 이렇게 해야 되지?""어떻게 하면 이 문제를 풀 수 있을까?" 교육을 수강하며, 귀에 꽂힌 단어는 "내재화"였습니다.사내 식당에서도 이 단어를 들었는데요.. 하지만 돌아보면, 저는 그동안 생각만하고 행동으로 옮기지 않았던..