Developer's Development

자연어-이미지 멀티모달 개요 멀티모달 학습서로 다른 종류의 데이터를 함꼐 처리하고 학습하는 방법을 의미한다. 예를 들어, 텍스트와 이미지, 텍스트와 음성, 이미지와 센서 데이터 등 이질적인 데이터를 하나의 모델 또는 시스템에서 통합적으로 처리하는 기술이다. 멀티모달 학습의 핵심각 모달리티의 표현을 추출한 뒤, 이들을 효과적으로 결합하고 상호작용을 학습하는 것특히 텍스트와 이미지를 결합하는 경우, 사람의 직관적인 인지 능력에 가까운 AI 응용이 가능 대표적인 활용 분야이미지 캡셔닝: 시각 정보를 문장으로 표현 (img → txt)텍스트 기반 이미지 생성: 상상한 장면을 그림으로 표현 (txt → img)이미지 기반 검색: 문장을 통해 유사한 이미지를 검색VQA (Visual Question Answerin..

Style Transfer Learning (스타일 전이 학습) Style Transfer는 하나의 이미지로부터 콘텐츠(content)를, 또 다른 이미지로부터 스타일(style)을 추출하여 두 요소를 결합한 새로운 이미지를 생성하는 기법이다.예를 들어, 직접 찍은 풍경 사진을 반 고흐의 화풍으로 변환하거나, 유명한 그림의 스타일을 우리가 찍은 인물 사진에 적용하는 것이 가능하다. 이 기술은 컴퓨터 비전뿐 아니라 예술 창작, 디자인, 애니메이션 분야에서도 널리 활용되고 있다. - 콘텐츠(Content): 이미지의 윤곽, 구조, 배치 등 실제 장면을 구성하는 정보이다. 예를 들어 어떤 물체가 어디에 배치되어 있는지에 대한 정보를 의미한다.- 스타일(Style): 색상 분포, 질감, 붓 터치 등의 시각적 요..

LeNet LeNet-5는 1998년에 Yann LeCun 등이 발표한 합성곱 신경망으로, 손글씨 숫자 인식에 사용되었다.LeNet은 딥러닝이 이미지 인식 분야에서 강력한 성능을 보일 수 있다는 것을 보여준 초기 모델이다. AlexNet AlexNet은 2012년 ILSVRC 대회에서 우승한 모델로, 딥러닝이 이미지 인식 분야에서 큰 혁신을 일으키는 계기가 되었다.👉🏻 주요 특징- ReLU 활성화 함수 사용: 시그모이드나 tanh 대신 ReLU를 사용하여 학습 속도를 크게 향상- 드롭아웃(Dropout): 과적합을 방지하기 위해 드롭아웃 기법을 도입- 데이터 증강: 데이터의 다양성을 높이기 위해 데이터 증강 기법을 적극 활용- GPU 병렬 처리: 대규모 데이터셋과 모델을 학습하기 위해 GPU를 사용..

합성곱 신경망 (Convolutional Neural Network, CNN) CNN의 기본 개념👉🏻 합성곱(Convolution)이란이미지 처리에서 주변 필셀과의 가중합을 계산하여 특징을 추출하는 연산이다.합성곱 신경망에서 합성곱 연산은 커널(또는 필터)을 사용하여 입력 데이터와의 내적을 수행한다. 합성곱 신경망의 구성 개요- 합성곱 계층(Convolutional Layer): 필터(커널)를 이용하여 이미지의 특징을 추출- 풀링 계층(Pooling Layer): 데이터의 크기를 줄이고 중요한 특징을 유지하여 연산량 감소- 완전 연결 계층(Fully Connected Layer): 최종적으로 학습된 특징을 바탕으로 분류 또는 회귀 수행- 배치 처리: 배치(Batch) 처리는 여러 개의 입력 데이터를 ..

OpenCV 오픈소스 컴퓨터 비전 라이브러리 주요 기능1. 이미지 처리2. 비디오 분석3. 컴퓨터 비전 알고리즘4. 딥러닝 통합 가상환경 생성conda create -n cv_env python=3.12conda activate cv_envpip install jupyter notebook ipykernel matplotlibpython -m ipykernel instal --user --name cv_env --display-name cv_env Jupyter Notebook!pip install opencv-python 1. 이미지 처리import cv2img = cv2.imread('maenggu.jpg') # cv2.IMREAD_COLOR (기본값)img = cv2.imread('maenggu.j..

DPO (Direct Preference Optimization) RLHF의 한계를 해결하기 위해 등장한 방법으로, 보상 모델 없이 선호 데이터를 직접 최적화하는 기법이다.RLHF보다 더 간단하고 효율적으로 모델을 미세 조정할 수 있다.- RLHF는 보상 모델을 학습 후 정책을 강화 학습(PPO)으로 최적화하지만, DPO는 보상 모델을 생략하고 직접 선호 데이터를 활용하여 모델을 업데이트한다. RLHF와 DPO 비교구분RLHFDPO학습 방식보상 모델을 학습한 후 강화 학습 적용선호 데이터(Preference Data)만을 사용해 직접 최적화보상 모델 필요 여부필요(Human Feedback → Reward Model)불필요 (선호 데이터를 바로 최적화)학습 과정 복잡성PPO 알고리즘 사용, 보상 모델 평..

RLHF (Reinforcement Learning from Human Feedback) RLHF는 사람의 피드백을 활용하여(사람의 선호 데이터를 기반으로) 모델의 성능을 개선하는 강화 학습 방법이다. 특히 사용자 경험을 최적화하거나 모델의 응답 품질을 높이는 데 유용하다. (모델이 응답 품질을 개선할 수 있도록 보상(reward)을 설계한다.) - 단순한 정답 학습이 아니라, "어떤 응답이 더 좋은가?"에 대한 선호 순위/피드백을 학습- 주로 대화형 LLM(ChatGPT, Claude) 등에 사용- 응답에 대한 보상 함수 R(α)를 사람이 설계하거나 평가하여 학습에 사용 RLHF 학습 과정👉🏻 주요 단계- 1단계: LLM을 기본적으로 학습시킨다.- 2단계: 사람이 모델 응답의 품질을 평가하여 보상 ..

PEFT (Parameter Efficient Fine-Tuning) PEFT는 모델 전체를 재학습하지 않고, 일부 파라미터만 조정하여 학습 비용을 줄이는 방법이다. 대규모 언어 모델 재학습 시 학습해야 할 파라미터 수가 줄어들어 메모리와 계산 비용이 크게 감소하여 효율성을 높이는 데 활용된다. 👉🏻 주요 특징- 효율성: 학습 시간과 비용 감소- 일관성: 기존 모델의 강점 유지- 적용성: 다양한 도메인에 쉽게 적용 가능 PEFT 기법 계열 구조 요약계열기법주요 특징파라미터 삽입형LoRA, DoRA, AdaLoRA모델 내부 weight 일부에 저랭크 행렬 삽입양자화 결합형QLoRA4bit 양자화 + LoRA로 저비용 고효율 학습입력 확장형Prompt Tuning, Prefix Tuning임베딩 앞에 가..