PERT와 LoRA란 무엇인가

파인튜닝의 새로운 대세: PEFT와 LoRA란?

요즘 AI 모델 파인튜닝을 이야기할 때 빠지지 않는 키워드가 있습니다.
바로 PEFT와 LoRA입니다.

💡 "기존 대형 모델을 빠르고 가볍게, 그리고 효율적으로 파인튜닝할 수 없을까?"
이 질문에 대한 해답이 바로 PEFT (Parameter-Efficient Fine-Tuning), 그리고 그 중 하나인 **LoRA (Low-Rank Adaptation)**입니다.

---

1. PEFT란 무엇인가요?

PEFT = Parameter-Efficient Fine-Tuning
(파라미터 효율적 파인튜닝)

 

PEFT는 대형 언어 모델(LLM)의 전체 파라미터를 학습하지 않고,
일부 파라미터 또는 추가 모듈만 학습함으로써 훨씬 효율적으로 파인튜닝하는 기법입니다.

💡 왜 PEFT가 필요한가요?

• GPT, LLaMA, BERT 등 초거대 모델은 수십억 개의 파라미터를 가지고 있습니다.
• 이런 모델을 전체 파인튜닝하려면 막대한 메모리와 시간, 비용이 들어갑니다.
• 그러나 많은 실제 사용 사례에서는 전체 모델이 아니라 일부 기능, 말투, 도메인 특성만 조정하면 충분합니다.

PEFT는 이런 상황에서 최소한의 비용으로 최대한의 효과를 낼 수 있게 해줍니다.

---

2. PEFT의 종류들

PEFT에는 다양한 방식이 존재합니다. 대표적인 것들은 아래와 같습니다:

방법	설명	장점
LoRA	저랭크 행렬을 삽입해 가중치 변화만 학습	성능 유지 + 연산량 대폭 감소
Adapter	기존 모델에 작은 모듈을 추가하고 그 부분만 학습	다양한 도메인에 빠르게 적용
Prompt Tuning	입력에 특수 토큰을 추가해 모델 출력을 유도	데이터 효율적, 빠른 튜닝
Prefix Tuning	Transformer의 키/값에 프리픽스를 넣어 학습	메모리/속도 효율 뛰어남

---

3. LoRA란 무엇인가요?

LoRA = Low-Rank Adaptation
"저랭크 행렬을 삽입하여 효율적으로 파인튜닝하는 방법"

 원리

Transformer 계열 모델에서는 대부분의 계산이 W * X 형태로 이루어집니다.
LoRA는 이 W를 학습하는 대신,
W + ΔW 중 ΔW를 저랭크 행렬 A, B로 근사하여 학습합니다.

• 기존 W는 그대로 고정
• 학습할 파라미터는 A, B 두 개의 저용량 행렬뿐!

기존 W를 학습하지 않기 때문에 기존 모델 성능은 유지

 

➡️ 메모리 사용량 감소, 빠른 학습, 기존 성능 유지라는 장점을 모두 갖게 됩니다.

---

4. LoRA의 특징과 장점

항목	설명
✅ 경량성	전체 모델이 아니라 일부만 학습 → GPU 메모리 절감
✅ 성능 유지	LoRA 적용 후에도 원래 모델 성능 유지
✅ 빠른 실험 가능	다양한 스타일/도메인/태스크로 빠르게 실험 가능
✅ 기존 LLM 재사용	GPT, LLaMA, BERT 등 다양한 모델에 적용 가능

---

결론

구분	핵심 개념
PEFT	파인튜닝할 때 모델 전체가 아니라 일부만 학습하는 기법
LoRA	PEFT의 대표 주자. 저랭크 행렬을 활용한 효율적 학습 방식

 

---

 

https://www.youtube.com/watch?v=0lf3CUlUQtA&ab_channel=SEMONAN

 

 

Project - MBTI 말투 변환기