LoRA (Low-Rank Adaptation)

거대 모델의 모든 파라미터를 다시 학습시키는 대신, 원래 가중치는 그대로 두고 작은 저랭크 행렬을 추가로 학습시켜 원하는 방향으로 모델을 조정하는 기법이다. 메모리와 연산 비용을 크게 줄이면서도 전체 파인튜닝과 비슷한 효과를 낼 수 있어, 개인이나 작은 팀이 자체 GPU로 모델을 커스터마이징할 때 표준처럼 쓰인다.

제한된 GPU 자원으로 오픈소스 모델을 특정 스타일이나 도메인에 맞게 조정하고 싶을 때 쓴다.

API로 제공되는 상용 모델을 프롬프트만으로 충분히 원하는 결과를 얻을 수 있다면 LoRA 학습까지 갈 필요는 없다.

Claude Code 자체를 LoRA로 커스터마이징하지는 않지만, 로컬 오픈소스 모델을 자체 코딩 어시스턴트로 튜닝할 때 개발자들이 실제로 쓰는 기법이다.

오픈소스 언어 모델에 LoRA를 적용해 특정 코딩 스타일이나 사내 API 패턴을 학습시키는 식으로 활용된다.