Model Finetuning - 나만의 데이터로 학습 시키면서 겪은 문제#2

지난 글에서 모델 파인튜닝을 진행하기전에 고려해야할 사항 (컴퓨터 환경, 모델선택, 데이터셋 선택 등)과 파인튜닝 기법에 대해 알아보았다. 오늘은 모델을 로컬 환경에서 파인튜닝하는 과정에 대해서 소개하고자한다. 모델을 파인튜닝 하는 과정은 크게 다음과 같다. 데이터 수집 데이터 전처리 모델 학습 모델 평가 데이터 수집 지난 글에서 데이터셋으로 korean_rlhf_dataset 에서 2000개, 자체 제작 데이터 50개를 사용하기로 하였다. 1. korean_rlhf_dataset 데이터셋 다운로드 및 2000개 데이터 추출 git clone https://huggingface.co/datasets/jojo0217/korean_rlhf_dataset import jsonlines # Read the fi..

• format_list_bulleted DataScience/LLM
• · 2023. 10. 25.
• textsms

Model Finetuning - 나만의 데이터로 학습 시키면서 겪은 문제#1

회사에서 요즘 LLM을 사용하기 위해 다양한 테스트 코드도 작성해보고, 리서치를 진행 하고 있다. 그러던 중 LLM 모델을 파인튜닝 해볼 기회가 생겼다. 그 과정에서 겪은 문제들을 중점으로 기록하고자 한다. 오늘은 모델 파인튜닝을 진행하기전에 고려해야할 사항, 파인튜닝 기법에 대해 설명하고자 한다. 1. 컴퓨터 환경 LLM 모델을 파인튜닝하기 위해서는 반드시 필요한 것이 GPU 사양이다. 회사에서 Nvidia A6000 48GB 2개를 지원해주셨고, Cuda 또한 설치되어 있는 상황이었다. 2. 어떤 LLM 모델을 파인튜닝 해볼 것인가? Nvidia A6000 48GB 2개로 돌릴 수 있는 모델은 아무래도 한정적일 수밖에 없었다. 영어로 뛰어난 성능을 가진 모델이 많은 것으로 알고 있다. 그래서 일단, ..

• format_list_bulleted DataScience/LLM
• · 2023. 10. 24.
• textsms