우주수첩의 우주먼지

https://opensearch.org/docs/latest/install-and-configure/install-opensearch/docker/#sample-docker-composeyml Docker Docker opensearch.org 위의 링크를 타고 들어가 docker-compose.yml 파일을 복사한 후 원하는 경로에 yml 파일을 생성한다. 이후 PowerShell 혹은 cmd 창을 열어 해당 yml 파일이 있는 경로로 이동한 뒤 docker-compose -f docker-compose.yml up 위의 명령어를 입력하여 Container를 구축한다. 그러면 밑에 이렇게 체크표시 말고도 우르르쾅쾅 뭐가 많이 생긴다. 모두 진행이 되면 컨테이너가 잘 생성되었음을 Docker Deskt..

UnexpectedStatusException: Error for Training job huggingface-peft-2023-11-07-00-53-07-2023-11-07-02-17-27-231: Failed. Reason: AlgorithmError: ExecuteUserScriptError: ExitCode 1 ErrorMessage "raise ValueError( ValueError: The model you want to train is loaded in 8-bit precision. Training an 8-bit model is not supported yet." Command "/opt/conda/bin/python3.9 run_clm.py --dataset_path /opt/ml/in..

AWS SageMaker에서 모델을 돌리던 도중에 오류가 발생했다. MarkAny Document Safer Warning! : The Contents copied from encrypted document can not be pasted to non-encrypted one! Reason : AlorithmError: excuatreUserScriptError ExitCode 1 ErroeMessage "NotImplementedError: Cannot copy out of meta tensor; no data!" Command "\opt/conda/bin/python3.9 run_clm.py --dataset_path /opt/ml/input/data/training --epochs 3 --lr 0...

허깅페이스와 LoRA를 사용하여 단일 Amazon SageMaker GPU에서 대규모 언어 모델(LLM) 훈련하기 : aws 기술 블로그 파운데이션 모델 (foundation model) : 대규모 데이터셋과 여러 작업을 통해 훈련된 대규모 모델은 훈련되지 않은 특정 작업에도 일반화 성능이 높게 나타나는 모델. 파인 튜닝(Fine-Tunning) : 특정 도메인이나 작업에 대한 대규모 모델의 성능을 개선하기 위해 더 작은 작업별 데이터 셋으로 모델을 추가로 훈련하는 것. 단점 LLM의 정확도를 성공적으로 개선, 원본 모델의 모든 가중치 수정 필요 → 비용 부담 원본 모델과 동일한 크기의 모델을 생성 → 저장소 용량 부담 요약 파인 튜닝 데이터셋 크기가 훨씬 작기 때문에 사전 훈련 보다 빠르지만 여전히 상..