728x90

amazon 4

[AWS SageMaker / HuggingFace] 허깅페이스와 LoRA를 사용하여 단일 Amazon SageMaker GPU에서 대규모 언어 모델(LLM) 훈련하기 | 인턴

어짜피 이렇게 팽 당한 과제 아까우니까 공부한거라도 적어두려고 합니당 모르면 이전 포스트 슝: 2023.11.09 - [🏝️ 멋찐넘 AWS/🚨 ERR] - [슬기로운 인턴생활 | AWS SageMaker & HuggingFace] The requested resource studio ... is not available in this region 정확하게는 어떤걸 하고 싶었냐면 Fine tunning을 함으로써 모델의 성능과 정확도를 더 올리고 싶었다죠 그래서 AWS 기술 블로그에 나와있는 허깅페이스와 LoRA를 사용하여 단일 Amazon SageMaker GPU에서 대규모 언어 모델(LLM) 훈련하기 를 진행하였답니당 허깅페이스가 저는 좀 생소했는데 이 칭구가 말이죠 사람들이 만든 모델들을 올려서 무료..

[AWS] RDS_Database Backup

더워더워더워더워더워더워더웓어ㅝㄷ어ㅜ더ㅜ얻 # Database Backup 방법 1. Automated Backup (자동 백업) 2. DB Snapshots (데이터베이스 스냅샷) # Automated Backup (AB / 자동 백업) 1. Retention Period(1-35일) 안의 사용자가 원하는 날짜의 상태로 DB 복원 가능 == Point in time(PIT) 기능 2. AB는 그날 생성된 스냅샷과 Transaction logs(TL)을 참고 TL을 끊임 없이 생성 복원 시 유저가 선택한 날짜에 해당되는 log를 참고하여 복원 진행 3. 디폴트로 AB기능이 설정되어 있으며 백업 정보는 S3 buket에 저장 ★ S3 buket은 RDS 인스턴스에 해당되는 용량 만큼만 무료로 사용할 수 있고..

[AWS] IAM

IAM이란? 유저, 접근 레벨 및 권한에 대해 관리하는 시스템 # 특징 접근 키, 비밀 키 제공 매우 세밀한 접근 권한 부여 기능 비밀번호 수시 변경 요구 Multi-Factor Autentication 기능 1. 접근 키, 비밀 키 제공 우리가 AWS 계정을 만들게 되면 해당 계정은 Root 계정이 된다. 이 계정은 다른 User를 생성할 수 있다. Root 유저 계정에서 User A를 생성하면 IAM은 A에 대한 접근 키와 비밀 키를 생성해준다. 유저 A는 이 접근 키와 비밀 키를 가지고 AWS의 다양한 서비스들을 사용할 수 있게 된다. 접근 키, 비밀 키를 AWS 접속시에 사용되는 비밀번호와 혼동하는 경우가 있는데 명확하게 다르다. 접근 키와 비밀 키를 가지고 터미널에서 쓰이는 커맨드 라인 인터페이..

[AWS] AWS(Amazon Web Service)

AWS(Amazon Web Service) 란? 아마존 웹 서비스는 다른 웹 사이트나 클라이언트측 응용 프로그램에 대해 온라인 서비스를 제공하고 있다. 이러한 서비스의 상당수는 최종 사용자에 직접 공개되는 것이 아니고, 다른 개발자가 사용 가능한 기능을 제공하는 플랫폼을 제공하는 서비스형 플랫폼이다. # 특징 클라우드 컴퓨팅 원격 상에 존재하는 서버가 직접 작동되고 운영되며 데이터가 프로세싱 되는 것. 서버리스 기능 지원 클라우드가 서버를 작동시키고 관리하면 메모리 할당에 대하여 최적의 유연한 방식을 추천하여 운영하는 것

728x90