우주수첩의 우주먼지

안녕하시렵니까.그간 다들 잘 지내셨는지요. 1,2월 블로그가 되게 조용했는데 이유인즉슨셀프 쌈박질 좀 하다가 왔습니다. (내가 이김)뱃지 자랑 먼저 하고 어떻게 공부했는지, 공부하다가 뭘 느꼈는지 좀 풀어볼게요 0. 베이스 컴퓨터융합학부 졸업. 컴퓨터 네트워크 과목 수강 with 처참한 학점 기억 저 편 어딘가에 분산 저장 되어있는 네트워크 지식 AWS 사용 경험 : 거의 0이라고 보면 됨. (옛날에 공부할때 잠깐...? 기억 하나도 안남. ) 사용해서 서비스 배포한 적 없음 아키테처를 구현 해 본적 없음 그냥 없음 아뇨 없어요 그냥 1. 공부 방법 및 기간 : 강의(20%) + dump(50%) + GPT(20%) / 두 달 강의 : http..

pre github action을 사용하여 ec2에 배포하는 것을 자동화 하는 테스트 진행 중 목적ec2에 접속하기 위한 pem key 등록 및 접속  name: EC2 deployon: push: branches: ["main"]jobs: deploy: runs-on: ubuntu-latest steps: - uses: actions/checkout@v4 - name: Run Tests run: echo "hello world"  1. 레포 -> Setting -> Secrets and variables -> action 선택- 깃허브 액션 용 시크릿 파일을 담아두게따.   2. New Repository secret -> 새로운 secret 정보 추..

AWS CloudTrailAWS 계정 활동 및 API 호출을 기록하여 감사, 보안등을 지원하는 서비스이벤트는 AWS Management Console, CLI, SDK, API에서 발생한 작업을 기록AWS 계정 생성 시 기본적으로 활성화. 주요 특징보안 및 운영 투명성: 누가, 어떤 작업을 했는지 추적 가능.다양한 활용성: 계정 활동 보고, 데이터 검색 및 분석, 보관. 활용 예시감사 로그 저장 및 보안 분석.이벤트 이상 탐지 및 모니터링.운영 및 규정 준수 지원. CloudTrail 이벤트 기록 방법이벤트 기록지난 90일간 한 리전의 관리 이벤트를 보기, 검색, 다운로드 가능.수정 불가능한 기록 제공.비용 없음.CloudTrail Lake데이터 레이크로 사용자 및 API 활동 데이터를 캡처, 저장, ..

# 관계형 데이터베이스 VS 비관계형 데이터베이스 관계형데이터베이스비관계형 데이터베이스영문RDBMSNoSQL저장 데이터 구조- 테이블, 인덱스, 뷰 등 사용- 열: 데이터 속성 | 행 : 데이터 값- 키-값 페어, JSON, 그래프 또는 거의 모든 다른 유형의 데이터 구조 - 테이블 형식 x데이터 조작 방법SQL같은 쿼리 언어를 사용SQL이 필요 없는 방시긍로 저장 및 쿼리데이터 스토리지 매커니즘규칙 기반 행과 열에 정형 데이터 저장개별 데이터 요소를 별도의 파일에 저장유연한 구조테이블 관계에 관한 엄격한 규칙- 정형 데이터 x- 파일, 비디오 같은 기타 비정형 콘텐츠 저장 가능데이터 무결성 매커니즘ACID 속성- 가용성 보장 / 강력한 일관성 보장 x-  최신 버전 보장. AWS 제공Amazon RDS..

어짜피 이렇게 팽 당한 과제 아까우니까 공부한거라도 적어두려고 합니당 모르면 이전 포스트 슝: 2023.11.09 - [🏝️ 멋찐넘 AWS/🚨 ERR] - [슬기로운 인턴생활 | AWS SageMaker & HuggingFace] The requested resource studio ... is not available in this region 정확하게는 어떤걸 하고 싶었냐면 Fine tunning을 함으로써 모델의 성능과 정확도를 더 올리고 싶었다죠 그래서 AWS 기술 블로그에 나와있는 허깅페이스와 LoRA를 사용하여 단일 Amazon SageMaker GPU에서 대규모 언어 모델(LLM) 훈련하기 를 진행하였답니당 허깅페이스가 저는 좀 생소했는데 이 칭구가 말이죠 사람들이 만든 모델들을 올려서 무료..

언제 또 이렇게 AWS를 마음대로 써 보겠는가!!! 기업체 최고다!!! 학생 신분에서 해 볼 수 없었던 마음 놓고 AWS 기능 쓰기를 진행하다 보면 **Failed to start kernel** Failed to launch app [sagemaker-data-scien-ml-g5-2xlarge-788bb6348367982dd036e22a2f37]. ResourceLimitExceeded: The requested resource studio/KernelGateway-ml.g5.2xlarge is not available in this region (Context: RequestId: 8c72bfde-4a66-44b2-9fd8-e05e5af45114, TimeStamp: 1698803755.498822..

UnexpectedStatusException: Error for Training job huggingface-peft-2023-11-07-00-53-07-2023-11-07-02-17-27-231: Failed. Reason: AlgorithmError: ExecuteUserScriptError: ExitCode 1 ErrorMessage "raise ValueError( ValueError: The model you want to train is loaded in 8-bit precision. Training an 8-bit model is not supported yet." Command "/opt/conda/bin/python3.9 run_clm.py --dataset_path /opt/ml/in..

AWS SageMaker에서 모델을 돌리던 도중에 오류가 발생했다. MarkAny Document Safer Warning! : The Contents copied from encrypted document can not be pasted to non-encrypted one! Reason : AlorithmError: excuatreUserScriptError ExitCode 1 ErroeMessage "NotImplementedError: Cannot copy out of meta tensor; no data!" Command "\opt/conda/bin/python3.9 run_clm.py --dataset_path /opt/ml/input/data/training --epochs 3 --lr 0...

허깅페이스와 LoRA를 사용하여 단일 Amazon SageMaker GPU에서 대규모 언어 모델(LLM) 훈련하기 : aws 기술 블로그 파운데이션 모델 (foundation model) : 대규모 데이터셋과 여러 작업을 통해 훈련된 대규모 모델은 훈련되지 않은 특정 작업에도 일반화 성능이 높게 나타나는 모델. 파인 튜닝(Fine-Tunning) : 특정 도메인이나 작업에 대한 대규모 모델의 성능을 개선하기 위해 더 작은 작업별 데이터 셋으로 모델을 추가로 훈련하는 것. 단점 LLM의 정확도를 성공적으로 개선, 원본 모델의 모든 가중치 수정 필요 → 비용 부담 원본 모델과 동일한 크기의 모델을 생성 → 저장소 용량 부담 요약 파인 튜닝 데이터셋 크기가 훨씬 작기 때문에 사전 훈련 보다 빠르지만 여전히 상..

어우씨 AWS 리소스 바로 삭제 안하고 정지 안해서 프리티어 범위 초과됐어여... 눈물 콸콸 오션뷰... 마이 공차 블랙 펄 밀크티 값이 날라가써... 돈 없는 대학생은 웁니다 엉엉 광광.... 여튼 고... # AWS Lambda 이벤트에 대한 응답으로 코드를 실행하고 자동으로 기본 컴퓨팅 리소스를 관리하는 서버리스 컴퓨팅 서비스 AWS Lambda를 사용하면 사용자 지정 로직을 통해 다른 AWS 서비스를 확장하거나, AWS 규모, 성능 및 보안으로 작동하는 자체 백엔드 서비스를 만들 수 있습니다 Serverless의 주축을 담당 serverless : 서버리스는 클라우드가 직접 서버를 생성하고 실행시키며 리소스를 서버의 사용량에 따라 직접 할당해줌을 의미한다. (사람의 간섭이 거의 없는 거라고 보면 ..