우주수첩의 우주먼지

pre github action을 사용하여 ec2에 배포하는 것을 자동화 하는 테스트 진행 중 목적ec2에 접속하기 위한 pem key 등록 및 접속  name: EC2 deployon: push: branches: ["main"]jobs: deploy: runs-on: ubuntu-latest steps: - uses: actions/checkout@v4 - name: Run Tests run: echo "hello world"  1. 레포 -> Setting -> Secrets and variables -> action 선택- 깃허브 액션 용 시크릿 파일을 담아두게따.   2. New Repository secret -> 새로운 secret 정보 추..

AWS CloudTrailAWS 계정 활동 및 API 호출을 기록하여 감사, 보안등을 지원하는 서비스이벤트는 AWS Management Console, CLI, SDK, API에서 발생한 작업을 기록AWS 계정 생성 시 기본적으로 활성화. 주요 특징보안 및 운영 투명성: 누가, 어떤 작업을 했는지 추적 가능.다양한 활용성: 계정 활동 보고, 데이터 검색 및 분석, 보관. 활용 예시감사 로그 저장 및 보안 분석.이벤트 이상 탐지 및 모니터링.운영 및 규정 준수 지원. CloudTrail 이벤트 기록 방법이벤트 기록지난 90일간 한 리전의 관리 이벤트를 보기, 검색, 다운로드 가능.수정 불가능한 기록 제공.비용 없음.CloudTrail Lake데이터 레이크로 사용자 및 API 활동 데이터를 캡처, 저장, ..

# 관계형 데이터베이스 VS 비관계형 데이터베이스 관계형데이터베이스비관계형 데이터베이스영문RDBMSNoSQL저장 데이터 구조- 테이블, 인덱스, 뷰 등 사용- 열: 데이터 속성 | 행 : 데이터 값- 키-값 페어, JSON, 그래프 또는 거의 모든 다른 유형의 데이터 구조 - 테이블 형식 x데이터 조작 방법SQL같은 쿼리 언어를 사용SQL이 필요 없는 방시긍로 저장 및 쿼리데이터 스토리지 매커니즘규칙 기반 행과 열에 정형 데이터 저장개별 데이터 요소를 별도의 파일에 저장유연한 구조테이블 관계에 관한 엄격한 규칙- 정형 데이터 x- 파일, 비디오 같은 기타 비정형 콘텐츠 저장 가능데이터 무결성 매커니즘ACID 속성- 가용성 보장 / 강력한 일관성 보장 x-  최신 버전 보장. AWS 제공Amazon RDS..

어짜피 이렇게 팽 당한 과제 아까우니까 공부한거라도 적어두려고 합니당 모르면 이전 포스트 슝: 2023.11.09 - [🏝️ 멋찐넘 AWS/🚨 ERR] - [슬기로운 인턴생활 | AWS SageMaker & HuggingFace] The requested resource studio ... is not available in this region 정확하게는 어떤걸 하고 싶었냐면 Fine tunning을 함으로써 모델의 성능과 정확도를 더 올리고 싶었다죠 그래서 AWS 기술 블로그에 나와있는 허깅페이스와 LoRA를 사용하여 단일 Amazon SageMaker GPU에서 대규모 언어 모델(LLM) 훈련하기 를 진행하였답니당 허깅페이스가 저는 좀 생소했는데 이 칭구가 말이죠 사람들이 만든 모델들을 올려서 무료..

언제 또 이렇게 AWS를 마음대로 써 보겠는가!!! 기업체 최고다!!! 학생 신분에서 해 볼 수 없었던 마음 놓고 AWS 기능 쓰기를 진행하다 보면 **Failed to start kernel** Failed to launch app [sagemaker-data-scien-ml-g5-2xlarge-788bb6348367982dd036e22a2f37]. ResourceLimitExceeded: The requested resource studio/KernelGateway-ml.g5.2xlarge is not available in this region (Context: RequestId: 8c72bfde-4a66-44b2-9fd8-e05e5af45114, TimeStamp: 1698803755.498822..

UnexpectedStatusException: Error for Training job huggingface-peft-2023-11-07-00-53-07-2023-11-07-02-17-27-231: Failed. Reason: AlgorithmError: ExecuteUserScriptError: ExitCode 1 ErrorMessage "raise ValueError( ValueError: The model you want to train is loaded in 8-bit precision. Training an 8-bit model is not supported yet." Command "/opt/conda/bin/python3.9 run_clm.py --dataset_path /opt/ml/in..

AWS SageMaker에서 모델을 돌리던 도중에 오류가 발생했다. MarkAny Document Safer Warning! : The Contents copied from encrypted document can not be pasted to non-encrypted one! Reason : AlorithmError: excuatreUserScriptError ExitCode 1 ErroeMessage "NotImplementedError: Cannot copy out of meta tensor; no data!" Command "\opt/conda/bin/python3.9 run_clm.py --dataset_path /opt/ml/input/data/training --epochs 3 --lr 0...

허깅페이스와 LoRA를 사용하여 단일 Amazon SageMaker GPU에서 대규모 언어 모델(LLM) 훈련하기 : aws 기술 블로그 파운데이션 모델 (foundation model) : 대규모 데이터셋과 여러 작업을 통해 훈련된 대규모 모델은 훈련되지 않은 특정 작업에도 일반화 성능이 높게 나타나는 모델. 파인 튜닝(Fine-Tunning) : 특정 도메인이나 작업에 대한 대규모 모델의 성능을 개선하기 위해 더 작은 작업별 데이터 셋으로 모델을 추가로 훈련하는 것. 단점 LLM의 정확도를 성공적으로 개선, 원본 모델의 모든 가중치 수정 필요 → 비용 부담 원본 모델과 동일한 크기의 모델을 생성 → 저장소 용량 부담 요약 파인 튜닝 데이터셋 크기가 훨씬 작기 때문에 사전 훈련 보다 빠르지만 여전히 상..

어우씨 AWS 리소스 바로 삭제 안하고 정지 안해서 프리티어 범위 초과됐어여... 눈물 콸콸 오션뷰... 마이 공차 블랙 펄 밀크티 값이 날라가써... 돈 없는 대학생은 웁니다 엉엉 광광.... 여튼 고... # AWS Lambda 이벤트에 대한 응답으로 코드를 실행하고 자동으로 기본 컴퓨팅 리소스를 관리하는 서버리스 컴퓨팅 서비스 AWS Lambda를 사용하면 사용자 지정 로직을 통해 다른 AWS 서비스를 확장하거나, AWS 규모, 성능 및 보안으로 작동하는 자체 백엔드 서비스를 만들 수 있습니다 Serverless의 주축을 담당 serverless : 서버리스는 클라우드가 직접 서버를 생성하고 실행시키며 리소스를 서버의 사용량에 따라 직접 할당해줌을 의미한다. (사람의 간섭이 거의 없는 거라고 보면 ..

윈도우 사용자 여러분. powershell 쓰세요. scp 깔려있는 PowerShell 쓰세요. 알니아러니아치나덕치ㅏㄴㄴㄻ아ㅣㄻ팡ㄹ;ㅁ아ㅓㅣ러뮤저로먁횜어ㅣ나ㅓㅇ류ㅣㅁㄷ쟈나ㅓㅇ룸ㅇ롷머ㅏㅠㅣㅑ쥼ㄷㄴㄹ어모ㅕ야ㅓㅏㅇ노ㅠㅇ려ㅑ머ㅏㅜ로ㅠ혀ㅑㅓ잔머ㅜ초ㅓ펴ㅑㅓㅇㄴ마ㅡ방ㅈㄴㄹ펴ㅑㅓ두즈ㅏㅣㅇ렆ㅇ룬ㄴ 하. 자. CloudWatch를 사용하여 EC2 인스턴스의 리소스 사용 내력을 보려면 EC2에 파일이 들어와야지 저장공간이 사용되면서 변경된 것이 감지가 될 것 아니옵니까. 그리하여 제가 https://ict-nroo.tistory.com/40 이 분의 도움을 받아 파일을 전송하려고 했어여!!!!!!! 어디에서? Git bash에서!!!! # EC2 접속 ssh -i [pem파일경로] [ec2-user계정명]@[ec2 inst..