우주수첩의 우주먼지

1. 프로젝트 파일 저장 위치 선택: WSL 1을 사용하면 Windows 파일 시스템에 프로젝트 파일을 저장하면 Windows에서 빠르게 액세스 가능. WSL 2에서는 Windows 파일 시스템의 프로젝트 파일에 더 빠르게 액세스할 수 없으며, Linux 파일 시스템에 저장해야 할 경우, WSL 1을 사용하여 OS 파일 시스템에서 더 빠른 성능을 얻을 수 있음. 2. 프로젝트 크로스 컴파일: Windows 및 Linux 도구를 모두 사용하여 동일한 파일에 대해 크로스 컴파일이 필요한 프로젝트. 현재는 WSL 1에서 Windows 애플리케이션을 사용하여 Linux 파일에 액세스할 때 더 빠른 성능을 얻을 수 있음. 3. 직렬 포트 및 USB 디바이스 액세스: USB 디바이스 지원은 USBIPD-WIN 프로..

WSL 1 WSL 2 가상화 방식 windows 시스템과 Linux 시스템 간의 번역 레이어를 통해 Linux 바이너리를 실행. 가상 머신 없이 동작하며 windows 커널에서 Linux 시스템 호출을 해석하여 처리 hyper-v를 기반으로 하는 가상머신을 사용하여 Linux 커널을 실행. wls2는 전체 linux 커널을 가상 환경에서 독립적으로 실행할 수 있으며 성능이 향상됨. 성능 가상화의 부족으로 인해 I/O 및 네트워크 성능에서 한계 존재 가능. 파일시스템 성능 제한 가상머신을 사용하므로 I/O 및 네트워크 성능이 향상. 파일시스템 성능이 크게 향상 커널 호환성 windows커널과 linux 커널 사이의 호환성이 제한되어 있어 몇가지 기능이나 성능 향상을 지원하지 않을 수 있음. linux 커널..

WSL WSL(Linux용 Windows 하위 시스템) 별도의 가상 머신 또는 이중 부팅 없이 Windows 컴퓨터에서 Linux 환경을 실행할 수 있는 Windows의 기능 wsl 은 윈도우와 리눅스를 동시에 사용하려는 개발자에게 원활하고 생산적인 환경을 제공하도록 설계 WSL2 Linux 배포를 설치할 때 기본 배포판 유형. wsl2가 리눅스 배포판을 실행하는 방식 가상화 기술 사용 경량 가상화 기술을 사용하여 가상머신 내에서 리눅스 커널을 실행. 윈도우와 리눅스 간의 인터페이스 역할을 하는 가상 레이어 윈도우 시스템과 몇가지 핵심 자원을 공유 wl2를 통해 실행되는 리눅스 배포판은 네트워크 네임스페이스, 디바이스 트리, cpu/커널/메모리/스왑이라는 몇가지 핵심 자원을 윈도우 시스템과 공유 윈도우의..

2023.11.28 - [😒 저 저 저 개념없는 나] - [OpenSearch / Docker] 한국어 형태소 분석기 Nori 설치 [OpenSearch / Docker] 한국어 형태소 분석기 Nori 설치 WZNT> docker container ls CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES container_id opensearchproject/opensearch:latest "./opensearch-docker…" 10 days ago Up 6 seconds 0.0.0.0:9200->9200/tcp, 9300/tcp, 0.0.0.0:9600->9600/tcp, 9650/tcp opensearch dusty-wznt.tistory.com 이전에 ..

제가 인턴을 하고있는 사내 컴퓨터의 용량이 아주 카와이하고 소중한 관계로 여러가지 이것저것 하다보니 업무에 필요한 도커 컨테이너들이 날라가버렸습니다. ㅋ 정신을 차리고 다시 yaml 파일을 올려보려고 해도 미동도 없는 관계로 도커를 밀어봅시다. 복잡할 줄 알고 겁 왕창 먹었는데 생각보다 많이 간단합니다. 1. 제어판에서 야무지게 도커 desk top을 지운다. 이제 지우지도 못하게 한다. 작업 관리자 > backgrouopd process에 COM Surrogate라고 있을겁니다 고것을 모두 삭삭긁어서 지워주시면 대여 편-안 2. docker 관련 파일 삭제 C:\Program Files\Docker 요놈과 -> C:\Users\[사용자계정폴더]\.doker 요놈 -> C:\Users\[사용자계정폴더]\..

public boolean matches(String regex) 매개변수로 받아온 정규 표현식(regex)와 문자열이 일치하는지 여부를 확인하는데에 사용된다. 정규표현식과 문자열전체가 일치해야만 true 값이 반환된다. 예시 String text = "Hello,123"; boolean isMatch = text.matches("[a-zA-Z]+,[0-9]+"); System.out.println(isMatch); // 출력: true 본인은 한글과 영어가 섞여있는 String 배열 사이에서 대소문자가 혼합되어있는 영어 문자열을 찾고싶어서 해당 메소드를 사용하였다.

형태소 분석 시에 내가 원하는 단어를 모두 쪼개놓아 합성어나 외래어 같은 경우 인지를 잘 못하는 경우가 있다. 또한 사내에서 사용하는 용어등은 표준어가 아니이게 이에 대한 처리가 필요하다. 고것을 지금 해 볼 것 이다. 우선 사용자 사전을 의미하는 user_dic 텍스트 파일과 동의어를 정의하는 synonyms 텍스트 파일을 설정한다. 이는 로컬에서 텍스트 파일을 생성해주면 된당. docker cp D:\Project\OpenSearch\synonyms.txt container_id:/usr/share/opensearch/config docker cp D:\Project\OpenSearch\user_dic.txt container_id:/usr/share/opensearch/config docker cp..

https://opensearch.org/docs/latest/install-and-configure/install-opensearch/docker/#sample-docker-composeyml Docker Docker opensearch.org 위의 링크를 타고 들어가 docker-compose.yml 파일을 복사한 후 원하는 경로에 yml 파일을 생성한다. 이후 PowerShell 혹은 cmd 창을 열어 해당 yml 파일이 있는 경로로 이동한 뒤 docker-compose -f docker-compose.yml up 위의 명령어를 입력하여 Container를 구축한다. 그러면 밑에 이렇게 체크표시 말고도 우르르쾅쾅 뭐가 많이 생긴다. 모두 진행이 되면 컨테이너가 잘 생성되었음을 Docker Deskt..

docker-compose.yml 파일의 volume 부분에 아래 두 줄을 추가한다 - /elasticsearch/data:/usr/share/elasticsearch/data - /elasticsearch/logs:/usr/share/elasticsearch/logs compose 파일을 업로드 한다. WZNT> docker container ls CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES container_id opensearchproject/opensearch:latest "./opensearch-docker…" 10 days ago Up 6 seconds 0.0.0.0:9200->9200/tcp, 9300/tcp, 0.0.0.0:9600->96..

허깅페이스와 LoRA를 사용하여 단일 Amazon SageMaker GPU에서 대규모 언어 모델(LLM) 훈련하기 : aws 기술 블로그 파운데이션 모델 (foundation model) : 대규모 데이터셋과 여러 작업을 통해 훈련된 대규모 모델은 훈련되지 않은 특정 작업에도 일반화 성능이 높게 나타나는 모델. 파인 튜닝(Fine-Tunning) : 특정 도메인이나 작업에 대한 대규모 모델의 성능을 개선하기 위해 더 작은 작업별 데이터 셋으로 모델을 추가로 훈련하는 것. 단점 LLM의 정확도를 성공적으로 개선, 원본 모델의 모든 가중치 수정 필요 → 비용 부담 원본 모델과 동일한 크기의 모델을 생성 → 저장소 용량 부담 요약 파인 튜닝 데이터셋 크기가 훨씬 작기 때문에 사전 훈련 보다 빠르지만 여전히 상..