AI 워크로드를 위한 스토리지 중심 컨테이너 배포 스케줄링 1. 가상화 기반 쿠버네티스 환경에서 자원 인지형 동적 스케줄링 및 I/O 대역폭 최적화 기법 1. 연구 배경 및 문제 정의 AI 워크로드는 대규모 모델 파일, 반복적인 전처리 데이터, 배치 단위 입력 데이터로 인해 I/O 집중적 특성을 가진다. 그러나 기존 쿠버네티스 스케줄러는 다음과...

VDO를 골라서 연구한 이유 정리 VDO를 선택하여 분석하고 성능을 최적화하려는 이유는 여러 가지가 있습니다. VDO는 다른 중복제거 파일 시스템에 비해 특정한 장점과 특징을 가지고 있으며, 이를 통해 성능 최적화가 가능한 영역이 명확하게 드러납니다. VDO를 선택할 수 있는 이유는 다음과 같습니다 1. 리눅스 기반 환경에서의 널리 사용됨 VDO는 리눅스 커널 기반에서...

tmux 기존의 터미널 창을 분할해 사용할 수 있는 터미널 멀티플렉서입니다 tmux 설치 yum install tmux tmux 계층 Sessions - 하나 이상의 윈도우가 있는 독립된 작업 공간 입니다. Windows - 동일한 세션에서 시각적으로 분리된 부분입니다. (브라우저의 탭을 생각하면 이해하기 쉽습니다.) Panes - 동일한 윈도우 내에서 분리된 부분입니다. tmux 실행 tmux : 새로운 세션 시작...

git clone, 원하는 버전 선택 git clone https://github.com/kubernetes/kubernetes.git git checkout v1.26.15 필요한 부분 수정 vim staging/src/k8s.io/kubectl/pkg/cmd/create/create.go “staging/src/k8s.io/kubectl/pkg/cmd/apply/apply.go” apply.go에 kubectl apply 수행할 때 작업 추가 kubectl build make kubectl 적용 _output/local/go/bin/kubectl ./_output/local/bin/linux/amd64/kubectl cp _output/local/go/bin/kubectl /usr/bin/kubectl 참고

k8s tuner 조사 https://kubernetes.io/docs/reference/scheduling/config/ k8s 스케줄링 https://kubernetes.io/docs/concepts/scheduling-eviction/scheduling-framework/ 스케줄링 플러그인 https://github.com/totemcaf/k8autotune https://github.com/jmccarty3/awsScaler aws 리소스 확장하는 오픈소스 https://github.com/4b415941/Kubernetes-Scheduler 펜딩 관련 부분 코드 있는 것으로 보임 코드 분석 (실제 테스트 필요) pods 수집 $SCHEDULER(예약어인듯) 와 비교해서 펜딩 파드 찾음 사용 가능한 노드 중 랜덤으로 선택 kube API를 통해 노드에 바인딩 대기 후 반복...

ZFS 아래는 ZFS (Zettabyte File System)에서 사용되는 각 함수와 그 역할에 대한 상세한 설명입니다. 이러한 함수는 ZFS 코드베이스의 일부이며, 특정 ZFS 버전 및 구현에 따라 상세 내용이 다를 수 있습니다. zfs_write: 이 함수는 ZFS VFS 레이어의 일부로, ZFS 데이터셋 내의 파일에 대한 쓰기 요청을 처리합니다. 실제 데이터 쓰기 작업을 수행하기...

VDO install using yum yum install vdo kmod-kvdo VDO build git clone git@github.com:dm-vdo/vdo.git make make install git clone git@github.com:dm-vdo/kvdo.git make -C /usr/src/kernels/\uname -r` M=`pwd` make -C /usr/src/kernels/`uname -r` M=`pwd` modules_install` usage vdo create --device=/dev/md0 --name=dedup_pool 참고

1. /etc/fstab 수정 하위의 home, 및 swap 관련 부분 주석(#) 혹은 삭제 [root@localhost ~]# vim /etc/fstab #/dev/mapper/rl-home /home xfs defaults 0 0 #/dev/mapper/rl-swap none swap defaults 0 0 2. home 제거 절차 2-1. home umount [root@localhost ~]# umount /home 2-2. home LV 삭제 [root@localhost ~]# lvremove /dev/rl/home Do you really...

KVM 디스크 확장 호스트 서버 cd /var/lib/libvirt/images qemu-img resize k8s_master.qcow2 +100G 각 VM sudo parted /dev/vda --script "print" sudo parted /dev/vda --script "resizepart 2 100%" sudo partprobe /dev/vda || true sudo pvresize /dev/vda2 pvs -o+pv_size,pv_free,vg_name | grep rl sudo lvextend -r -l +100%FREE /dev/rl/root xfs_growfs /dev/rl/root 참고

GRAID 대만에서 만든 GPU + RAID, NVMe 장치를 RAID할때 유용 GRAID 설치 드라이버 설치 download SupremeRAID™ Pre-installer wget https://download.graidtech.com/driver/pre-install/graid-sr-pre-installer-1.6.1-128-x86_64.run download driver sr-1001 wget https://download.graidtech.com/driver/sr/linux/1.6.1/release/graid-sr-installer-1.6.1-001-327-315.run - SupremeRAID™ Linux Driver 1.6.1 Update 327 Release Notes, Software, and Documentation | Software and Documentation chmod +x graid* chmod +x graid-sr-pre-installer-1.6.1-128-x86_64.run chmod +x graid-sr-installer-1.6.1-001-327-315.run ./graid-sr-pre-installer-1.6.1-128-x86_64.run...