새로 워크스테이션 용도로 PC를 사용하게 돼서 type1 하이퍼바이저를 설치하려고 한다. 기존 워크스테이션에는 type2(vmware workstation)를 사용하고 있었다. 주로 서버용으로 사용하고 있었기 때문에 굳이 운영체제를 굳이 윈도우로 쓸 필요가 없다고 생각돼 ESXi를 설치하게 됐다. 운영체제 자체에서 사용하는 자원도 절약할 수 있고 운영체제의 상태에 vm들이 영향을 받지 않아서 이것을 설치해서 운영하는 것이 더 적합하다고 생각했다.

하피어 바이저 후보

Proxmox, xcp-ng 등 여러 하이퍼바이저들 중 ESXi를 선택했다. 운영 환경이 vShpere를 사용하고 있어서 크게 고민할 것이 없었다.

설치

VMware가 브로드컴에 인수되고 나서 무료버전의 ESXi 배포가 중단됐었다고 한다. 현재는 다운로드 페이지에서 다운로드 받을 수 있다. 다운로드 받은 후 압축을 풀고 부팅하고자 하는 usb에 담아서 부팅하면 ESXi를 설치할 수 있다.

이슈

cpu 아키텍처 차이로 인한 이슈

만약 cpu아키텍처가 하이브리드 구조라면 아래와 같은 오류가 발생할 수 있다.

ESXi는 cpu 균일성 검사를 하는데, p코어, e코어로 cpu가 구성되어 있으면 설치를 진행할 수 없다. PSOD는 부팅 시점의 cpu 균일성을 검사한다. ESXi 7.0 버전부터 cpu uniformity check가 강제되고 cpu feature mismatch 가 발생하면 PSOD가 발생할 수 있다고 한다.

굳이 설치하려면 e코어를 비활성화하고 사용할 수는 있다. 근데 이렇게 설치하면 e코어를 사용되지 않아 자원낭비된다.. 우회 방법은 부팅 초기에 Shift + 0 을 누르고 커널 옵션 맨 뒤에 아래 내용을 입력하면 된다.

cpuUniformityHardCheckPanic=FALSE

# 설치 후 영구화
esxcli system settings kernel set -s cpuUniformityHardCheckPanic -v FALSE

이 pc에서 VMware workstation은 잘 구동됐어서 어떤 차이점으로 인해 이런 이슈가 발생하는지 찾아봤다.

cpu구동에서 중요한 부분은 누가 cpu 스케줄링과 cpu 기능 모델을 최종적으로 책임지느냐라고 한다. ESXi는 하드웨어 위에 직접 올라가는 VMkernel이라서, 부팅할 때 모든 논리 CPU를 직접 초기화하고, 각 코어가 같은 CPU 기능 집합을 가진다고 가정하는 쪽에 가깝다. Broadcom도 공식 KB에서 ESXi 7.0부터 CPU uniformity check가 강제되며, CPU feature mismatch가 감지되면 PSOD가 날 수 있다고 명시한다.

윈도우 위에서 실행되는 타입2의 경우, Workstation에서는 guest가 보는 CPU가 Workstation이 만든 가상 CPU이고, 그 가상 CPU를 실제 어느 P-core/E-core에 잠깐 올릴지는 Windows 스케줄러가 결정한다. 반면 ESXi는 부팅 순간부터 모든 물리 코어를 자기 기준으로 안전하게 다룰 수 있어야 하니까, 코어 간 기능 차이가 보이면 아예 fail-fast 하는 것이다.

메인보드 스펙에 따른 이슈

개발용 남는 pc에 설치해서 사용하려고 하는데 네트워크 어댑터 이슈가 생겼다. 개발용 pc는 ASRock B650M RS다. ESXi 설치 이미지가 Realtek 2.5G NIC 드라이버를 기본 포함하지 않아 문제가 발생했다.

B650M은 RTL8125BG이고 ESXi는 RTL8125를 지원하여 커스텀 iso를 만들어서 해결할 수 있었다. 이미 만들어둔 usb에 아래 과정을 통해 커스텀했다.

1. Realtek Network Driver for ESXi ZIP 다운로드

2. ZIP 내부에 vib20/if-re VIB 추출

3. 그 안의 ifre 의 이름을 ifre.00 으로 변경하여 부팅 usb 루트로 복사

4. 부팅 usb의 boot.cfg 의 modules= 줄 맨 끝에 —-- ifre.v00 을 추가

이렇게 세팅하고 설치하는데 또 오류가 발생했다.

No compatible network adapter found. 
Please consult the product's Hardware Compatibility Guide (HCG) for a list of supported adapters.
Warning: DHCP lookup failed. 
You may be unable to access this system until you customize its network configuration.

이 오류는 드라이버는 읽었지만, 설치된 ESXi 쪽으로 그 드라이버가 영구 반영되지 않아서 발생하는 문제라고 한다. 아래 과정을 다시 진행했다.

1. 호스트 재부팅

2. ESXi 재설치

3. 설치 완료화면에서 절대 다시 재부팅하지 않고 Alt + F1 클릭

4. ifre.v00 을 bootbank로 복사

   cp /tardisks/ifre.v00 /vmfs/volumes/BOOTBANK1/ifre.v00
   cp /tardisks/ifre.v00 /vmfs/volumes/BOOTBANK2/ifre.v00
   

5. 두 개의 boot.cfg 수정. module= 맨 뒤에 --- /ifre.v00 만약 다른 설정들이 “/”가 없으면 “/”를 빼고 작성하면 된다.

   vi /vmfs/volumes/BOOTBANK1/boot.cfg
   vi /vmfs/volumes/BOOTBANK2/boot.cfg
   

6. 저장 후 재부팅하면 된다.

   reboot
   

설치 후 라우터의 DHCP가 켜져있지 않으면 ip 설정 문제가 발생한다. 라우터에서 DHCP를 켜주고 호스트를 재부팅하거나 ip를 설정해주면 된다.

1. F2 클릭

2. root로 로그인

3. Configure Management Network 클릭

4. IPv4 Configuration 클릭

5. Set static IP address and network configuration에 커서를 두고 스페이스바 클릭

6. ip 설정

디스크 마운트

스토리지 > 디바이스 탭에서 디스크를 마운트할 수 있다. 초기화하고 vmfs 유형으로 만들어진다.