NHoursForOSXKVMAndIDV
Apr 18, 2023Technology
系统硬件
主要信息:
华擎Z370M主板
Intel i7-9700K
32G 内存
200G SSD存储
附加显卡信息:
$ sudo lspci | grep -i vga
00:02.0 VGA compatible controller: Intel Corporation CoffeeLake-S GT2 [UHD Graphics 630]
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Baffin [Radeon RX 550 640SP / RX 560/560X] (rev ff)
03:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Turks [Radeon HD 7600 Series]
BIOS配置及选项详解
BIOS 高级->CPU配置中，打开Intel虚拟化技术，关闭Software Guard Extensions (SGX):
BIOS 高级->芯片组配置中，打开VT-d功能，关闭Above 4G Decoding， 主图形适配器选择为板载:
BIOS 高级->芯片组配置中，设置显卡的共享内存为1G, 打开IGPU多监视器选项，使得在外部有显卡的情况下集显保持开启:
(可选)关闭可信赖计算:
引导->CSM(兼容性支持模块)中，将启动视频OpROM策略设置为仅传统:
调整启动顺序为从U盘启动，进入到系统的安装过程。
Host系统安装
将网上下载的Ubuntu22.04安装盘写入U盘:
$ sudo dd if=ubuntu-22.04.2-live-server-amd64.iso of=/dev/sdb bs=1M && sudo sync
选择UEFI分区的USB设备进入到安装过程:
Grub栏中，选择Try or Install Ubuntu Server:
选择语言为English，自动配置网络， 忽略proxy address配置，mirror address保持默认（也可以改变为网速较好的源) :
(非必选)分区这里选择基本(避免LVM可能给新学者带来的困扰)：
检查下存储layout是否正常，无问题则下一步:
配置用户名/密码:
忽略Ubuntu Pro选项后继续，选择Install OpenSSH server:
在子功能选单中，什么都不选，进入到安装过程，直到所有安装都完成。Ubuntu live server在安装时最好保持联网状态，否则可能出现部分包安装不成功导致整个系统安装失败的情况。
看到这个界面则显示成功:
安装后登陆界面:
Host系统安装问题解决
在安装过pve的磁盘上,或者以前用LVM安装过系统的硬盘上，全新安装Ubuntu时，会出现以下的错误：
解决方法为:
vgremove xxxxxx(这里填你的vg的名字，通过vgs查看)
pvremove /dev/xxxx(这里填你的pvs所在的实际物理设备，通过pvs查看)
完全删除掉已有的逻辑卷分区后，重新进入到安装过程后方可成功。
系统配置
确保系统更新到最新状态：
sudo apt update
sudo apt upgrade -y
选择KDE作为默认的桌面工作环境, 并安装其他的一些包，选择KDE的原因在于它使用sddm+Xorg, 后续用libvirt钩子用于gvt-d透传集成显卡到虚机的时候，可以卸载得比较完整。默认的Ubuntu-desktop有时会出现在主机/虚机之间切换时失败的情况，推测与gdm3的工作方式有关：
sudo apt install -y kubuntu-desktop virt-manager build-essential
配置vfio相关选项:
# sudo vim /etc/default/grub
......
GRUB_CMDLINE_LINUX_DEFAULT="intel_iommu=on intel_iommu=pt kvm.ignore_msrs=1"
......
# sudo update-grub2
# sudo vim /etc/initramfs-tools/modules
......
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
使用lspci查看两块AMD独显的VGA及Audio配置信息，记录下相应字段:
# echo "options vfio-pci ids=1002:67ff,1002:675b,1002:aae0,1002:aa90" >> /etc/modprobe.d/vfio.conf
# sudo vim /etc/modprobe.d/blacklist.conf
......
blacklist amdgpu
# update-initramfs -u -k all && reboot
配置KDE的屏幕锁屏选项:
关闭Energy Saving：
Login Screen(SDDM)选择 Bahavior:
使能登出后自动登入:
之后选择子选项:
KDE桌面下其实是存在大量的可优化空间的，后面可以深入探讨。
OSX-KVM落地
主要参考了: https://github.com/kholia/OSX-KVM:
按仓库要求，安装相应包, 准备相关文件 :
sudo apt-get install qemu uml-utilities virt-manager git \
wget libguestfs-tools p7zip-full make dmg2img -y
sudo reboot
sudo usermod -aG kvm $(whoami)
sudo usermod -aG libvirt $(whoami)
sudo usermod -aG input $(whoami)
git clone --depth 1 --recursive https://github.com/kholia/OSX-KVM.git
下载Ventura (13):
$ cd OSX-KVM
$ ./fetch-macOS-v2.py
1. High Sierra (10.13)
2. Mojave (10.14)
3. Catalina (10.15)
4. Big Sur (11.7) - RECOMMENDED
5. Monterey (12.6)
6. Ventura (13)
Choose a product to download (1-6): 6
Ventura (13)
Downloading 032-66586...
Saving http://oscdn.apple.com/content/downloads/54/39/032-66586/dtdkth7btmat4w68aohv87st5j33d2puna/RecoveryImage/BaseSystem.dmg to BaseSystem.dmg...
Note: The total download size is 675.59 MB
$ dmg2img -i BaseSystem.dmg BaseSystem.img
$ qemu-img create -f qcow2 mac_hdd_ng.img 64G
$ ./OpenCore-Boot.sh
进入到安装界面:
选择Disk Utitity:
而后选择Reinstall开始安装, 注意选择格式化后的macOS 64GB的盘:
安装配置阶段:
选择not now:
选择 Set Up Later:
创建用户:
装完后:
开启ssh和vnc:
在命令行下，拷贝OpenBoot的EFI分区到硬盘下:
test@tests-iMac-Pro ~ % sudo diskutil list
.......这里需要识别出哪个分区是ISO的，哪个是硬盘上的
test@tests-iMac-Pro ~ % sudo diskutil mount disk0s1
Volume EFI on disk0s1 mounted
test@tests-iMac-Pro ~ % sudo diskutil mount disk1s1
Volume EFI on disk1s1 mounted
test@tests-iMac-Pro ~ % mount
/dev/disk2s5s1 on / (apfs, sealed, local, read-only, journaled)
devfs on /dev (devfs, local, nobrowse)
/dev/disk2s4 on /System/Volumes/VM (apfs, local, noexec, journaled, noatime, nobrowse)
/dev/disk2s2 on /System/Volumes/Preboot (apfs, local, journaled, nobrowse)
/dev/disk2s6 on /System/Volumes/Update (apfs, local, journaled, nobrowse)
/dev/disk2s1 on /System/Volumes/Data (apfs, local, journaled, nobrowse)
map auto_home on /System/Volumes/Data/home (autofs, automounted, nobrowse)
/dev/disk0s1 on /Volumes/EFI (msdos, asynchronous, local, noowners)
/dev/disk1s1 on /Volumes/EFI 1 (msdos, asynchronous, local, noowners)
test@tests-iMac-Pro ~ % cp -r /Volumes/EFI/EFI /Volumes/EFI\ 1
test@tests-iMac-Pro ~ % sudo sync
test@tests-iMac-Pro ~ % sudo shutdown -h now
重新启动后，更改Boot的等待时延(挂在EFI分区后):
% cat EFI/OC/config.plist| grep '<key>Timeout' -A2
<key>Timeout</key>
<integer>5</integer>
</dict>
OSX-KVM with rx550(Ventura)
直接使用脚本测试，得到的结果：
cp boot-passthrough.sh testrx550.sh
lspci | grep 550
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Baffin [Radeon RX 550 640SP / RX 560/560X] (rev ff)
01:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Baffin HDMI/DP Audio [Radeon RX 550 640SP / RX 560/560X]
vim testrx550.sh
-vnc 0.0.0.0:8 -k en-us
-netdev user,hostfwd=tcp::2288-:22,hostfwd=tcp::15900-:5900,id=net0 -device vmxnet3,netdev=net0,id=net0,mac=52:54:00:c9:18:27
效果： 最初引导的时候会出现画面，且可以一直操作(OpenCore),但是进入到苹果后黑屏。ssh可以登陆到成功启动后的macOS,但是vnc登陆则一直显示黑屏。
OSX-KVM(Monterey)
重新安装一台Monterey虚机:
ssh/vnc启用:
Monterey会正常启动
vendor-reset
AMD显卡需要引入这个模块以便在vfio的时候reset为可用状态:
git clone https://github.com/gnif/vendor-reset.git
cd vendor-reset/
sudo apt install -y dkms
sudo dkms install .
sudo vim /etc/initramfs-tools/modules
vendor-reset
sudo update-initramfs -u -k all
sudo reboot
重启成功后:
$ lsmod | grep vendor
vendor_reset 114688 0
使用下面的vfio_bind.sh用来初始化显卡, 注意vendor_reset需要一个bug-fix（device_specific）:
#!/bin/bash
modprobe vfio-pci
for dev in "$@"; do
vendor=$(cat /sys/bus/pci/devices/$dev/vendor)
device=$(cat /sys/bus/pci/devices/$dev/device)
if [ -e /sys/bus/pci/devices/$dev/driver ]; then
echo $dev > /sys/bus/pci/devices/$dev/driver/unbind
fi
echo $vendor $device > /sys/bus/pci/drivers/vfio-pci/new_id
echo 'device_specific' > /sys/bus/pci/devices/$dev/reset_method
done
vbflash
使用工具dump出显卡的vbflash:
7600看起来似乎无法驱动。临时换成了5700xt显卡用来测试。
5700xt需要添加:
test@tests-iMac-Pro EFI % cat EFI/OC/config.plist| grep boot-args -A3
<key>boot-args</key>
<string>-v keepsyms=1 tlbto_us=0 vti=9 agdpmod=pikera</string>
网络配置（桥接)
桥接是为了让虚拟机获得同网段地址:
# sudo apt install bridge-utils -y
# sudo vim /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="intel_iommu=on intel_iommu=pt kvm.ignore_msrs=1 net.ifnames=0 biosdevname=0"
# sudo update-grub2
# vim /etc/netplan/00-installer-config.yaml
# This is the network config written by 'subiquity'
network:
ethernets:
eth0:
dhcp4: false
bridges:
br0:
interfaces: [eth0]
dhcp4: true
version: 2
# reboot
libvirtd集成
准备镜像:
test@server:~/OSX-KVM-Monterey$ sudo cp mac_hdd_ng.img /var/lib/libvirt/images/ && sudo sync
test@server:~/OSX-KVM-Monterey$ sudo cp OVMF_VARS-1024x768.fd /var/lib/libvirt/images/
test@server:~/OSX-KVM-Monterey$ sudo cp OVMF_CODE.fd /var/lib/libvirt/images/
root@server:/var/lib/libvirt/images# qemu-img create -f qcow2 -b mac_hdd_ng.img -F qcow2 amd5700xt.qcow2
root@server:/var/lib/libvirt/images# qemu-img create -f qcow2 -b mac_hdd_ng.img -F qcow2 rx560.qcow2
root@server:/var/lib/libvirt/images# cp OVMF_VARS-1024x768.fd rx560_OVMF_VARS-1024x768.fd amd5700_OVMF_VARS-1024x768.fd
libvirtd配置文件(RX 5700 8GB及 RX 550 4GB):
https://gist.githubusercontent.com/purplepalmdash/dfba3d32b72901f75d39a84288689692/raw/eb15ad7cd59f86566dd8fb5cfc6786639c0cb6a8/macOS5700.xml
https://gist.githubusercontent.com/purplepalmdash/dfba3d32b72901f75d39a84288689692/raw/eb15ad7cd59f86566dd8fb5cfc6786639c0cb6a8/macOSrx550.xml
guest配置
阻止虚拟机进入到节能状态:
禁止锁定屏幕:
禁止自动更新:
禁用屏幕保护:
win10核显透传
准备libvirtd钩子脚本:
cd /etc/libvirt/hooks/
mv /home/test/hooks/* .
ln -s /etc/libvirt/hooks/vfio-startup.sh /bin/
ln -s /etc/libvirt/hooks/vfio-teardown.sh /bin/
如果要透传核显，则grub的参数需要做相应的修改:
GRUB_CMDLINE_LINUX_DEFAULT="intel_iommu=on intel_iommu=pt kvm.ignore_msrs=1 net.ifnames=0 biosdevname=0 video=efifb:off,vesafb:off"
因为以前已经做过相关的内容，这里就不再详细说明。
已知/偶现问题
一次失败的核显透传后，重启失败, 更改grub默认选项后修复:
Android studio无法运行?
