这几天折腾 PVE AIO 有点上头了

39 天前
 0x663
从周六开始一直到昨天晚上，基本每天都折腾到凌晨
主板 MSI B660M 迫击炮
CPU i5 12500
sata ssd *2
sata hhd *2
m2 nvme *2

前两天是折腾核显，主板开启了 VT-D 和 Intel SRIOV
通过 i915-sriov-dkms 虚拟出来 7 个
完成了以后尝试直通硬盘

因为主板有两个 sata 控制器，我想着是两块 sata ssd 组 zfs(raid1)做系统盘，然后另一个 sata 控制器直通给 Truenas 虚拟机。然后我就直接去根据 iommu 的编号去找到这俩 sata 控制器，尝试把 b660 芯片组的 sata 控制器直通给 Truenas 虚拟机，然后就直接死机了，第二次安装发现是因为 iommu 分组没拆开

然后就一通检索去看相关问题，后来发现一个强制拆分 iommu 分组，但是要改源码并且评论区说这是掩耳盗铃遂弃，然后就去折腾 BIOS 看到有一个“集成外围设备”的选项，关闭这个之后可以正常拆分 iommu 了。

我原本以为会很顺利美滋滋的去直通 sata 控制器并开启虚拟机，又有问题了
这里我的系统盘最初插到的是 sata7 和 sata8 ，因为这两个口离其他的比较远所以我认为是另一个单独的 sata 控制器控制的。这就是不认真阅读文档的代价吧。

开主机重新插 sata 接口调整好以后再去尝试 SRIOV ，又不行了。
6072 次点击
所在节点    NAS
54 条回复
ererrrr
39 天前
尝试过一次 unraid 拆分核显，个个都说 unraid 虚拟机多好用
结果我一用，真的很费劲
现在已经不喜欢这些了，直接买两台算了
esee
39 天前
你这主板居然有两个 sata 控制器？
Radeon
39 天前
为什么非要把 Disk IO 直连？用软件作 Disk IO 中间层有很多好处呀，比如可以设非常高的 buffer ，或者非常低的 flush 频次。不香吗？
yusha
39 天前
看这个板子， 是微星 mag mortar b660m?
这个板子好像是 SATA_A 和 SATA_B 走的额外附加的 sata 控制器，方便直通。
dilidilid
39 天前
PCIE 直通 raw 设备根本不是虚拟化的正常使用方式，你 PCIE 直通越多遇到问题的机会越大，属于是要实现一些功能不得已的妥协，不知道为啥现在各种乱七八糟的教程喜欢把这玩意儿当成灵丹妙药。虚拟化的一个重要目的就是迁移+容灾，PCIE 直通之后一不小心虚拟机直接带崩宿主机一起死机，还容个屁的灾。

很多消费级硬件不支持真正的虚拟化，只能直通一把梭，问题是很多厂家（比如黄狗）一开始就没有给你直通预留兼容性，出什么问题完全是不可预料的。不是发烧友没必要浪费时间跟厂家对抗
fuckfaker
38 天前
你有空余的 pcie 插槽的话，可以买个 sas 直通卡，LSI2308 就行，然后把 sas 卡直通给 truenas ，或者虚拟机，比你这样折腾靠谱一点
vhisky
38 天前
1 、系统盘没必要组 raid1,pve 只要备份好虚拟机，系统坏了，重装后再恢复虚拟机就行。有的人甚至把系统装进 U 盘里。
2 、可以把系统盘装在 m.2 的一个盘上，直通 SATA 控制器准没问题。一般一个主板都是一个 SATA 控制器。
3 、SRIOV 没折腾过，折腾过 8 代 cpu 直通核显用的 GVTg
4 、也可以试试飞牛 nas ，也能搞
swordsmile
38 天前
试试在 /etc/default/grub 添加 pcie_acs_override 参数，看分组是否多一些

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction"

update-grub
0x663
38 天前
@esee 是的
0x663
38 天前
@dilidilid 是的，我这就纯瞎折腾。
wuyadaxian
38 天前
m.2 装系统，sata 直通就行。sata 崩了不会影响系统，不要怕。
0x663
38 天前
@swordsmile 加了 /etc/default/grub /etc/kernel/cmdline
0x663
38 天前
@fuckfaker 有两条空余的 PCIe 插槽。本来是想买的，但感觉自己的硬盘不多就直接用的主板自带的两个 sata 控制器了。
0x663
38 天前
@vhisky unraid 就是
0x663
38 天前
@wuyadaxian
@vhisky
m2 的那块 250G 的三星 970evo 0e 了。所以没敢做系统盘，只把它拿来用作缓存盘。
0x663
38 天前
@ererrrr 哈哈哈，我其实是就喜欢折腾这些，所以不嫌烦。消磨时光的手段之一。
marquina
38 天前
pve 直通 sata 设备的标准姿势：

[Passthrough Physical Disk to Virtual Machine (VM) - Proxmox VE]( https://pve.proxmox.com/wiki/Passthrough_Physical_Disk_to_Virtual_Machine_(VM))

按设备直通就行，不需要直通 sata 控制器
marquina
38 天前
https://pve.proxmox.com/wiki/Passthrough_Physical_Disk_to_Virtual_Machine_(VM)
17 楼的链接多了一个括号，重新发一下
laminux29
38 天前
PVE 群主说过，不建议直通，因为直通是一种反虚拟化的方式，会阻碍备份、迁移与容灾，除非你不需要这些功能。
0x663
38 天前
@laminux29 老哥哪个群？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1128824

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX