PVE All in One之PVE系统配置以及SRIOV显卡直通

系统配置之前,检查下BIOS的这些功能是否正确开启

  • Intel VMX虚拟化技术 (需要开启)
  • VT-d (需要开启)
  • SR-IOV (需要开启)
  • IOMMU (需要开启)
  • VMD setup menu (需要关闭)

将PVE主机接上网络

光猫(桥接模式) <———> 家里的硬路由(pppoe拨号) <———> 交换机 <———> PVE以及电脑

PVE的IP规划

  • PVE宿主机:9.9.9.254
  • iKuai主路由:9.9.9.1
  • Openwrt旁路由:9.9.9.2
  • LXC容器的Docker:9.9.9.6
  • 群晖NAS:9.9.9.8
  • AdGuardHome:9.9.9.9

PVE系统安装

准备工具:

  • 一个4G以上U盘
  • 下载PVE官方镜像,将其写入U盘内(这一步可以看前面黑群晖安装的视频,过程一样,只是将黑群晖的镜像文件改成PVE的镜像文件)
  • PVE官方镜像下载
  • 将PVE的管理网口插上网线(尽量选择主板自带的网口,方便管理)
  • 以及已经写入系统的U盘插到PVE的主机上
  • 连上键盘、显示器,接下来开始安装

系统安装

  • 开机,狂按F11进入到启动菜单,选择U盘按回车
  • 进入到PVE的安装界面:选择第一个选项Install Proxmox VE (Graphical)
  • 等待自动跑代码结束
  • 选择:I agree
  • 接下来选择硬盘,这里选择的硬盘是安装系统的系统盘,以及以后安装虚拟机等等都适用这个盘,选择好后,点Next
  • 接下来填写国家以及时区
  • Country:China(国家)
  • Time zone:Asia/Shanghai(时区)
  • Keyboard Layout:U.S.English(键盘布局)
  • 选择好后,点Next
  • 接下来设置密码以及邮箱
  • Password:自定义填写(PVE的登陆密码)
  • Confim:同上(再次输入一遍密码)
  • Email:自定义(如果以后需要用到邮箱服务就填真的,觉得以后用不到就填假的,随意)
  • 选择好后,点Next
  • 配置相关网络设置
  • Management Inteface:(这里就是选择管理网口,也就是PVE内部所有虚拟机相互通讯的网口)
  • Hostname(FQDN):pve.lan(设置PVE的名称)
  • IP Addess(CIDR):9.9.9.254(设置PVE的IP地址,这是提前就已经规划好的IP了)
  • Gateway:9.9.9.1(设置网关)
  • DNS Server:9.9.9.9(设置DNS)
  • 选择好后,点Next
  • 检查配置是否正确,没问题直接点Install开始安装
  • 我这里就是因为首次开机,系统没有读取到网卡信息,所以报错,重启再将上面的步骤再来一遍就好了,可能我这是个别情况)
  • 接下来就是等待安装完成,出现一串地址:https://9.9.9.254:8006
  • https://9.9.9.254:8006 这个地址就是访问PVE后台的地址,要记住
  • 后面系统就会自动重启,重启期间就可以把U盘拔掉了
  • 重启完成后会进入到命令行界面
  • 这个时候就可以回到自己的电脑上,打开浏览器,输入https://9.9.9.254:8006 进入到PVE后台管理界面了
  • 默认登陆账号是:root 默认登陆密码是:刚刚安装PVE的时候设置的

到这里PVE的安装就完成了

将loacl和local-lvm两个逻辑卷合二为一

  • 查询当前local的大小
  df -h
  • 进入到PVE节点的Shell输入以下命令(删除pve/data路径下的local-lvm逻辑卷)
lvremove pve/data
  • 输入完之后会提示是否确定删除,此时按y回车
  • 继续输入以下命令(将所有系统盘可用空间全部交由local这一个逻辑卷分配)
lvextend -l +100%FREE -r pve/root
  • 继续输入以下命令(使其适应已经调整大小的逻辑卷)
resize2fs /dev/mapper/pve-root
  • 查询是否扩容成功
df -h
  • 成功扩容接下来删除local-lvm
  • 点数据中心 ——> 存储 ——> local-lvm ——> 移除 ——> local ——> 编辑 ——> 内容(所有选项全部选上) ——> OK

PVE系统基础配置

换国内源

  • 备份PVE自带的软件包源文件
cp /etc/apt/sources.list /etc/apt/sources.list_bak
  • 北方清华源,南方中科大源,二选一
  • 编辑源配置文件
nano /etc/apt/sources.list
# 添加中科大源(在被注释掉的文本下面添加以下内容) 
deb https://mirrors.ustc.edu.cn/debian/ bookworm main contrib non-free 
deb https://mirrors.ustc.edu.cn/debian/ bookworm-updates main contrib non-free 
deb https://mirrors.ustc.edu.cn/debian/ bookworm-backports main contrib non-free 
deb https://mirrors.ustc.edu.cn/debian-security/ bookworm-security main contrib non-free
# 添加清华大学源(中科大源和清华大学源二选一) 
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main contrib non-free non-free-firmware 
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-updates main contrib non-free non-free-firmware 
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-backports main contrib non-free non-free-firmware 
deb https://mirrors.tuna.tsinghua.edu.cn/debian-security bookworm-security main contrib non-free non-free-firmware
  • 编辑企业源
nano /etc/apt/sources.list.d/pve-enterprise.list 
将其中原有的源前面 # 注释掉,变为: 
#deb https://enterprise.proxmox.com/debian/pve bookworm pve-enterprise 

北方添加清华源: 
deb https://mirrors.tuna.tsinghua.edu.cn/proxmox/debian/pve bookworm pve-no-subscription 

南方添加中科大源: 
deb https://mirrors.ustc.edu.cn/proxmox/debian/pve bookworm pve-no-subscription 

# ctrl+x y 回车保存退出
  • 添加pve无订阅源
nano /etc/apt/sources.list.d/pve-no-subscription.list 

# 粘贴以下pve中科大的无订阅源 
deb https://mirrors.ustc.edu.cn/proxmox/debian/ceph-quincy bookworm no-subscription 

# ctrl+x y 回车保存退出
  • 更新软件包
apt update && apt dist-upgrade -y
  • 修复源401错误(如无401报错可忽略此条)
nano /etc/apt/sources.list.d/ceph.list 

# 将其中原有的proxmox句首加 # 注释掉 
变为:#deb http://download.proxmox.com/debian/ceph-quincy bookworm no-subscription 

# 添加中科大ceph源: 
deb https://mirrors.ustc.edu.cn/proxmox/debian/ceph-quincy bookworm no-subscription 

# ctrl+x y 回车保存退出 

# 再次更新 apt update && apt dist-upgrade -y

更换LXC容器源

  • 中科大源和清华大学源二选一
# 备份PVE自带的LXC容器源文件 
cp /usr/share/perl5/PVE/APLInfo.pm /usr/share/perl5/PVE/APLInfo.pm_back 

# 更换为中科大源: 
sed -i 's|http://download.proxmox.com|https://mirrors.ustc.edu.cn/proxmox|g' /usr/share/perl5/PVE/APLInfo.pm 

# 更换为清华大学源: 
sed -i 's|http://download.proxmox.com|https://mirrors.tuna.tsinghua.edu.cn/proxmox|g' /usr/share/perl5/PVE/APLInfo.pm 

# 重启PVE(使所有更换的源文件生效) reboot

SRIOV核显虚拟化

升级内核头文件headers

  • 查看内核版本
uname -a
  • i915-sriov目前支持6.1~6.5内核,根据uname-a反馈信息调整 header 的版本信息
  • 下载安装 headers
apt update && apt install pve-headers-$(uname -r) 

# 如果遇到报错,执行以下命令 
apt install pve-headers-6.5 
- 后面这个-6.5与uname-a返回的内核大版本号一致
  • 重启PVE使其生效
reboot

编译i915-sriov驱动

  • 安装 git工具 及 dkms
apt install -y git build-* dkms
  • 拖库
git clone https://github.com/strongtz/i915-sriov-dkms.git 
cd i915-sriov-dkms
nano dkms.conf 

# 将第一行改为 PACKAGE_NAME="i915-sriov-dkms" 
# 将第二行改为 PACKAGE_VERSION="6.5" 

# ctrl+x y 回车保存退出
  • 添加安装sriov模块
cd i915-sriov-dkms dkms 
add . dkms 
install -m i915-sriov-dkms -v 6.5
  • 检查安装是否成功
# 输入以下命令检查是否成功 
modinfo i915|grep vf 

# 反馈如下表示成功 
parm: max_vfs:Limit number of virtual functions to allocate. (0 = no VFs [default]; N = allow up to N VFs) (uint) 

# 如无反馈则安装失败,输入以下命令删除此模块 
dkms remove -m i915-sriov-dkms -v 6.5 

# 输入以下命令重新安装(直至有成功信息反馈为止) 
dkms install -m i915-sriov-dkms -v 6.5

设置直通和i915控制器

# 编辑 grub 配置文件 
nano /etc/default/grub 
- 在 quiet 后添加 intel_iommu=on i915.enable_guc=3 i915.max_vfs=7 

# ctrl+x y 回车保存退出

更新grub和initramfs

update-grub 
update-initramfs -u

安装sysfsutils(对新手友好方便对VF核显数量设置)

apt install -y sysfsutils

设置SRIOV核显数量

  • 下面命令中sriov_numvfs = 55代表SRIOV核显数量,可自定义设定,最多设置7个
  • 设置为1个性能最强,如果设置为7个,那么每一个的性能只有14%(所以这里大家根据自身核显性能自行考量)
echo "devices/pci0000:00/0000:00:02.0/sriov_numvfs = 5" > /etc/sysfs.conf
  • 重启使其生效
reboot
  • 通过PVE节点的Shell输入以下命令查看SRIOV核显直通是否成功
lspci | grep VGA
  • 如果成功则会输出以下数据
00:02.0 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.1 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.2 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.3 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.4 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.5 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
  • 00:02.x VGA 这就是刚刚虚拟出来的核显了 ⚠️注意:物理核显02.0不能直通出去(可以映射给LXC),否则物理核显本体被独占,所有虚拟核显消失。
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇