<div dir="ltr">Hi,<div><br></div><div>I have installed distributed starlingx 4.0 in "All in one Duplex" mode. There are two nodes in the central cloud and two in the edge cloud.</div><div><br></div><div>I have enabled SRIOV in bios settings of edge cloud nodes and set total VFs as 16. </div><div><br></div><div>After that, while installing starlingX I followed the steps to enable SRIOV.</div><div><span style="color:rgb(23,43,77);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,"Noto Sans",Ubuntu,"Droid Sans","Helvetica Neue",sans-serif;font-size:16px;letter-spacing:-0.08px;white-space:pre-wrap"><br></span></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span style="color:rgb(23,43,77);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,"Noto Sans",Ubuntu,"Droid Sans","Helvetica Neue",sans-serif;font-size:16px;letter-spacing:-0.08px;white-space:pre-wrap">system host-label-assign controller-0 sriovdp=enabled<br></span><span style="color:rgb(23,43,77);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,"Noto Sans",Ubuntu,"Droid Sans","Helvetica Neue",sans-serif;font-size:16px;letter-spacing:-0.08px;white-space:pre-wrap">system host-memory-modify controller-0 0 -1G 100<br></span><span style="color:rgb(23,43,77);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,"Noto Sans",Ubuntu,"Droid Sans","Helvetica Neue",sans-serif;font-size:16px;letter-spacing:-0.08px;white-space:pre-wrap">system host-memory-modify controller-0 1 -1G 100</span>  </blockquote><div>and ran these steps for controller-1 as well. <br></div><div><br></div><div>As I understand the first step would label the node "controller-0 and controller-1" as "sriovdp=enabled" and set the number of 1G huge pages to 200.</div><div>Once the installation was complete, I saw that k8s sriov-device plugin was not coming up. It complained that the resource list was empty. <br></div><div><br></div><div>I had to set  "/sys/devices/pci0000:3a/0000:3a:00.0/0000:3b:00.0/sriov_numvfs" to 8 (I needed 8 virtual interfaces) and update the resource list in </div><div>/etc/pcidp/config.json</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">{<br>  "resourceList": [<br>            {<br>                "resourceName": "bcm_sriov_netdevice",<br>                "selectors": {<br>                    "vendors": ["14e4"],<br>                    "devices": ["16dc"],<br>                    "drivers": ["bnxt_en"],<br>                    "pfNames": ["enp59s0f0#0-7"]<br>                }<br>             }<br>    ]<br>}</blockquote><div><br></div><div>to see that sriov-dp comes up properly.</div><div><br></div><div>Is there any way to pass on the number of VF's( sriov_numvfs )required per node and resourcelist during the time of installation when we label the nodes as 

sriovdp=enabled

</div><div><br></div><div>Regards,</div><div>Sriram</div><div><br></div><div> </div><div><br></div><div><br></div><div><br></div><div><br></div><div> </div></div>