<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<!--[if !mso]><style id="mysingle_style">v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style id="knox_style"><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
@font-face
        {font-family:"Malgun Gothic";
        panose-1:2 11 5 3 2 0 0 2 0 4;}
@font-face
        {font-family:"\@Malgun Gothic";}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
pre
        {mso-style-priority:99;
        mso-style-link:"HTML Preformatted Char";
        margin:0in;
        font-size:10.0pt;
        font-family:"Courier New",serif;}
span.HTMLPreformattedChar
        {mso-style-name:"HTML Preformatted Char";
        mso-style-priority:99;
        mso-style-link:"HTML Preformatted";
        font-family:Consolas;}
span.EmailStyle22
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal">Hi Taejun,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">In addition to what Chris mentioned, have you configured the ACC100 device for SR-IOV?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Step 7. In this guide:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><a href="https://docs.starlingx.io/node_management/kubernetes/hardware_acceleration_devices/enabling-mount-bryce-hw-accelerator-for-hosted-vram-containerized-workloads.html">https://docs.starlingx.io/node_management/kubernetes/hardware_acceleration_devices/enabling-mount-bryce-hw-accelerator-for-hosted-vram-containerized-workloads.html</a><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Cheers,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Steve<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div style="border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Chris Friesen <chris.friesen@windriver.com> <br>
<b>Sent:</b> Tuesday, October 19, 2021 12:36 PM<br>
<b>To:</b> starlingx-discuss@lists.starlingx.io<br>
<b>Subject:</b> Re: [Starlingx-discuss] (2) How to Set 'isolcpus & HW Accelarator' on Starlingx 5.0<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">This is just a hunch, but I suspect that you shouldn't have the "<a href="https://urldefense.com/v3/__http:/*22__;JQ!!AjveYdw8EvQ!IEwfufuem722L0LUg_q8Rjy-BD9Zrwd7cZR3VY_bK3UmCsn0AzDwi5FSM-5936fQHpof0Q$">http://"</a> in front of the isolcpus
 resource.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">If that doesn't fix it, could we get some information from your installation?  For one of the nodes with isolcpus configured please run the following two commands on the active controller node:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">system host-cpu-list <hostname><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">kubectl describe node <hostname><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Then ssh to the node in question and run the following commands:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">cat /proc/cmdline<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">cat /sys/devices/system/cpu/isolated<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">cat /sys/devices/system/cpu/nohz_full<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Thanks,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Chris<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">On 10/18/2021 5:50 PM, <span style="font-family:"Malgun Gothic",sans-serif">
김태준</span> wrote:<o:p></o:p></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div>
<p>Dear Ildiko Vancsa <o:p></o:p></p>
<p> <o:p></o:p></p>
<p>Thank you for your reply.<o:p></o:p></p>
<p>First of all, we have already deployed our pod to the same server using WRCP. (with isolcpus & intel_acc100_fec)<o:p></o:p></p>
<p> <o:p></o:p></p>
<p>The server is trying to query the same pod with Starlingx 5.0 while supporting the resources.<o:p></o:p></p>
<p> <o:p></o:p></p>
<p>After 5.0 installation according to StarlingX Doc, cpu is set to Application-isolate in the same way, but the resources are not visible.<o:p></o:p></p>
<p> <o:p></o:p></p>
<p>'<a href="https://urldefense.com/v3/__http:/intel.com/intel_acc100_fec__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5AByxEsZ$">intel.com/intel_acc100_fec</a>: ‘16’’<br>
'<a href="http://windriver.com/isolcpus">http://windriver.com/isolcpus</a>: 24’<br>
Is there anything to do separately from starlingsX to make the above two resources available?<o:p></o:p></p>
<p> <o:p></o:p></p>
<p>for Starlingx Installation, I did just below,<o:p></o:p></p>
<p><a href="https://urldefense.com/v3/__https:/docs.starlingx.io/deploy_install_guides/r5_release/bare_metal/aio_simplex_install_kubernetes.html__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5DS4Ev2i$">https://docs.starlingx.io/deploy_install_guides/r5_release/bare_metal/aio_simplex_install_kubernetes.html</a><o:p></o:p></p>
<p> <o:p></o:p></p>
<p>for resources, I did belows,<o:p></o:p></p>
<p><a href="https://urldefense.com/v3/__https:/protect2.fireeye.com/v1/url?k=67ad2fd7-383616cf-67aca498-0cc47a314e9a-5e0aef83dc32c5cb&q=1&e=5ed23c51-ae04-476f-a95d-f2d4d2a9c1cc&u=https*3A*2F*2Fdocs.starlingx.io*2Fnode_management*2Fkubernetes*2Fhardware_acceleration_devices*2Fset-up-pods-to-use-sriov.html__;JSUlJSUlJQ!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5INhCM9q$">https://protect2.fireeye.com/v1/url?k=67ad2fd7-383616cf-67aca498-0cc47a314e9a-5e0aef83dc32c5cb&q=1&e=5ed23c51-ae04-476f-a95d-f2d4d2a9c1cc&u=https%3A%2F%2Fdocs.starlingx.io%2Fnode_management%2Fkubernetes%2Fhardware_acceleration_devices%2Fset-up-pods-to-use-sriov.html</a><br>
<a href="https://urldefense.com/v3/__https:/protect2.fireeye.com/v1/url?k=33fc70ff-6c6749e7-33fdfbb0-0cc47a314e9a-bc617f111d97e7de&q=1&e=5ed23c51-ae04-476f-a95d-f2d4d2a9c1cc&u=https*3A*2F*2Fdocs.starlingx.io*2Fr*2Fstx.5.0*2Fusertasks*2Fkubernetes*2Fuse-application-isolated-cores.html__;JSUlJSUlJSU!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5AH5-nFQ$">https://protect2.fireeye.com/v1/url?k=33fc70ff-6c6749e7-33fdfbb0-0cc47a314e9a-bc617f111d97e7de&q=1&e=5ed23c51-ae04-476f-a95d-f2d4d2a9c1cc&u=https%3A%2F%2Fdocs.starlingx.io%2Fr%2Fstx.5.0%2Fusertasks%2Fkubernetes%2Fuse-application-isolated-cores.html</a><o:p></o:p></p>
<p> <o:p></o:p></p>
<p>When I check node description, there is no isolcpus and intel_acc100_fec.<o:p></o:p></p>
<p>Capacity:<br>
  cpu:                           64<br>
  ephemeral-storage:             10190100Ki<br>
  hugepages-1Gi:                 32Gi<br>
  hugepages-2Mi:                 0<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_ca:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5GbJZtdA$">
intel.com/pci_sriov_net_ca:   </a> 7<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_f1c:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5JvZTDva$">
intel.com/pci_sriov_net_f1c:  </a> 4<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_f1u:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5Bi7xLEj$">
intel.com/pci_sriov_net_f1u:  </a> 4<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_fh0:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5Bo5Ql8w$">
intel.com/pci_sriov_net_fh0:  </a> 4<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_fh0m:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5PXG9sZK$">
intel.com/pci_sriov_net_fh0m: </a> 4<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_fh1:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5JNa4Zdc$">
intel.com/pci_sriov_net_fh1:  </a> 3<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_fh1m:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5JQSZRbg$">
intel.com/pci_sriov_net_fh1m: </a> 4<br>
  memory:                        131264360Ki<br>
  pods:                          110<o:p></o:p></p>
<p>  Same Server with WRCP case, we can see like this<o:p></o:p></p>
<p>Capacity:<br>
  cpu:                           64<br>
  ephemeral-storage:             10190100Ki<br>
  hugepages-1Gi:                 32Gi<br>
  hugepages-2Mi:                 0<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/intel_acc100_fec:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5Oq_FC4d$">
intel.com/intel_acc100_fec:   </a> 1<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_ca:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5GbJZtdA$">
intel.com/pci_sriov_net_ca:   </a> 7<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_f1c:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5JvZTDva$">
intel.com/pci_sriov_net_f1c:  </a> 4<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_f1u:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5Bi7xLEj$">
intel.com/pci_sriov_net_f1u:  </a> 4<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_fh0:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5Bo5Ql8w$">
intel.com/pci_sriov_net_fh0:  </a> 4<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_fh0m:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5PXG9sZK$">
intel.com/pci_sriov_net_fh0m: </a> 4<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_fh1:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5JNa4Zdc$">
intel.com/pci_sriov_net_fh1:  </a> 3<br>
  <a href="https://urldefense.com/v3/__http:/intel.com/pci_sriov_net_fh1m:__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5JQSZRbg$">
intel.com/pci_sriov_net_fh1m: </a> 4<br>
  memory:                        131365668Ki<br>
  pods:                          110<br>
  <a href="http://windriver.com/isolcpus">http://windriver.com/isolcpus</a>: 54<br>
<br>
Please let me know if there is anything I can do.<o:p></o:p></p>
<p> <o:p></o:p></p>
<p>Thanks and Best Regards,<br>
Taejun<o:p></o:p></p>
<p> <o:p></o:p></p>
<p>--------- <b>Original Message</b> ---------<o:p></o:p></p>
<p><b>Sender</b> : Ildiko Vancsa <a href="mailto:ildiko.vancsa@gmail.com"><ildiko.vancsa@gmail.com></a><o:p></o:p></p>
<p><b>Date</b> : 2021-10-19 03:56 (GMT+9)<o:p></o:p></p>
<p><b>Title</b> : Re: [Starlingx-discuss] How to Set 'isolcpus & HW Accelarator' on Starlingx 5.0<o:p></o:p></p>
<p> <o:p></o:p></p>
<pre>Dear Kim Tae-jun,<o:p></o:p></pre>
<pre><o:p> </o:p></pre>
<pre>Thank you for reaching out with your question.<o:p></o:p></pre>
<pre><o:p> </o:p></pre>
<pre>I think you may need to modify the yaml file to adjust it to the resources available in your system. Which means to modify these entries:<o:p></o:p></pre>
<pre>'<a href="https://urldefense.com/v3/__http:/intel.com/intel_acc100_fec__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5AByxEsZ$">intel.com/intel_acc100_fec</a>: ‘16’’<o:p></o:p></pre>
<pre>'<a href="http://windriver.com/isolcpus">http://windriver.com/isolcpus</a>: 24’<o:p></o:p></pre>
<pre><o:p> </o:p></pre>
<pre>Do you have the required resources available in your environment to use this feature?<o:p></o:p></pre>
<pre><o:p> </o:p></pre>
<pre>Thanks and Best Regards,<o:p></o:p></pre>
<pre>Ildikó<o:p></o:p></pre>
<pre><o:p> </o:p></pre>
<pre><o:p> </o:p></pre>
<pre>> On Oct 12, 2021, at 18:02, <span style="font-family:"Malgun Gothic",sans-serif">김태준</span> <a href="mailto:tj85.kim@samsung.com"><tj85.kim@samsung.com></a> wrote:<o:p></o:p></pre>
<pre>> <o:p></o:p></pre>
<pre>> Dear starlingx members<o:p></o:p></pre>
<pre>>  <o:p></o:p></pre>
<pre>> Hello. This is Kim Tae-jun from Samsung Electronics.<o:p></o:p></pre>
<pre>> We are trying a trial to apply Starlingx to our system.<o:p></o:p></pre>
<pre>> <o:p></o:p></pre>
<pre>> Among them, we are trying to set isolcpus and hw indicator according to the manual in starlingx docs and modify pod.<o:p></o:p></pre>
<pre>> However, even if you create yaml as manual, you can not run properly because you do not have the following resources.<o:p></o:p></pre>
<pre>>  <o:p></o:p></pre>
<pre>>   Type     Reason            Age               From               Message<o:p></o:p></pre>
<pre>>   ----     ------            ----              ----               -------<o:p></o:p></pre>
<pre>>   Warning  FailedScheduling  6s (x5 over 15s)  default-scheduler  0/1 nodes are available: 1 Insufficient <a href="https://urldefense.com/v3/__http:/intel.com/intel_acc100_fec__;!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5AByxEsZ$">intel.com/intel_acc100_fec</a>, 1 Insufficient <a href="http://windriver.com/isolcpus">http://windriver.com/isolcpus</a>.<o:p></o:p></pre>
<pre>>  <o:p></o:p></pre>
<pre>> resources corresponding to the capacity of the node description are not visible.<o:p></o:p></pre>
<pre>>  <o:p></o:p></pre>
<pre>> I set it by referring to the links below. I would appreciate it if you would let me know if there is anything missing in the preliminary work or what to refer to.<o:p></o:p></pre>
<pre>>  <o:p></o:p></pre>
<pre>> <a href="https://urldefense.com/v3/__https:/protect2.fireeye.com/v1/url?k=67ad2fd7-383616cf-67aca498-0cc47a314e9a-5e0aef83dc32c5cb&q=1&e=5ed23c51-ae04-476f-a95d-f2d4d2a9c1cc&u=https*3A*2F*2Fdocs.starlingx.io*2Fnode_management*2Fkubernetes*2Fhardware_acceleration_devices*2Fset-up-pods-to-use-sriov.html__;JSUlJSUlJQ!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5INhCM9q$">https://protect2.fireeye.com/v1/url?k=67ad2fd7-383616cf-67aca498-0cc47a314e9a-5e0aef83dc32c5cb&q=1&e=5ed23c51-ae04-476f-a95d-f2d4d2a9c1cc&u=https%3A%2F%2Fdocs.starlingx.io%2Fnode_management%2Fkubernetes%2Fhardware_acceleration_devices%2Fset-up-pods-to-use-sriov.html</a><o:p></o:p></pre>
<pre>> <a href="https://urldefense.com/v3/__https:/protect2.fireeye.com/v1/url?k=33fc70ff-6c6749e7-33fdfbb0-0cc47a314e9a-bc617f111d97e7de&q=1&e=5ed23c51-ae04-476f-a95d-f2d4d2a9c1cc&u=https*3A*2F*2Fdocs.starlingx.io*2Fr*2Fstx.5.0*2Fusertasks*2Fkubernetes*2Fuse-application-isolated-cores.html__;JSUlJSUlJSU!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5AH5-nFQ$">https://protect2.fireeye.com/v1/url?k=33fc70ff-6c6749e7-33fdfbb0-0cc47a314e9a-bc617f111d97e7de&q=1&e=5ed23c51-ae04-476f-a95d-f2d4d2a9c1cc&u=https%3A%2F%2Fdocs.starlingx.io%2Fr%2Fstx.5.0%2Fusertasks%2Fkubernetes%2Fuse-application-isolated-cores.html</a><o:p></o:p></pre>
<pre>>  <o:p></o:p></pre>
<pre>> Thanks you.<o:p></o:p></pre>
<pre>>  <o:p></o:p></pre>
<pre>> <Mail Attachment.gif> <o:p></o:p></pre>
<pre>> _______________________________________________<o:p></o:p></pre>
<pre>> Starlingx-discuss mailing list<o:p></o:p></pre>
<pre>> <a href="mailto:Starlingx-discuss@lists.starlingx.io">Starlingx-discuss@lists.starlingx.io</a><o:p></o:p></pre>
<pre>> <a href="https://urldefense.com/v3/__https:/protect2.fireeye.com/v1/url?k=dd734e99-82e87781-dd72c5d6-0cc47a314e9a-0b594a17d9dfec9d&q=1&e=5ed23c51-ae04-476f-a95d-f2d4d2a9c1cc&u=http*3A*2F*2Flists.starlingx.io*2Fcgi-bin*2Fmailman*2Flistinfo*2Fstarlingx-discuss__;JSUlJSUlJQ!!AjveYdw8EvQ!LbGFy4YrzCXcWt9OOkCjHPZSnZwRperUYw6TFcc5oznrlxoJJPnafn9xB9ST5CCsQZo3$">https://protect2.fireeye.com/v1/url?k=dd734e99-82e87781-dd72c5d6-0cc47a314e9a-0b594a17d9dfec9d&q=1&e=5ed23c51-ae04-476f-a95d-f2d4d2a9c1cc&u=http%3A%2F%2Flists.starlingx.io%2Fcgi-bin%2Fmailman%2Flistinfo%2Fstarlingx-discuss</a><o:p></o:p></pre>
<pre><o:p> </o:p></pre>
<table class="MsoNormalTable" border="0" cellpadding="0" id="bannersignimg">
<tbody>
<tr>
<td style="padding:.75pt .75pt .75pt .75pt">
<p> <o:p></o:p></p>
</td>
</tr>
</tbody>
</table>
<p class="MsoNormal"><span style="display:none"><o:p> </o:p></span></p>
<table class="MsoNormalTable" border="0" cellpadding="0" id="confidentialsignimg">
<tbody>
<tr>
<td style="padding:.75pt .75pt .75pt .75pt">
<p><img border="0" width="520" height="144" style="width:5.4166in;height:1.5in" id="Picture_x0020_1" src="cid:image001.gif@01D7C504.196305E0"> <o:p></o:p></p>
</td>
</tr>
</tbody>
</table>
<p class="MsoNormal"><span style="display:none"><o:p> </o:p></span></p>
<table class="MsoNormalTable" border="0" cellpadding="0">
<tbody>
<tr>
<td style="padding:.75pt .75pt .75pt .75pt">
<p class="MsoNormal" style="mso-margin-top-alt:3.75pt;margin-right:0in;margin-bottom:3.75pt;margin-left:0in">
<span style="font-size:10.0pt;font-family:"Malgun Gothic",sans-serif;border:solid windowtext 1.0pt;padding:0in"><img border="0" width="100" height="100" style="width:1.0416in;height:1.0416in" id="Picture_x0020_2" src="cid:~WRD0000.jpg" alt="Image removed by sender."></span><span style="font-size:10.0pt;font-family:"Malgun Gothic",sans-serif"><o:p></o:p></span></p>
</td>
</tr>
</tbody>
</table>
</div>
<p class="MsoNormal"><span style="color:black"><br>
<br>
</span><o:p></o:p></p>
<pre>_______________________________________________<o:p></o:p></pre>
<pre>Starlingx-discuss mailing list<o:p></o:p></pre>
<pre><a href="mailto:Starlingx-discuss@lists.starlingx.io">Starlingx-discuss@lists.starlingx.io</a><o:p></o:p></pre>
<pre><a href="https://urldefense.com/v3/__http:/lists.starlingx.io/cgi-bin/mailman/listinfo/starlingx-discuss__;!!AjveYdw8EvQ!IEwfufuem722L0LUg_q8Rjy-BD9Zrwd7cZR3VY_bK3UmCsn0AzDwi5FSM-5936dFPxmjDw$">http://lists.starlingx.io/cgi-bin/mailman/listinfo/starlingx-discuss</a><o:p></o:p></pre>
</blockquote>
<p><o:p> </o:p></p>
</div>
</div>
</body>
</html>