<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:Wingdings;
        panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0in;
        margin-right:0in;
        margin-bottom:0in;
        margin-left:.5in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle19
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:1817331854;
        mso-list-type:hybrid;
        mso-list-template-ids:1220338054 67698689 67698691 67698693 67698689 67698691 67698693 67698689 67698691 67698693;}
@list l0:level1
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l0:level2
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l0:level3
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l0:level4
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l0:level5
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l0:level6
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l0:level7
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l0:level8
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l0:level9
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal">> Greg<o:p></o:p></p>
<p class="MsoNormal">> So wait.... Are you saying that I can put both pxeboot and mgmt on untagged 10.16.48.x no need to separate them?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Well the options are:<o:p></o:p></p>
<ul style="margin-top:0in" type="disc">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level1 lfo1">Option 1: use only mgmt network<o:p></o:p></li><ul style="margin-top:0in" type="circle">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level2 lfo1">mgmt. untagged, with address 10.16.48.0/24<o:p></o:p></li><ul style="margin-top:0in" type="square">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level3 lfo1">where mgmt. would be used for<o:p></o:p></li><ul style="margin-top:0in" type="disc">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level4 lfo1">pxebooting between StarlingX Controller(s) and other StarlingX hosts, and<o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level4 lfo1">internal StarlingX infrastructure mgmt traffic<o:p></o:p></li></ul>
</ul>
</ul>
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level1 lfo1">Option 2: use both pxeboot and mgmt. network<o:p></o:p></li><ul style="margin-top:0in" type="circle">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level2 lfo1">pxeboot untagged, with address 10.16.48.0/24<o:p></o:p></li><ul style="margin-top:0in" type="square">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level3 lfo1">to be used for pxebooting between StarlingX Controller(s) and other StarlingX hosts<o:p></o:p></li></ul>
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level2 lfo1">mgmt. tagged, with address <something different><o:p></o:p></li><ul style="margin-top:0in" type="square">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level3 lfo1">to be used for internal StarlingX infrastructure mgmt. traffic.<o:p></o:p></li></ul>
</ul>
</ul>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Greg.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Outback Dingo <outbackdingo@gmail.com> <br>
<b>Sent:</b> Friday, May 13, 2022 7:46 AM<br>
<b>To:</b> Waines, Greg <Greg.Waines@windriver.com><br>
<b>Cc:</b> starlingx-discuss@lists.starlingx.io<br>
<b>Subject:</b> Re: [Starlingx-discuss] STX networking<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div style="border:solid #9C6500 1.0pt;padding:2.0pt 2.0pt 2.0pt 2.0pt">
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;line-height:12.0pt;background:#FFEB9C">
<span style="font-size:10.0pt;color:red">[Please note: This e-mail is from an EXTERNAL e-mail address]</span><o:p></o:p></p>
</div>
<div>
<div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">On Fri, May 13, 2022, 6:22 PM Waines, Greg <<a href="mailto:Greg.Waines@windriver.com">Greg.Waines@windriver.com</a>> wrote:<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<p class="MsoNormal">> okay heres the curiosity, why do they require to be separate subnets, if their on the seperate interfaces bond0 / bond0.1648
<br>
> even though its the same really as everything goes over the bond at some point. we really use 10.16.48.x for our management
<br>
> backplane, and it is the only network we allow pxe on.<br>
> as shown in previous netplans<br>
<br>
pxeboot and mgmt are on two separate layer 2 networks<br>
pxeboot on the untagged vlan of bond0, and<br>
mgmt on vlan=1648 of bond0<br>
<br>
If those two networks are connected to the same routing instance (which they are in the case of StarlingX Platform Networking), then they must have unique IP Subnets, based on basic rules for IP Routing.<br>
<br>
So you say "10.16.48.x" is the only network that you support pxebooting on.<br>
<br>
Questions:<br>
- Does your management network for your StarlingX hosts need to be vlan tagged ?<br>
  ( if yes, not a problem, just curious why ? )<br>
- If YES<br>
       * use pxeboot (bond0)       = <a href="https://urldefense.com/v3/__http:/10.16.48.0/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OirOYHFtBw$" target="_blank">
10.16.48.0/24</a><br>
                 mgmt. (bond0.1648) = <a href="https://urldefense.com/v3/__http:/10.16.49.0/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OircUfI_cw$" target="_blank">
10.16.49.0/24</a>       ( I just picked 49 as an arbitrary other network ...<br>
- if NO<br>
      * DON"T use pxeboot<br>
      * use mgmt. (bond0) = <a href="https://urldefense.com/v3/__http:/10.16.48.0/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OirOYHFtBw$" target="_blank">
10.16.48.0/24</a><br>
<br>
Greg<o:p></o:p></p>
</blockquote>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<p class="MsoNormal"><o:p> </o:p></p>
</blockquote>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<p class="MsoNormal">So wait.... Are you saying that I can put both pxeboot and mgmt on untagged 10.16.48.x no need to separate them?<o:p></o:p></p>
</blockquote>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<p class="MsoNormal"><br>
-----Original Message-----<br>
From: Outback Dingo <<a href="mailto:outbackdingo@gmail.com" target="_blank">outbackdingo@gmail.com</a>>
<br>
Sent: Thursday, May 12, 2022 10:03 PM<br>
To: Waines, Greg <<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>><br>
Cc: <a href="mailto:starlingx-discuss@lists.starlingx.io" target="_blank">starlingx-discuss@lists.starlingx.io</a><br>
Subject: Re: [Starlingx-discuss] STX networking<br>
<br>
[Please note: This e-mail is from an EXTERNAL e-mail address]<br>
<br>
On Thu, May 12, 2022 at 6:49 PM Waines, Greg <<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>> wrote:<br>
><br>
> I doubt if this is causing issues but shouldn't this:<br>
>      pxeboot_subnet: <a href="https://urldefense.com/v3/__http:/10.16.48.1/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipZWWT9KA$" target="_blank">
10.16.48.1/24</a><br>
> be<br>
>     pxeboot_subnet: <a href="https://urldefense.com/v3/__http:/10.16.48.0/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OirOYHFtBw$" target="_blank">
10.16.48.0/24</a><br>
> ?<br>
<br>
ok changed to >     pxeboot_subnet: <a href="https://urldefense.com/v3/__http:/10.16.48.0/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OirOYHFtBw$" target="_blank">
10.16.48.0/24</a><br>
<br>
> ( and similar issue for oam_subnet )<br>
><br>
><br>
> ACTUALLY ... you have the pxeboot_subnet and the oam_subnet being the same ?<br>
> external_oam_subnet: <a href="https://urldefense.com/v3/__http:/10.16.48.1/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipZWWT9KA$" target="_blank">
10.16.48.1/24</a><br>
> pxeboot_subnet: <a href="https://urldefense.com/v3/__http:/10.16.48.1/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipZWWT9KA$" target="_blank">
10.16.48.1/24</a><br>
> That is wrong ... they have to be separate IP subnets.<br>
><br>
<br>
okay heres the curiosity, why do they require to be separate subnets, if their on the seperate interfaces bond0 / bond0.1648 even though its the same really as everything goes over the bond at some point. we really use 10.16.48.x for our management backplane,
 and it is the only network we allow pxe on.<br>
as shown in previous netplans<br>
# /etc/cloud/cloud.cfg.d/99-disable-network-config.cfg with the following:<br>
# network: {config: disabled}<br>
network:<br>
    bonds:<br>
        bond0:<br>
            interfaces:<br>
            - enp33s0<br>
            - enp101s0<br>
            macaddress: 98:03:9b:54:9c:f4<br>
            mtu: 9000<br>
            parameters:<br>
                down-delay: 0<br>
                lacp-rate: fast<br>
                mii-monitor-interval: 100<br>
                mode: 802.3ad<br>
                transmit-hash-policy: layer3+4<br>
                up-delay: 0<br>
    bridges:<br>
        br-mgmt:<br>
            addresses:<br>
            - <a href="https://urldefense.com/v3/__http:/10.16.48.10/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OirSW8Nvjw$" target="_blank">
10.16.48.10/24</a><br>
            gateway4: <a href="https://urldefense.com/v3/__http:/10.16.48.1__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipkWgJpsA$">
10.16.48.1</a><br>
            interfaces:<br>
            - bond0<br>
            macaddress: 98:03:9b:54:9c:f4<br>
            mtu: 9000<br>
            nameservers:<br>
                addresses:<br>
                - <a href="https://urldefense.com/v3/__http:/10.16.48.10__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OioXn5DFPQ$">
10.16.48.10</a><br>
                - <a href="https://urldefense.com/v3/__http:/10.16.48.11__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipVvf_XWQ$">
10.16.48.11</a><br>
                - <a href="https://urldefense.com/v3/__http:/1.1.1.1__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiryJe30tg$">
1.1.1.1</a><br>
                search:<br>
                - maas<br>
            parameters:<br>
                forward-delay: 15<br>
                stp: false<br>
        br-storage:<br>
            addresses:<br>
            - <a href="https://urldefense.com/v3/__http:/10.16.72.21/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OirvgpgXCQ$" target="_blank">
10.16.72.21/24</a><br>
            interfaces:<br>
            - bond0.1672<br>
            macaddress: 98:03:9b:54:9c:f4<br>
            mtu: 9000<br>
            nameservers:<br>
                addresses:<br>
                - <a href="https://urldefense.com/v3/__http:/10.16.48.10__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OioXn5DFPQ$">
10.16.48.10</a><br>
                - <a href="https://urldefense.com/v3/__http:/1.1.1.1__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiryJe30tg$">
1.1.1.1</a><br>
                search:<br>
                - maas<br>
            parameters:<br>
                forward-delay: 15<br>
                stp: false<br>
        br-vxlan:<br>
            addresses:<br>
            - <a href="https://urldefense.com/v3/__http:/10.16.80.21/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqUiTYCgQ$" target="_blank">
10.16.80.21/24</a><br>
            interfaces:<br>
            - bond0.1680<br>
            macaddress: 98:03:9b:54:9c:f4<br>
            mtu: 9000<br>
            nameservers:<br>
                addresses:<br>
                - <a href="https://urldefense.com/v3/__http:/10.16.48.10__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OioXn5DFPQ$">
10.16.48.10</a><br>
                - <a href="https://urldefense.com/v3/__http:/1.1.1.1__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiryJe30tg$">
1.1.1.1</a><br>
                search:<br>
                - maas<br>
            parameters:<br>
                forward-delay: 15<br>
                stp: false<br>
    ethernets:<br>
        eno1np0:<br>
            dhcp4: true<br>
            match:<br>
                macaddress: 00:25:90:b9:71:8c<br>
            mtu: 9000<br>
            set-name: enp17s0f0<br>
        eno2np1:<br>
            dhcp4: true<br>
            match:<br>
                macaddress: 00:25:90:b9:71:8d<br>
            mtu: 9000<br>
            set-name: enp17s0f1<br>
        enp33s0:<br>
            match:<br>
                macaddress: 98:03:9b:54:9c:f4<br>
            mtu: 9000<br>
            set-name: enp33s0<br>
        enp101s0:<br>
            match:<br>
                macaddress: 98:03:9b:54:9c:e4<br>
            mtu: 9000<br>
            set-name: enp101s0<br>
    vlans:<br>
        bond0.1672:<br>
            id: 1672<br>
            link: bond0<br>
            mtu: 9000<br>
        bond0.1680:<br>
            id: 1680<br>
            link: bond0<br>
            mtu: 9000<br>
    version: 2<br>
<br>
><br>
> You should also remove:<br>
> external_oam_node_2_address: <a href="https://urldefense.com/v3/__http:/10.16.48.116__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipCxW-vUQ$">
10.16.48.116</a><br>
> external_oam_node_3_address: <a href="https://urldefense.com/v3/__http:/10.16.48.117__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipbrBm2nw$">
10.16.48.117</a><br>
> external_oam_node_4_address: <a href="https://urldefense.com/v3/__http:/10.16.48.118__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OirsA72lvg$">
10.16.48.118</a><br>
><br>
done....<br>
<br>
><br>
> Other comment on your config commands<br>
> ...<br>
> system host-if-modify controller-0 $MGMT_IF -c platform system <br>
> interface-network-assign controller-0 $MGMT_IF mgmt<br>
> system interface-network-assign controller-0 $MGMT_IF cluster-host    // you should remove this, as you assign 'cluster-host' network below to a separate interface<br>
> ...<br>
> system host-if-modify controller-0 $CLUSTER_IF -c platform system <br>
> interface-network-assign controller-0 $CLUSTER_IF cluster-host ...<br>
<br>
also fixed ...<br>
<br>
><br>
><br>
><br>
> I would redo install using a unique IP Subnet for pxeboot and oam <br>
> networks, Greg.<br>
><br>
<br>
redeploying now, can i ask, whats the logical difference between<br>
<br>
cluster_host_subnet: <a href="https://urldefense.com/v3/__http:/10.16.96.0/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipE-ZlXxQ$" target="_blank">
10.16.96.0/24</a><br>
and<br>
cluster_pod_subnet: <a href="https://urldefense.com/v3/__http:/10.16.64.0/16__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oiovior4xg$" target="_blank">
10.16.64.0/16</a><br>
<br>
all our pods should exist / be accessible from 10.16.64, do they really require a completely separated interface then hosts?? feels kinda vxlan type magic<br>
<br>
running new install again...<br>
<br>
> -----Original Message-----<br>
> From: Outback Dingo <<a href="mailto:outbackdingo@gmail.com" target="_blank">outbackdingo@gmail.com</a>><br>
> Sent: Thursday, May 12, 2022 4:30 AM<br>
> To: Waines, Greg <<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>><br>
> Cc: <a href="mailto:starlingx-discuss@lists.starlingx.io" target="_blank">starlingx-discuss@lists.starlingx.io</a><br>
> Subject: Re: [Starlingx-discuss] STX networking<br>
><br>
> [Please note: This e-mail is from an EXTERNAL e-mail address]<br>
><br>
> ok, so getting closer its about the ip space and preset variables now<br>
><br>
> and ...  after installing software on controller-0 last run i used <br>
> note i set pxeboot_ vars to put the right network and interfaces on <br>
> bond0<br>
> [sysadmin@controller-0 ~(keystone_admin)]$ cat localhost.yml<br>
> system_mode: duplex<br>
><br>
> dns_servers:<br>
>   - <a href="https://urldefense.com/v3/__http:/8.8.8.8__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipT1FtENA$">
8.8.8.8</a><br>
>   - <a href="https://urldefense.com/v3/__http:/8.8.4.4__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OirhnjwX3Q$">
8.8.4.4</a><br>
><br>
> external_oam_subnet: <a href="https://urldefense.com/v3/__http:/10.16.48.1/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipZWWT9KA$" target="_blank">
10.16.48.1/24</a><br>
> external_oam_gateway_address: <a href="https://urldefense.com/v3/__http:/10.16.48.1__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipkWgJpsA$">
10.16.48.1</a><br>
> external_oam_floating_address: <a href="https://urldefense.com/v3/__http:/10.16.48.110__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqFEzom4Q$">
10.16.48.110</a><br>
> external_oam_node_0_address: <a href="https://urldefense.com/v3/__http:/10.16.48.114__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqWIvQdOQ$">
10.16.48.114</a><br>
> external_oam_node_1_address: <a href="https://urldefense.com/v3/__http:/10.16.48.115__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OioCvKvKDw$">
10.16.48.115</a><br>
> external_oam_node_2_address: <a href="https://urldefense.com/v3/__http:/10.16.48.116__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipCxW-vUQ$">
10.16.48.116</a><br>
> external_oam_node_3_address: <a href="https://urldefense.com/v3/__http:/10.16.48.117__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipbrBm2nw$">
10.16.48.117</a><br>
> external_oam_node_4_address: <a href="https://urldefense.com/v3/__http:/10.16.48.118__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OirsA72lvg$">
10.16.48.118</a><br>
><br>
> admin_username: admin<br>
> admin_password: somepass<br>
> ansible_become_pass: somepass<br>
><br>
> # Add these lines to configure Docker to use a proxy server # # docker_http_proxy:
<a href="https://urldefense.com/v3/__http:/my.proxy.com:1080__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oiq_WMWq_g$" target="_blank">
http://my.proxy.com:1080</a> # # docker_https_proxy: <a href="https://urldefense.com/v3/__https:/my.proxy.com:1443__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiryFDWfSQ$" target="_blank">
https://my.proxy.com:1443</a> # # docker_no_proxy:<br>
> # #   - <a href="https://urldefense.com/v3/__http:/1.2.3.4__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipN2KNc2Q$">
1.2.3.4</a><br>
> #<br>
> kubernetes_version: 1.21.3<br>
> pxeboot_subnet: <a href="https://urldefense.com/v3/__http:/10.16.48.1/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipZWWT9KA$" target="_blank">
10.16.48.1/24</a><br>
> pxeboot_start_address: <a href="https://urldefense.com/v3/__http:/10.16.48.100__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipnVymXSg$">
10.16.48.100</a><br>
> pxeboot_end_address: <a href="https://urldefense.com/v3/__http:/10.16.48.151__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oir2ih0rbA$">
10.16.48.151</a><br>
><br>
> then ran ansible-playbook <br>
> /usr/share/ansible/stx-ansible/playbooks/bootstrap.yml<br>
> and ... it was successful... onto configuring source <br>
> /etc/platform/openrc system host-if-add -c platform -a 802.3ad -x <br>
> layer2 controller-0 bond0 ae enp33s0 enp49s0 system host-if-add <br>
> controller-0 -V 1648 -c platform bond0.1648 vlan bond0 system <br>
> host-if-add controller-0 -V 1664 -c platform bond0.1664 vlan bond0 <br>
> system host-if-add controller-0 -V 1680 -c platform bond0.1680 vlan <br>
> bond0<br>
> OAM_IF=bond0.1648<br>
> PXE_IF=bond0<br>
>  MGMT_IF=bond0.1680<br>
> CLUSTER_IF=bond0.1664<br>
>  ping <a href="https://urldefense.com/v3/__http:/8.8.8.8__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipT1FtENA$">
8.8.8.8</a><br>
><br>
> system host-if-modify controller-0 lo -c none IFNET_UUIDS=$(system <br>
> interface-network-list controller-0 | awk '{if ($6=="lo") print $4;}')<br>
> for UUID in $IFNET_UUIDS; do     system interface-network-remove ${UUID}; done<br>
><br>
> system host-if-modify controller-0 $OAM_IF -c platform system <br>
> interface-network-assign controller-0 $OAM_IF oam<br>
><br>
> system host-if-modify controller-0 $MGMT_IF -c platform system <br>
> interface-network-assign controller-0 $MGMT_IF mgmt system <br>
> interface-network-assign controller-0 $MGMT_IF cluster-host<br>
><br>
> system host-if-modify controller-0 $PXE_IF -c platform system <br>
> interface-network-assign controller-0 $PXE_IF pxeboot<br>
><br>
> system host-if-modify controller-0 $CLUSTER_IF -c platform system <br>
> interface-network-assign controller-0 $CLUSTER_IF cluster-host<br>
><br>
> system ntp-modify ntpservers=<a href="https://urldefense.com/v3/__http:/0.pool.ntp.org__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OirhFcTwMA$" target="_blank">0.pool.ntp.org</a>,<a href="https://urldefense.com/v3/__http:/1.pool.ntp.org__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqrPag3zw$" target="_blank">1.pool.ntp.org</a><br>
> system host-label-assign controller-0 openstack-control-plane=enabled <br>
> system host-label-assign controller-0 ceph-mon-placement=enabled <br>
> system host-label-assign controller-0 ceph-mgr-placement=enabled <br>
> system storage-backend-add ceph-rook --confirmed system host-unlock <br>
> controller-0<br>
><br>
> where controller-0 does reboot and do its boot sequence, then comes up <br>
> on the correct OAM_IF IP, and DOES have also the correct floating <br>
> address assigned to bond0.1648<br>
><br>
> i can actually login, i them waited some minutes and<br>
><br>
> source /etc/platform/openrc<br>
><br>
> [sysadmin@controller-0 ~(keystone_admin)]$ system host-list<br>
> +----+--------------+-------------+----------------+-------------+--------------+<br>
> | id | hostname     | personality | administrative | operational |<br>
> availability |<br>
> +----+--------------+-------------+----------------+-------------+--------------+<br>
> | 1  | controller-0 | controller  | unlocked       | enabled     |<br>
> available    |<br>
> +----+--------------+-------------+----------------+-------------+--------------+<br>
><br>
> functionally working...  with the following network config<br>
><br>
> [sysadmin@controller-0 ~(keystone_admin)]$ ip a<br>
> 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000<br>
>     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00<br>
>     inet <a href="https://urldefense.com/v3/__http:/127.0.0.1/8__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqmwIApcA$" target="_blank">
127.0.0.1/8</a> scope host lo<br>
>        valid_lft forever preferred_lft forever<br>
>     inet6 ::1/128 scope host<br>
>        valid_lft forever preferred_lft forever<br>
> 2: eno1: <BROADCAST,MULTICAST> mtu 1500 qdisc mq state DOWN group default qlen 1000<br>
>     link/ether ac:1f:6b:60:97:52 brd ff:ff:ff:ff:ff:ff<br>
> 3: eno2: <BROADCAST,MULTICAST> mtu 1500 qdisc mq state DOWN group default qlen 1000<br>
>     link/ether ac:1f:6b:60:97:53 brd ff:ff:ff:ff:ff:ff<br>
> 4: enp33s0: <BROADCAST,MULTICAST,PROMISC,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP group default qlen 1000<br>
>     link/ether b8:59:9f:12:32:78 brd ff:ff:ff:ff:ff:ff<br>
> 5: enp49s0: <BROADCAST,MULTICAST,PROMISC,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP group default qlen 1000<br>
>     link/ether b8:59:9f:12:32:78 brd ff:ff:ff:ff:ff:ff permaddr <br>
> b8:59:9f:12:2c:fc<br>
> 6: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default<br>
>     link/ether 02:42:d5:7a:2c:4c brd ff:ff:ff:ff:ff:ff<br>
>     inet <a href="https://urldefense.com/v3/__http:/172.17.0.1/16__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipJoxDVjQ$" target="_blank">
172.17.0.1/16</a> brd <a href="https://urldefense.com/v3/__http:/172.17.255.255__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OioUVldRZw$">
172.17.255.255</a> scope global docker0<br>
>        valid_lft forever preferred_lft forever<br>
> 7: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc htb state UP group default qlen 1000<br>
>     link/ether b8:59:9f:12:32:78 brd ff:ff:ff:ff:ff:ff<br>
>     inet <a href="https://urldefense.com/v3/__http:/10.16.48.101/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oipgb3yjPw$" target="_blank">
10.16.48.101/24</a> brd <a href="https://urldefense.com/v3/__http:/10.16.48.255__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqUcSWXuQ$">
10.16.48.255</a> scope global bond0<br>
>        valid_lft forever preferred_lft forever<br>
>     inet <a href="https://urldefense.com/v3/__http:/10.16.48.100/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oio8yY9TIg$" target="_blank">
10.16.48.100/24</a> scope global secondary bond0<br>
>        valid_lft forever preferred_lft forever<br>
>     inet6 fe80::ba59:9fff:fe12:3278/64 scope link<br>
>        valid_lft forever preferred_lft forever<br>
> 8: vlan1648@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000<br>
>     link/ether b8:59:9f:12:32:78 brd ff:ff:ff:ff:ff:ff<br>
>     inet <a href="https://urldefense.com/v3/__http:/10.16.48.114/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqOIx4VBA$" target="_blank">
10.16.48.114/24</a> brd <a href="https://urldefense.com/v3/__http:/10.16.48.255__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqUcSWXuQ$">
10.16.48.255</a> scope global vlan1648<br>
>        valid_lft forever preferred_lft forever<br>
>     inet <a href="https://urldefense.com/v3/__http:/10.16.48.110/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqqLHb4SQ$" target="_blank">
10.16.48.110/24</a> scope global secondary vlan1648<br>
>        valid_lft forever preferred_lft forever<br>
>     inet6 fe80::ba59:9fff:fe12:3278/64 scope link<br>
>        valid_lft forever preferred_lft forever<br>
> 9: vlan1664@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000<br>
>     link/ether b8:59:9f:12:32:78 brd ff:ff:ff:ff:ff:ff<br>
>     inet6 fe80::ba59:9fff:fe12:3278/64 scope link<br>
>        valid_lft forever preferred_lft forever<br>
> 10: vlan1680@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc htb state UP group default qlen 1000<br>
>     link/ether b8:59:9f:12:32:78 brd ff:ff:ff:ff:ff:ff<br>
>     inet <a href="https://urldefense.com/v3/__http:/192.168.204.2/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiryME1-Fw$" target="_blank">
192.168.204.2/24</a> brd <a href="https://urldefense.com/v3/__http:/192.168.204.255__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oiqkd5p_gw$">
192.168.204.255</a> scope global vlan1680<br>
>        valid_lft forever preferred_lft forever<br>
>     inet <a href="https://urldefense.com/v3/__http:/192.168.206.2/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oiol2DzQ6w$" target="_blank">
192.168.206.2/24</a> brd <a href="https://urldefense.com/v3/__http:/192.168.206.255__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oip5-vJN2A$">
192.168.206.255</a> scope global vlan1680:12<br>
>        valid_lft forever preferred_lft forever<br>
>     inet <a href="https://urldefense.com/v3/__http:/192.168.206.1/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqrgX7SJQ$" target="_blank">
192.168.206.1/24</a> scope global secondary vlan1680<br>
>        valid_lft forever preferred_lft forever<br>
>     inet <a href="https://urldefense.com/v3/__http:/192.168.204.1/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipGA54MSA$" target="_blank">
192.168.204.1/24</a> scope global secondary vlan1680<br>
>        valid_lft forever preferred_lft forever<br>
>     inet <a href="https://urldefense.com/v3/__http:/192.168.204.4/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oir1x4jH-A$" target="_blank">
192.168.204.4/24</a> brd <a href="https://urldefense.com/v3/__http:/192.168.204.255__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oiqkd5p_gw$">
192.168.204.255</a> scope global secondary vlan1680<br>
>        valid_lft forever preferred_lft forever<br>
>     inet6 fe80::ba59:9fff:fe12:3278/64 scope link<br>
>        valid_lft forever preferred_lft forever<br>
> ------------------snip----------------------<br>
><br>
> i pxe booted 2 more nodes, they did pxe fine from controller bond0 <br>
> with 10.16.48.x as specified in localhost.yml<br>
><br>
> they did show in system host-list... where i set their personalities.<br>
><br>
> [sysadmin@controller-0 ~(keystone_admin)]$ system host-list<br>
> +----+--------------+-------------+----------------+-------------+--------------+<br>
> | id | hostname     | personality | administrative | operational |<br>
> availability |<br>
> +----+--------------+-------------+----------------+-------------+--------------+<br>
> | 1  | controller-0 | controller  | unlocked       | enabled     |<br>
> available    |<br>
> | 2  | controller-1 | controller  | locked         | disabled    |<br>
> offline      |<br>
> | 3  | worker-0     | worker      | locked         | disabled    |<br>
> offline      |<br>
> +----+--------------+-------------+----------------+-------------+--------------+<br>
><br>
> they both then proceeded to boot.... but now appear hung...... 1+ <br>
> hours<br>
><br>
> and i think the problem just might be... 192.168.204 and 192.168.206 <br>
> addresses on bond0.1680 so....  they need to be 10.16.64.x which is <br>
> what all our pods talk across for bond0.1664 or 10.16.80.x for <br>
> bond0.1680<br>
><br>
> so now they question is which is what in the variables:, i believe i <br>
> have the proper pxeboot_ and oam with 10.16.48.x on bond0 and<br>
> bond0.1648<br>
> though you show oam and managment_ as different but i dont think i completely grasp whats mgmt_, cluster_host, cluster_pod, cluster_service and management multicast, so whats what ?<br>
> in your ip space compare to what mine should be.<br>
><br>
> pxeboot_subnet<br>
> pxeboot_start_address<br>
> pxeboot_end_address<br>
><br>
> management_subnet<br>
> management_start_address<br>
> management_end_address<br>
> cluster_host_subnet<br>
> cluster_host_start_address<br>
> cluster_host_end_address<br>
> cluster_pod_subnet<br>
> cluster_pod_start_address<br>
> cluster_pod_end_address<br>
> cluster_service_subnet<br>
> cluster_service_start_address<br>
> cluster_service_end_address<br>
> management_multicast_subnet<br>
> management_multicast_start_address<br>
> management_multicast_end_address<br>
><br>
><br>
><br>
> On Thu, May 12, 2022 at 7:44 AM Outback Dingo <<a href="mailto:outbackdingo@gmail.com" target="_blank">outbackdingo@gmail.com</a>> wrote:<br>
> ><br>
> > working through the configuration now based on findings, and yes i <br>
> > only have to do the ip link commands once prior to bootstrap<br>
> ><br>
> > i did get bond0 and vlans on a previous try to be configured after <br>
> > system host-unlock controller-0 they were just in the wrong order, <br>
> > so rebuilding the primary node, if it works and put the interfaces <br>
> > and networks on proper interfaces and i can bootstrap controller-1 <br>
> > and get past unlocking that also... i think it will be a win!<br>
> ><br>
> > On Thu, May 12, 2022 at 7:32 AM Waines, Greg <<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>> wrote:<br>
> > ><br>
> > > Were you successful ?<br>
> > ><br>
> > > ( One question ... you are only having to do the 'ip link ...'<br>
> > > commands BEFORE bootstrap in order to have IP Connectivity to the <br>
> > > outside world for bootstrapping .. correct ? )<br>
> > ><br>
> > > Greg.<br>
> > ><br>
> > > -----Original Message-----<br>
> > > From: Outback Dingo <<a href="mailto:outbackdingo@gmail.com" target="_blank">outbackdingo@gmail.com</a>><br>
> > > Sent: Wednesday, May 11, 2022 8:21 PM<br>
> > > To: Waines, Greg <<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>><br>
> > > Cc: <a href="mailto:starlingx-discuss@lists.starlingx.io" target="_blank">starlingx-discuss@lists.starlingx.io</a><br>
> > > Subject: Re: [Starlingx-discuss] STX networking<br>
> > ><br>
> > > [Please note: This e-mail is from an EXTERNAL e-mail address]<br>
> > ><br>
> > > I think even allowing for special conditions of bond0 to allow OAM_IF, MGMT_IF, CLUSTER_IF, PXE_IF to all be set on the same bond0, and even dropping the vlans for corner cases then i would only need to set the Install-time-only parameters:<br>
> > > Network Properties<br>
> > ><br>
> > > pxeboot_subnet: <a href="https://urldefense.com/v3/__http:/10.16.48.1__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipkWgJpsA$">
10.16.48.1</a><br>
> > > pxeboot_start_address <a href="https://urldefense.com/v3/__http:/10.16.48.100__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipnVymXSg$">
10.16.48.100</a> pxeboot_end_address <br>
> > > <a href="https://urldefense.com/v3/__http:/10.16.48.125__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipLwudf0Q$">
10.16.48.125</a> management_subnet management_start_address <br>
> > > management_end_address cluster_host_subnet <br>
> > > cluster_host_start_address cluster_host_end_address <br>
> > > cluster_pod_subnet cluster_pod_start_address <br>
> > > cluster_pod_end_address cluster_service_subnet <br>
> > > cluster_service_start_address cluster_service_end_address <br>
> > > management_multicast_subnet management_multicast_start_address<br>
> > > management_multicast_end_address<br>
> > ><br>
> > > ip link add bond0 type bond<br>
> > > ip link set bond0 type bond miimon 100 mode <a href="https://urldefense.com/v3/__http:/80211.ad__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiouX7DOwA$" target="_blank">
80211.ad</a> ip link set<br>
> > > enp33s0 down ip link set snp33s0 master bond0 ip link set enp44s0 <br>
> > > down ip link set enp44s0 master bond0 ip link set bond0 up<br>
> > ><br>
> > > Set VLAN on the bond device:<br>
> > ><br>
> > > ip link add link bond0 name bond0.1648 type vlan id 1648 ip link <br>
> > > set<br>
> > > bond0.1648 up ip link add link bond0 name bond0.1664 type vlan id<br>
> > > 1664 ip link set bond0.1664 up<br>
> > ><br>
> > ><br>
> > > and modify the host details as per below:<br>
> > ><br>
> > > OAM_IF=bond0.1648<br>
> > > MGMT_IF=bond0.1664<br>
> > > CLUSTER_IF=bond0.1680<br>
> > > PXE_IF=bond0 <- this puts pxe on bond0<br>
> > ><br>
> > > On Thu, May 12, 2022 at 2:25 AM Waines, Greg <<a href="mailto:Greg.Waines@windriver.com" target="_blank">Greg.Waines@windriver.com</a>> wrote:<br>
> > > ><br>
> > > > replying to answer your questions from email below, see in-lined <br>
> > > > below, Greg.<br>
> > > ><br>
> > > > -----Original Message-----<br>
> > > > From: Outback Dingo <<a href="mailto:outbackdingo@gmail.com" target="_blank">outbackdingo@gmail.com</a>><br>
> > > > Sent: Wednesday, May 11, 2022 12:00 AM<br>
> > > > To: <a href="mailto:starlingx-discuss@lists.starlingx.io" target="_blank">
starlingx-discuss@lists.starlingx.io</a><br>
> > > > Subject: [Starlingx-discuss] STX networking<br>
> > > ><br>
> > > > [Please note: This e-mail is from an EXTERNAL e-mail address]<br>
> > > ><br>
> > > > scenario...<br>
> > > ><br>
> > > > i have a host say controller-0<br>
> > > ><br>
> > > > prior to any ansible run<br>
> > > > [Greg] I assume you mean the bootstrap ansible playbook<br>
> > > ><br>
> > > > i need to create a bond, and bridges and vlans [Greg] You do <br>
> > > > need an interface to the outside world … e.g. in order to download container images from docker hub.<br>
> > > > [Greg] Why can you not simply create a single interface (one link of bond) with a vlan ?<br>
> > > ><br>
> > > > sure....<br>
> > > > Add a bond device as root:<br>
> > > ><br>
> > > > ip link add bond0 type bond<br>
> > > > ip link set bond0 type bond miimon 100 mode <a href="https://urldefense.com/v3/__http:/80211.ad__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiouX7DOwA$" target="_blank">
80211.ad</a> ip link set<br>
> > > > enp33s0 down ip link set snp33s0 master bond0 ip link set <br>
> > > > enp44s0 down ip link set enp44s0 master bond0 ip link set bond0 <br>
> > > > up<br>
> > > ><br>
> > > > Set VLAN on the bond device:<br>
> > > ><br>
> > > > ip link add link bond0 name bond0.1648 type vlan id 1648 ip link <br>
> > > > set<br>
> > > > bond0.1648 up ip link add link bond0 name bond0.1664 type vlan <br>
> > > > id<br>
> > > > 1664 ip link set bond0.1664 up ip link add link bond0 name<br>
> > > > bond0.1680 type vlan id 1680 ip link set bond0.1680 up<br>
> > > ><br>
> > > > Add the bridge device and attach VLAN to it:<br>
> > > > ip link add br0 type bridge<br>
> > > > ip link set bond0.1648 master br0 ip link set bond0.1664 master <br>
> > > > br0 ip link set bond0.1680 master br0 ip link set br0 up<br>
> > > ><br>
> > > > so i see where in starlingx<br>
> > > > [Greg] the following commands are only possible AFTER bootstrap<br>
> > > ><br>
> > > > system host-if-add -c platform -a 802.3ad -x layer2 controller-0<br>
> > > > bond0 ae enp33s0 enp49s0 system host-if-modify controller-0 <br>
> > > > $OAM_IF -c platform system interface-network-assign controller-0 <br>
> > > > $OAM_IF oam system host-if-add controller-0 -V 1648 -c platform<br>
> > > > bond0.1648 vlan<br>
> > > > bond0 system host-if-add controller-0 -V 1664 -c platform<br>
> > > > bond0.1664 vlan bond0 system host-if-add controller-0 -V 1680 -c <br>
> > > > platform<br>
> > > > bond0.1680 vlan bond0<br>
> > > ><br>
> > > > does allow for me to create the bond0 and the vlans? but I dont see any documentation for bridges anywhere ? Do I even need the bridge.<br>
> > > > [Greg] No … there is no requirement for a bridge with StarlingX.<br>
> > > ><br>
> > > > where i want to set example, since each needs its own interface <br>
> > > > can i set OAM_IF=bond0, and say MGMT_IF=bond0.1664 [Greg] Yes … <br>
> > > > i.e. OAM on port-based/untagged-vlan of bond and MGMT on<br>
> > > > vlan-tag=1664 on bond ( BUT here is where you need the pxeboot <br>
> > > > network because your MGMT network is vlan-tagged … and you can't <br>
> > > > pxe boot over that )<br>
> > > ><br>
> > > > OAM_IF=bond0<br>
> > > > system host-if-modify controller-0 $OAM_IF -c platform system <br>
> > > > interface-network-assign controller-0 $OAM_IF oam system <br>
> > > > host-if-add<br>
> > > > controller-0 -V 1648 -c platform bond0.1648 vlan bond0 system <br>
> > > > host-if-add controller-0 -V 1664 -c platform bond0.1664 vlan <br>
> > > > bond0 system host-if-add controller-0 -V 1680 -c platform <br>
> > > > bond0.1680 vlan<br>
> > > > bond0 system host-if-add controller-0 -V 1672 -c platform<br>
> > > > bond0.1672 vlan bond0<br>
> > > > MGMT_IF=bond0.1664<br>
> > > > system host-if-modify controller-0 lo -c none <br>
> > > > IFNET_UUIDS=$(system interface-network-list controller-0 | awk <br>
> > > > '{if<br>
> > > > ($6=="lo") print $4;}')<br>
> > > > for UUID in $IFNET_UUIDS; do<br>
> > > >     system interface-network-remove ${UUID} done<br>
> > > > system host-if-modify controller-0 $MGMT_IF -c platform   [Greg] don't think you actually need this command<br>
> > > > system interface-network-assign controller-0 $MGMT_IF mgmt <br>
> > > > system interface-network-assign controller-0 $MGMT_IF <br>
> > > > cluster-host<br>
> > > ><br>
> > > > the reason for this being our switches are<br>
> > > ><br>
> > > > # MGMT<br>
> > > > interface vlan1648<br>
> > > >   address <a href="https://urldefense.com/v3/__http:/10.16.48.2/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqEpeb3Ww$" target="_blank">
10.16.48.2/24</a><br>
> > > >   address-virtual 44:38:39:FF:00:02 <a href="https://urldefense.com/v3/__http:/10.16.48.1__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipkWgJpsA$">
10.16.48.1</a><br>
> > > >   vlan-id 1648<br>
> > > >   vlan-raw-device bridge<br>
> > > ><br>
> > > > interface vlan1672<br>
> > > >   address <a href="https://urldefense.com/v3/__http:/10.16.72.2/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oir9m7LeeA$" target="_blank">
10.16.72.2/24</a><br>
> > > >   address-virtual 44:38:39:FF:00:03 <a href="https://urldefense.com/v3/__http:/10.16.72.1__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oios8svY-w$">
10.16.72.1</a><br>
> > > >   vlan-id 1672<br>
> > > >   vlan-raw-device bridge<br>
> > > ><br>
> > > > interface vlan1680<br>
> > > >   address <a href="https://urldefense.com/v3/__http:/10.16.80.2/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipTXjlJfA$" target="_blank">
10.16.80.2/24</a><br>
> > > >   address-virtual 44:38:39:FF:00:03 <a href="https://urldefense.com/v3/__http:/10.16.80.1__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oiot2oAdHQ$">
10.16.80.1</a><br>
> > > >   vlan-id 1680<br>
> > > >   vlan-raw-device bridge<br>
> > > ><br>
> > > > interface vlan1696<br>
> > > >   address <a href="https://urldefense.com/v3/__http:/10.16.96.2/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipkpapXRw$" target="_blank">
10.16.96.2/24</a><br>
> > > >   address-virtual 44:38:39:FF:00:03 <a href="https://urldefense.com/v3/__http:/10.16.96.1__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oir1yDGeZw$">
10.16.96.1</a><br>
> > > >   vlan-id 1696<br>
> > > >   vlan-raw-device bridge<br>
> > > ><br>
> > > > interface vlan1664<br>
> > > >   address <a href="https://urldefense.com/v3/__http:/10.16.64.2/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqMrfHEaQ$" target="_blank">
10.16.64.2/24</a><br>
> > > >   address-virtual 44:38:39:FF:00:07 <a href="https://urldefense.com/v3/__http:/10.16.64.1__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OioS6n4GFQ$">
10.16.64.1</a><br>
> > > >   vlan-id 1664<br>
> > > >   vlan-raw-device bridge<br>
> > > ><br>
> > > > and further down DATAIF_0=bond0.1680<br>
> > > ><br>
> > > > the reason being we are trying to have starlingx conform to our <br>
> > > > networks topology I also noted: in <br>
> > > > <a href="https://urldefense.com/v3/__https:/docs.starlingx.io/deploy_install_guides/r6_release/ansib__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqOEfNT8A$" target="_blank">
https://docs.starlingx.io/deploy_install_guides/r6_release/ansib</a><br>
> > > > le<br>
> > > > _boo<br>
> > > > tstrap_configs.html#install-time-only-params-r6<br>
> > > > ...<br>
> > > ><br>
> > > > Network Properties I listed at the bottom<br>
> > > ><br>
> > > > can i modify these addresses to conform to our networks, as our switches wount pass the traffic you set as defaults, as seen in my first attempt at the bottom. Though i dont believe still dhcp/pxe will work on a vlan interface.<br>
> > > ><br>
> > > > Network Properties<br>
> > > > pxeboot_subnet<br>
> > > > pxeboot_start_address<br>
> > > > pxeboot_end_address<br>
> > > > management_subnet<br>
> > > > management_start_address<br>
> > > > management_end_address<br>
> > > > cluster_host_subnet<br>
> > > > cluster_host_start_address<br>
> > > > cluster_host_end_address<br>
> > > > cluster_pod_subnet<br>
> > > > cluster_pod_start_addres<br>
> > > > cluster_pod_end_address<br>
> > > > cluster_service_subnet<br>
> > > > cluster_service_start_address<br>
> > > > cluster_service_end_address<br>
> > > > management_multicast_subnet<br>
> > > > management_multicast_start_address<br>
> > > > management_multicast_end_address<br>
> > > ><br>
> > > > 7: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc htb state UP group default qlen 1000<br>
> > > >     link/ether b8:59:9f:12:34:f0 brd ff:ff:ff:ff:ff:ff<br>
> > > >     inet <a href="https://urldefense.com/v3/__http:/10.16.48.112/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oioo1TARzw$" target="_blank">
10.16.48.112/24</a> brd <a href="https://urldefense.com/v3/__http:/10.16.48.255__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqUcSWXuQ$">
10.16.48.255</a> scope global bond0<br>
> > > >        valid_lft forever preferred_lft forever<br>
> > > >     inet <a href="https://urldefense.com/v3/__http:/10.16.48.114/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqOIx4VBA$" target="_blank">
10.16.48.114/24</a> scope global secondary bond0<br>
> > > >        valid_lft forever preferred_lft forever<br>
> > > >     inet6 fe80::ba59:9fff:fe12:34f0/64 scope link<br>
> > > >        valid_lft forever preferred_lft forever<br>
> > > > 8: vlan1664@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc htb state UP group default qlen 1000<br>
> > > >     link/ether b8:59:9f:12:34:f0 brd ff:ff:ff:ff:ff:ff<br>
> > > >     inet <a href="https://urldefense.com/v3/__http:/192.168.204.2/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiryME1-Fw$" target="_blank">
192.168.204.2/24</a> brd <a href="https://urldefense.com/v3/__http:/192.168.204.255__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oiqkd5p_gw$">
192.168.204.255</a> scope global vlan1664<br>
> > > >        valid_lft forever preferred_lft forever<br>
> > > >     inet <a href="https://urldefense.com/v3/__http:/192.168.206.2/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oiol2DzQ6w$" target="_blank">
192.168.206.2/24</a> brd <a href="https://urldefense.com/v3/__http:/192.168.206.255__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oip5-vJN2A$">
192.168.206.255</a> scope global vlan1664:12<br>
> > > >        valid_lft forever preferred_lft forever<br>
> > > >     inet <a href="https://urldefense.com/v3/__http:/169.254.202.1/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqJeefziA$" target="_blank">
169.254.202.1/24</a> scope global vlan1664<br>
> > > >        valid_lft forever preferred_lft forever<br>
> > > >     inet <a href="https://urldefense.com/v3/__http:/192.168.206.1/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OiqrgX7SJQ$" target="_blank">
192.168.206.1/24</a> scope global secondary vlan1664<br>
> > > >        valid_lft forever preferred_lft forever<br>
> > > >     inet <a href="https://urldefense.com/v3/__http:/192.168.204.1/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OipGA54MSA$" target="_blank">
192.168.204.1/24</a> scope global secondary vlan1664<br>
> > > >        valid_lft forever preferred_lft forever<br>
> > > >     inet <a href="https://urldefense.com/v3/__http:/192.168.204.4/24__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oir1x4jH-A$" target="_blank">
192.168.204.4/24</a> brd <a href="https://urldefense.com/v3/__http:/192.168.204.255__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__Oiqkd5p_gw$">
192.168.204.255</a> scope global secondary vlan1664<br>
> > > >        valid_lft forever preferred_lft forever<br>
> > > >     inet6 fe80::ba59:9fff:fe12:34f0/64 scope link<br>
> > > >        valid_lft forever preferred_lft forever<br>
> > > > 9: vlan1672@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000<br>
> > > >     link/ether b8:59:9f:12:34:f0 brd ff:ff:ff:ff:ff:ff<br>
> > > >     inet6 fe80::ba59:9fff:fe12:34f0/64 scope link<br>
> > > >        valid_lft forever preferred_lft forever<br>
> > > > 10: vlan1648@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000<br>
> > > >     link/ether b8:59:9f:12:34:f0 brd ff:ff:ff:ff:ff:ff<br>
> > > >     inet6 fe80::ba59:9fff:fe12:34f0/64 scope link<br>
> > > >        valid_lft forever preferred_lft forever<br>
> > > > 11: vlan1680@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000<br>
> > > >     link/ether b8:59:9f:12:34:f0 brd ff:ff:ff:ff:ff:ff<br>
> > > >     inet6 fe80::ba59:9fff:fe12:34f0/64 scope link<br>
> > > >        valid_lft forever preferred_lft forever<br>
> > > ><br>
> > > > _______________________________________________<br>
> > > > Starlingx-discuss mailing list<br>
> > > > <a href="mailto:Starlingx-discuss@lists.starlingx.io" target="_blank">Starlingx-discuss@lists.starlingx.io</a><br>
> > > > <a href="https://urldefense.com/v3/__http:/lists.starlingx.io/cgi-bin/mailman/listinfo/starlingx-dis__;!!AjveYdw8EvQ!bwB4zytXZUx1agXWwc5M7BC35UM0tDi8IFJ2IiW5JX4P7FenF-8KO9IIjGvpkt6ymw5hfPna5GQOfO__OirQ3XdXHw$" target="_blank">
http://lists.starlingx.io/cgi-bin/mailman/listinfo/starlingx-dis</a><br>
> > > > cu<br>
> > > > ss<br>
> > > ><o:p></o:p></p>
</blockquote>
</div>
</div>
</div>
</div>
</div>
</body>
</html>