<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:宋体;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:"\@宋体";
        panose-1:2 1 6 0 3 1 1 1 1 1;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-style-priority:99;
        mso-margin-top-alt:auto;
        margin-right:0cm;
        mso-margin-bottom-alt:auto;
        margin-left:0cm;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle18
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle19
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle20
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle21
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle22
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle23
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle24
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle25
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle26
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle27
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle28
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle29
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle30
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle31
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle32
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle33
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle34
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle35
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle36
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle37
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle38
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle39
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle40
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle41
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle42
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle43
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle44
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle45
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle46
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle47
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle48
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle49
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle50
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle51
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle52
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle53
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle54
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle55
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle56
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle57
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle58
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle59
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle60
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle61
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle62
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle63
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle64
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle65
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle66
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle67
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle68
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="ZH-CN" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">Hi Matt,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">I tried standard 0322 ISO image on 4 bare metals and “NUMA sections are still missing”.
</span><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">The docker images versions and build baseline have been attached.
</span><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">The ISO image link is following:<br>
http://mirror.starlingx.cengn.ca/mirror/starlingx/master/centos/20190322T174230Z/outputs/iso/<br>
<br>
<o:p></o:p></span></p>
<p class="MsoNormal"><a name="_MailEndCompose"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">Best Regards,<o:p></o:p></span></a></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">Xu, Chenjie<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D"><o:p> </o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><a name="_____replyseparator"></a><b><span lang="EN-US">From:</span></b><span lang="EN-US"> Xu, Chenjie
<br>
<b>Sent:</b> Wednesday, March 27, 2019 10:38 AM<br>
<b>To:</b> 'Peters, Matt' <Matt.Peters@windriver.com>; Khalil, Ghada <Ghada.Khalil@windriver.com>; Martinez Monroy, Elio <elio.martinez.monroy@intel.com>; Lin, Shuicheng <shuicheng.lin@intel.com>; Cabrales, Ada <ada.cabrales@intel.com>; Perez, Ricardo O <ricardo.o.perez@intel.com><br>
<b>Cc:</b> 'starlingx-discuss@lists.starlingx.io' <starlingx-discuss@lists.starlingx.io>; Zhao, Forrest <forrest.zhao@intel.com><br>
<b>Subject:</b> RE: [Starlingx-discuss] OVS-DPDK Upgrade Testing<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">Hi Matt,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">Sorry for misleading! I mean “NUMA sections are still missing”.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal" style="margin-left:15.75pt;text-indent:-15.75pt"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">I have multiple systems experiencing this issue:<br>
1. 0306 ISO image for OVSDPDK Upgrade Testing on 4 bare metals<o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:15.75pt"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">2. 0322 ISO image for OVSDPDK Upgrade Testing on 4 bare metals<o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:15.75pt"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">3. 0305 ISO image on 4 bare metals<o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:15.75pt"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">4. 0315 ISO image one 1 bare metals<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">The item 1, 2 and 3 use same bare metals. The item 4 use a separate bare metal.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">I will try 0322 ISO image on 4 bare metals.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">Best Regards,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">Xu, Chenjie<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;color:#1F497D"><o:p> </o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> Peters, Matt [<a href="mailto:Matt.Peters@windriver.com">mailto:Matt.Peters@windriver.com</a>]
<br>
<b>Sent:</b> Tuesday, March 26, 2019 11:10 PM<br>
<b>To:</b> Khalil, Ghada <<a href="mailto:Ghada.Khalil@windriver.com">Ghada.Khalil@windriver.com</a>>; Xu, Chenjie <<a href="mailto:chenjie.xu@intel.com">chenjie.xu@intel.com</a>>; Martinez Monroy, Elio <<a href="mailto:elio.martinez.monroy@intel.com">elio.martinez.monroy@intel.com</a>>;
 Lin, Shuicheng <<a href="mailto:shuicheng.lin@intel.com">shuicheng.lin@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>>; Perez, Ricardo O <<a href="mailto:ricardo.o.perez@intel.com">ricardo.o.perez@intel.com</a>><br>
<b>Cc:</b> 'starlingx-discuss@lists.starlingx.io' <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>>; Zhao, Forrest <<a href="mailto:forrest.zhao@intel.com">forrest.zhao@intel.com</a>><br>
<b>Subject:</b> Re: [Starlingx-discuss] OVS-DPDK Upgrade Testing<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA">Hello Chenjie,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA">Can you clarify this statement? “</span><span lang="EN-US" style="font-size:10.5pt;color:#1F497D">NUMA sections missing bug still exits”.</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA">Did you mean to say that the missing NUMA sections in the domain XML are now present, but you still can’t ping over the vhost port, or are you saying the NUMA sections are still missing?<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA">Do you have multiple systems that are experiencing this issue, or is it isolated to a single system that you are having problems with the NUMA topology?  I believe you mentioned that you saw the same connectivity issues
 on a standard load from the mirror, so that still points to a test system / environment issue.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA">As Ghada mentioned, I think the next steps are to get results from the sanity systems with the same load baseline and to test with your custom load on a system that has been proven to work on the standard load.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA">-Matt<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA"><o:p> </o:p></span></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-CA" style="font-size:12.0pt;color:black">From:
</span></b><span lang="EN-CA" style="font-size:12.0pt;color:black">Ghada Khalil <<a href="mailto:Ghada.Khalil@windriver.com">Ghada.Khalil@windriver.com</a>><br>
<b>Date: </b>Tuesday, March 26, 2019 at 9:28 AM<br>
<b>To: </b>"Xu, Chenjie" <<a href="mailto:chenjie.xu@intel.com">chenjie.xu@intel.com</a>>, "Peters, Matt" <<a href="mailto:Matt.Peters@windriver.com">Matt.Peters@windriver.com</a>>, "Martinez Monroy, Elio" <<a href="mailto:elio.martinez.monroy@intel.com">elio.martinez.monroy@intel.com</a>>,
 "Lin, Shuicheng" <<a href="mailto:shuicheng.lin@intel.com">shuicheng.lin@intel.com</a>>, "Cabrales, Ada" <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>>, "Perez, Ricardo O" <<a href="mailto:ricardo.o.perez@intel.com">ricardo.o.perez@intel.com</a>><br>
<b>Cc: </b>"'starlingx-discuss@lists.starlingx.io'" <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>>, "Zhao, Forrest" <<a href="mailto:forrest.zhao@intel.com">forrest.zhao@intel.com</a>><br>
<b>Subject: </b>RE: [Starlingx-discuss] OVS-DPDK Upgrade Testing<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"><o:p> </o:p></span></p>
</div>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Has Elio or Rich from the test team tried the new load as well on their systems? Do they see the same issues you reported? I think we need some data for another system to compare.</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Ada,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">As part of this thread, I also requested that a VM connectivity test be added to regular sanity so that there is data from the daily cengn builds w/o the new version of ovs-dpdk. Has the sanity suite
 been updated? </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Thanks,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Ghada</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-CA">From:</span></b><span lang="EN-CA"> Xu, Chenjie [<a href="mailto:chenjie.xu@intel.com">mailto:chenjie.xu@intel.com</a>]
<br>
<b>Sent:</b> Tuesday, March 26, 2019 7:09 AM<br>
<b>To:</b> Peters, Matt; Martinez Monroy, Elio; Khalil, Ghada; Lin, Shuicheng; Cabrales, Ada; Perez, Ricardo O<br>
<b>Cc:</b> 'starlingx-discuss@lists.starlingx.io'; Zhao, Forrest<br>
<b>Subject:</b> RE: [Starlingx-discuss] OVS-DPDK Upgrade Testing<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-CA"> <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">Hi Matt,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">I installed StarlingX using the new 0322 ISO image for OVSDPDK Upgrade Testing on 4 bare metals. NUMA sections missing bug still exits:<br>
<a href="https://bugs.launchpad.net/starlingx/+bug/1820378">https://bugs.launchpad.net/starlingx/+bug/1820378</a></span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D"><br>
This time I update the docker images to latest before installing StarlingX. And the docker images versions and build baseline have been attached.
<b>Could you please help review the docker image versions?</b></span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">Best Regards,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">Xu, Chenjie</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-CA">From:</span></b><span lang="EN-CA"> Peters, Matt [<a href="mailto:Matt.Peters@windriver.com">mailto:Matt.Peters@windriver.com</a>]
<br>
<b>Sent:</b> Friday, March 22, 2019 8:31 PM<br>
<b>To:</b> Xu, Chenjie <<a href="mailto:chenjie.xu@intel.com">chenjie.xu@intel.com</a>>; Martinez Monroy, Elio <<a href="mailto:elio.martinez.monroy@intel.com">elio.martinez.monroy@intel.com</a>>; Khalil, Ghada <<a href="mailto:Ghada.Khalil@windriver.com">Ghada.Khalil@windriver.com</a>>;
 Lin, Shuicheng <<a href="mailto:shuicheng.lin@intel.com">shuicheng.lin@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>>; Perez, Ricardo O <<a href="mailto:ricardo.o.perez@intel.com">ricardo.o.perez@intel.com</a>><br>
<b>Cc:</b> 'starlingx-discuss@lists.starlingx.io' <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>>; Zhao, Forrest <<a href="mailto:forrest.zhao@intel.com">forrest.zhao@intel.com</a>><br>
<b>Subject:</b> Re: [Starlingx-discuss] OVS-DPDK Upgrade Testing<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-CA"> <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA">Hello Chenjie,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA">Comparing the image list to our labs shows a difference in the image IDs (sha), but I’m not sure if that is just a difference in build baselines or an actual difference in the images.  Since some of them align, I think
 you might be running a different set of images.  Can you confirm what the build baseline is that you pulled the images from?<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA"> <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA">I have attached a sample list from our labs for comparison.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA"> <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA">-Matt<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA"> <o:p></o:p></span></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-CA" style="font-size:12.0pt;color:black">From:
</span></b><span lang="EN-CA" style="font-size:12.0pt;color:black">"Xu, Chenjie" <<a href="mailto:chenjie.xu@intel.com">chenjie.xu@intel.com</a>><br>
<b>Date: </b>Friday, March 22, 2019 at 7:25 AM<br>
<b>To: </b>"Peters, Matt" <<a href="mailto:Matt.Peters@windriver.com">Matt.Peters@windriver.com</a>>, "Martinez Monroy, Elio" <<a href="mailto:elio.martinez.monroy@intel.com">elio.martinez.monroy@intel.com</a>>, Ghada Khalil <<a href="mailto:Ghada.Khalil@windriver.com">Ghada.Khalil@windriver.com</a>>,
 "Lin, Shuicheng" <<a href="mailto:shuicheng.lin@intel.com">shuicheng.lin@intel.com</a>>, "Cabrales, Ada" <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>>, "Perez, Ricardo O" <<a href="mailto:ricardo.o.perez@intel.com">ricardo.o.perez@intel.com</a>><br>
<b>Cc: </b>"'starlingx-discuss@lists.starlingx.io'" <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>>, "Zhao, Forrest" <<a href="mailto:forrest.zhao@intel.com">forrest.zhao@intel.com</a>><br>
<b>Subject: </b>RE: [Starlingx-discuss] OVS-DPDK Upgrade Testing</span><span lang="EN-CA"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> <o:p></o:p></span></p>
</div>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">Hi Matt,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">The docker image versions in my environment and helm-charts-manifest-no-tests.tgz has been attached. The helm-charts-manifest-no-tests.tgz is built by Shuicheng for the OVSDPDK Upgrade
 Testing ISO image. <br>
<br>
Best Regards,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">Xu, Chenjie</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-CA">From:</span></b><span lang="EN-CA"> Martinez Monroy, Elio [<a href="mailto:elio.martinez.monroy@intel.com">mailto:elio.martinez.monroy@intel.com</a>]
<br>
<b>Sent:</b> Thursday, March 21, 2019 11:20 PM<br>
<b>To:</b> Khalil, Ghada <<a href="mailto:Ghada.Khalil@windriver.com">Ghada.Khalil@windriver.com</a>>; Lin, Shuicheng <<a href="mailto:shuicheng.lin@intel.com">shuicheng.lin@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>>;
 Perez, Ricardo O <<a href="mailto:ricardo.o.perez@intel.com">ricardo.o.perez@intel.com</a>><br>
<b>Cc:</b> 'starlingx-discuss@lists.starlingx.io' <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>>; Zhao, Forrest <<a href="mailto:forrest.zhao@intel.com">forrest.zhao@intel.com</a>><br>
<b>Subject:</b> Re: [Starlingx-discuss] OVS-DPDK Upgrade Testing<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-CA"> <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Perfect, I will be cheking my mail  for that new ISO.</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Adding Richo , he is the one that is going to execute the tests.</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Thanks</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">BR</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Elio</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-CA">From:</span></b><span lang="EN-CA"> Khalil, Ghada [<a href="mailto:Ghada.Khalil@windriver.com">mailto:Ghada.Khalil@windriver.com</a>]
<br>
<b>Sent:</b> Thursday, March 21, 2019 9:15 AM<br>
<b>To:</b> Lin, Shuicheng <<a href="mailto:shuicheng.lin@intel.com">shuicheng.lin@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>>; Martinez Monroy, Elio <<a href="mailto:elio.martinez.monroy@intel.com">elio.martinez.monroy@intel.com</a>><br>
<b>Cc:</b> 'starlingx-discuss@lists.starlingx.io' <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>>; Zhao, Forrest <<a href="mailto:forrest.zhao@intel.com">forrest.zhao@intel.com</a>><br>
<b>Subject:</b> RE: [Starlingx-discuss] OVS-DPDK Upgrade Testing<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span lang="ES-MX"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Hi Shuicheng,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">We discussed this in the networking bi-weekly team meeting today.</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Please re-enable the mlx pmd – re-apply the following patch:</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"><a href="https://github.com/openstack/stx-integ/blob/master/networking/openvswitch/centos/meta_patches/0005-enable-mlx-pmds.patch">https://github.com/openstack/stx-integ/blob/master/networking/openvswitch/centos/meta_patches/0005-enable-mlx-pmds.patch</a></span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Then please rebase to the latest master and build a new load for Ada’s team to start testing</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Hi Elio,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">One a new build is available, please start testing as per our previous plans. You need to run a networking regression on various NICs – including the mellanox. Testing was planned for about two weeks
 with the target for the code to merge after testing is complete by April 5. Please provide regular updates.</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Please also verify if you see the 3 bugs that Chenjie reports below (please test on both a cengn load as well as the load with the ovs-dpdk upgrade).  Please note that none of these issues are reproducible
 in WR labs:</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D"><a href="https://bugs.launchpad.net/starlingx/+bug/1821150">https://bugs.launchpad.net/starlingx/+bug/1821150</a></span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D"><a href="https://bugs.launchpad.net/starlingx/+bug/1821135">https://bugs.launchpad.net/starlingx/+bug/1821135</a><br>
<a href="https://bugs.launchpad.net/starlingx/+bug/1820378">https://bugs.launchpad.net/starlingx/+bug/1820378</a></span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Thanks,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Ghada</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-CA">From:</span></b><span lang="EN-CA"> Khalil, Ghada
<br>
<b>Sent:</b> Thursday, March 21, 2019 9:12 AM<br>
<b>To:</b> 'Lin, Shuicheng'; Xu, Chenjie; Liu, ZhipengS; Xie, Cindy; Cabrales, Ada<br>
<b>Cc:</b> 'starlingx-discuss@lists.starlingx.io'; Zhao, Forrest; Peters, Matt; Richard, Joseph; Winnicki, Chris; Peng, Peng; Martinez Monroy, Elio; Jones, Bruce E; Qin, Kailun; Guo, Ruijing; Le, Huifeng<br>
<b>Subject:</b> RE: [Starlingx-discuss] OVS-DPDK Upgrade Testing<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-CA"> <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Hi Shuicheng,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">There is still testing planned by Ada’s team before merging the code related to networking regression. This will cover the mellanox NIC as well.</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Can you confirm that the load being used has the mellanox pmd enabled in it?</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Thanks,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Ghada</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-CA">From:</span></b><span lang="EN-CA"> Lin, Shuicheng [<a href="mailto:shuicheng.lin@intel.com">mailto:shuicheng.lin@intel.com</a>]
<br>
<b>Sent:</b> Thursday, March 21, 2019 9:03 AM<br>
<b>To:</b> Xu, Chenjie; Khalil, Ghada; Liu, ZhipengS; Xie, Cindy; Cabrales, Ada<br>
<b>Cc:</b> 'starlingx-discuss@lists.starlingx.io'; Zhao, Forrest; Peters, Matt; Richard, Joseph; Winnicki, Chris; Peng, Peng; Martinez Monroy, Elio; Jones, Bruce E; Qin, Kailun; Guo, Ruijing; Le, Huifeng<br>
<b>Subject:</b> RE: [Starlingx-discuss] OVS-DPDK Upgrade Testing<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-CA"> <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Thanks Chenjie for the testing.</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Hi all,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Does it mean greenlight for code merge, or any other test is needed?</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Here is the patch list:</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA"><a href="https://review.openstack.org/642672">https://review.openstack.org/642672</a><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA"><a href="https://review.openstack.org/642673">https://review.openstack.org/642673</a><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<div>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Best Regards</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D">Shuicheng</span><span lang="EN-CA"><o:p></o:p></span></p>
</div>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-CA">From:</span></b><span lang="EN-CA"> Xu, Chenjie
<br>
<b>Sent:</b> Thursday, March 21, 2019 5:46 PM<br>
<b>To:</b> Khalil, Ghada <<a href="mailto:Ghada.Khalil@windriver.com">Ghada.Khalil@windriver.com</a>>; Liu, ZhipengS <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>>; Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>;
 Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>><br>
<b>Cc:</b> 'starlingx-discuss@lists.starlingx.io' <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>>; Zhao, Forrest <<a href="mailto:forrest.zhao@intel.com">forrest.zhao@intel.com</a>>; Peters, Matt <<a href="mailto:Matt.Peters@windriver.com">Matt.Peters@windriver.com</a>>;
 Richard, Joseph <<a href="mailto:Joseph.Richard@windriver.com">Joseph.Richard@windriver.com</a>>; Winnicki, Chris <<a href="mailto:Chris.Winnicki@windriver.com">Chris.Winnicki@windriver.com</a>>; Lin, Shuicheng <<a href="mailto:shuicheng.lin@intel.com">shuicheng.lin@intel.com</a>>;
 Peng, Peng <<a href="mailto:Peng.Peng@windriver.com">Peng.Peng@windriver.com</a>>; Martinez Monroy, Elio <<a href="mailto:elio.martinez.monroy@intel.com">elio.martinez.monroy@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>>;
 Qin, Kailun <<a href="mailto:kailun.qin@intel.com">kailun.qin@intel.com</a>>; Guo, Ruijing <<a href="mailto:ruijing.guo@intel.com">ruijing.guo@intel.com</a>>; Le, Huifeng <<a href="mailto:huifeng.le@intel.com">huifeng.le@intel.com</a>><br>
<b>Subject:</b> RE: [Starlingx-discuss] OVS-DPDK Upgrade Testing<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-CA"> <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">Hi team,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">I have finished the Basic Functional Testing for OVSDPDK Upgrade. Please check following summaries:</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:15.75pt"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">Bug Summary:</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:31.5pt"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">No bug related to OVSDPDK Upgrade.
</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:31.5pt"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">3 bugs related to cutting over to container and configuration.</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:31.5pt"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">   
<a href="https://bugs.launchpad.net/starlingx/+bug/1821150">https://bugs.launchpad.net/starlingx/+bug/1821150</a><br>
                   <a href="https://bugs.launchpad.net/starlingx/+bug/1821135">https://bugs.launchpad.net/starlingx/+bug/1821135</a><br>
                   <a href="https://bugs.launchpad.net/starlingx/+bug/1820378">https://bugs.launchpad.net/starlingx/+bug/1820378</a></span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:15.75pt"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">The following features have been tested:</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:31.5pt"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">N/S traffic for FLAT/VLAN network</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:31.5pt"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">E/W traffic for FLAT/VLAN/VXLAN network (E/W traffic within same host and across hosts)</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:31.5pt"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">QOS</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:31.5pt"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">Security Group</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:31.5pt"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">MTU</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">Best Regards,</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D">Xu, Chenjie</span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="font-size:10.5pt;color:#1F497D"> </span><span lang="EN-CA"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA"> <o:p></o:p></span></p>
</div>
</body>
</html>