<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:宋体;
panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
{font-family:"MS Gothic";
panose-1:2 11 6 9 7 2 5 8 2 4;}
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:"\@宋体";
panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
{font-family:Consolas;
panose-1:2 11 6 9 2 2 4 3 2 4;}
@font-face
{font-family:微软雅黑;
panose-1:2 11 5 3 2 2 4 2 2 4;}
@font-face
{font-family:"\@微软雅黑";
panose-1:2 11 5 3 2 2 4 2 2 4;}
@font-face
{font-family:"\@MS Gothic";
panose-1:2 11 6 9 7 2 5 8 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
pre
{mso-style-priority:99;
mso-style-link:"HTML Preformatted Char";
margin:0in;
margin-bottom:.0001pt;
font-size:10.0pt;
font-family:"Courier New";}
span.HTMLPreformattedChar
{mso-style-name:"HTML Preformatted Char";
mso-style-priority:99;
mso-style-link:"HTML Preformatted";
font-family:Consolas;}
p.msonormal0, li.msonormal0, div.msonormal0
{mso-style-name:msonormal;
mso-margin-top-alt:auto;
margin-right:0in;
mso-margin-bottom-alt:auto;
margin-left:0in;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
span.EmailStyle20
{mso-style-type:personal;
font-family:"Calibri",sans-serif;
color:windowtext;}
span.EmailStyle21
{mso-style-type:personal;
font-family:"Calibri",sans-serif;
color:windowtext;}
span.EmailStyle22
{mso-style-type:personal;
font-family:"Calibri",sans-serif;
color:windowtext;}
span.EmailStyle24
{mso-style-type:personal-reply;
font-family:"Calibri",sans-serif;
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-size:10.0pt;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal">+ mailing list in case anybody can help on debug the issue.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><a name="_____replyseparator"></a><b>From:</b> Lemus Contreras, Cristopher J <cristopher.j.lemus.contreras@intel.com>
<br>
<b>Sent:</b> Wednesday, October 30, 2019 7:45 PM<br>
<b>To:</b> Liu, ZhipengS <zhipengs.liu@intel.com>; <span lang="ZH-CN" style="font-family:"微软雅黑",sans-serif">
朱博祥</span> <zhu.boxiang@99cloud.net><br>
<b>Cc:</b> Alonso, Juan Carlos <juan.carlos.alonso@intel.com>; Hu, Yong <yong.hu@intel.com>; Cabrales, Ada <ada.cabrales@intel.com>; Xie, Cindy <cindy.xie@intel.com>; Jones, Bruce E <bruce.e.jones@intel.com>; Martinez Monroy, Elio <elio.martinez.monroy@intel.com><br>
<b>Subject:</b> Re: [Starlingx-discuss] About EB verification for openstack train upgrade<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span lang="ES">Hi Zhipeng,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="ES"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="ES">The results are OK for Simplex, Duplex and Standard Local Storage, all Test Cases PASSED.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="ES"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="ES">For Standard External Storage (2+2+2) there is a high quantity of Test Cases failing because we cannot launch instances. Here’s</span> a sample output:
<a href="http://paste.openstack.org/show/785641/">http://paste.openstack.org/show/785641/</a> with the error that matches what is described on the launchpad.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Sanity summary for this specific configuration: <a href="http://paste.openstack.org/show/785655/">
http://paste.openstack.org/show/785655/</a><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Please, let us know if you need additional details.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks & Regards,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Cristopher Lemus<o:p></o:p></p>
<p class="MsoNormal"><span lang="ES"><o:p> </o:p></span></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">"Liu, ZhipengS" <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>><br>
<b>Date: </b>Tuesday, October 29, 2019 at 7:23 PM<br>
<b>To: </b>"Lemus Contreras, Cristopher J" <<a href="mailto:cristopher.j.lemus.contreras@intel.com">cristopher.j.lemus.contreras@intel.com</a>>,
</span><span lang="ZH-CN" style="font-size:12.0pt;font-family:"MS Gothic";color:black">朱博祥</span><span style="font-size:12.0pt;color:black"> <<a href="mailto:zhu.boxiang@99cloud.net">zhu.boxiang@99cloud.net</a>><br>
<b>Cc: </b>"Alonso, Juan Carlos" <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>>, "Hu, Yong" <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>, "Cabrales, Ada" <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>>,
"Xie, Cindy" <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>, "Jones, Bruce E" <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>>, "Martinez Monroy, Elio" <<a href="mailto:elio.martinez.monroy@intel.com">elio.martinez.monroy@intel.com</a>><br>
<b>Subject: </b>RE: [Starlingx-discuss] About EB verification for openstack train upgrade<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal"><span style="font-size:10.5pt">Hi </span>Cristopher Lemus,<o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:10.5pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:10.5pt">Yes, exactly! Do we have a test result with my latest EB now?</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:10.5pt">Thank Boxiang for clarification!</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:10.5pt">I have included related change in latest EB 308.</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:10.5pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:10.5pt">Thanks!</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:10.5pt">Zhipeng</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:10.5pt"> </span><o:p></o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Lemus Contreras, Cristopher J <<a href="mailto:cristopher.j.lemus.contreras@intel.com">cristopher.j.lemus.contreras@intel.com</a>>
<br>
<b>Sent:</b> 2019<span lang="ZH-CN" style="font-family:宋体">年</span>10<span lang="ZH-CN" style="font-family:宋体">月</span>30<span lang="ZH-CN" style="font-family:宋体">日</span> 4:16<br>
<b>To:</b> <span lang="ZH-CN" style="font-family:宋体">朱博祥</span> <<a href="mailto:zhu.boxiang@99cloud.net">zhu.boxiang@99cloud.net</a>>; Liu, ZhipengS <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>><br>
<b>Cc:</b> Alonso, Juan Carlos <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>>; Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>>;
Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>>; Martinez Monroy, Elio <<a href="mailto:elio.martinez.monroy@intel.com">elio.martinez.monroy@intel.com</a>><br>
<b>Subject:</b> Re: [Starlingx-discuss] About EB verification for openstack train upgrade<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Hi All, <o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">I think that we are facing the exact same issue that Boxiang mentions, it’s a failure for Standard external storage (2+2+2).<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">We are not able to launch instances on Standard with External Storage, here’s a sample output:
<a href="http://paste.openstack.org/show/785641/">http://paste.openstack.org/show/785641/</a>, the error matches the bug:
<a href="https://bugs.launchpad.net/starlingx/+bug/1837241">https://bugs.launchpad.net/starlingx/+bug/1837241</a>, which was reverted on the review that Boxiang listed.<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">The rest of the configurations are not affected, this is specific to external storage.
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Thanks ,<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Cristopher Lemus<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><span lang="ES"> </span><o:p></o:p></p>
<p class="MsoNormal"><span lang="ES"> </span><o:p></o:p></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:12.0pt;color:black">From: </span></b><span lang="ZH-CN" style="font-size:12.0pt;font-family:"MS Gothic";color:black">朱博祥</span><span style="font-size:12.0pt;color:black"> <<a href="mailto:zhu.boxiang@99cloud.net">zhu.boxiang@99cloud.net</a>><br>
<b>Date: </b>Tuesday, October 29, 2019 at 6:15 AM<br>
<b>To: </b>"Liu, ZhipengS" <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>><br>
<b>Cc: </b>"Alonso, Juan Carlos" <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>>, "Hu, Yong" <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>, "Cabrales, Ada" <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>>,
"Xie, Cindy" <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>, "Jones, Bruce E" <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>>, "Lemus Contreras, Cristopher J" <<a href="mailto:cristopher.j.lemus.contreras@intel.com">cristopher.j.lemus.contreras@intel.com</a>>,
"Martinez Monroy, Elio" <<a href="mailto:elio.martinez.monroy@intel.com">elio.martinez.monroy@intel.com</a>><br>
<b>Subject: </b>Re:RE: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black"> </span><o:p></o:p></p>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">Hi Zhipeng,</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black"> </span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">Yeah, now when we use the openstack train, we should set force_raw_images to True when we use rbd as images_types in nova.conf. Otherwise the nova-compute service
will fail to start.</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">The patch[0] was meant to do that before but it caused the sanity test failure and we didn't find the root cause.</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black"> </span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">[0] <a href="https://review.opendev.org/#/c/661512/">https://review.opendev.org/#/c/661512/</a></span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black"> </span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">Thanks,</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">Boxiang</span><o:p></o:p></p>
</div>
<pre><span style="color:black"><br>From: "Liu, ZhipengS" <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">Date: 2019-10-29 10:54:13</span><o:p></o:p></pre>
<pre><span style="color:black">To: "Alonso, Juan Carlos" <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>>,"Hu, Yong" <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>,"Cabrales, Ada" <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>>,"</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">朱博祥</span><span style="color:black">" <<a href="mailto:zhu.boxiang@99cloud.net">zhu.boxiang@99cloud.net</a>></span><o:p></o:p></pre>
<pre><span style="color:black">Cc: "Xie, Cindy" <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>,"Jones, Bruce E" <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>>,"Lemus Contreras, Cristopher J" <<a href="mailto:cristopher.j.lemus.contreras@intel.com">cristopher.j.lemus.contreras@intel.com</a>>,"Martinez Monroy, Elio" <<a href="mailto:elio.martinez.monroy@intel.com">elio.martinez.monroy@intel.com</a>></span><o:p></o:p></pre>
<div>
<pre><span style="color:black">Subject: RE: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></pre>
</div>
<div>
<pre><span style="color:black">>+baoxiang</span><o:p></o:p></pre>
</div>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Hi JC,</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Thanks for your quick update!</span><o:p></o:p></pre>
<pre><span style="color:black">>I have found the root cause from your logs.</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>{"log":"2019-10-25 15:36:06.371 235059 ERROR oslo_service.service [-] Error starting thread.: InvalidConfiguration: '[DEFAULT]/force_raw_images = False' is not allowed with '[libvirt]/images_type = rbd'. Please check the two configs and if you really do want to use rbd as images_type, set force_raw_images to True.\n","stream":"stdout","time":"2019-10-25T15:36:06.372419534Z"}</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>This is related to an old LP</span><o:p></o:p></pre>
<pre><span style="color:black">><a href="https://bugs.launchpad.net/starlingx/+bug/1837241">https://bugs.launchpad.net/starlingx/+bug/1837241</a></span><o:p></o:p></pre>
<pre><span style="color:black">>Last time, I revert the patch provided by Boxiang due to we were using staging nova version with some of Starlingx patches.</span><o:p></o:p></pre>
<pre><span style="color:black">><a href="https://review.opendev.org/#/c/661512/">https://review.opendev.org/#/c/661512/</a></span><o:p></o:p></pre>
<pre><span style="color:black">>Now, we used upstream Nova, we need set force_raw_images = True again.</span><o:p></o:p></pre>
<pre><span style="color:black">><a href="https://review.opendev.org/#/c/672287/">https://review.opendev.org/#/c/672287/</a></span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>@Boxiang, any comment or additional change needed?</span><o:p></o:p></pre>
<pre><span style="color:black">>@JC, I will provide EB to you later for this issue.</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>Zhipeng</span><o:p></o:p></pre>
<pre><span style="color:black">>-----Original Message-----</span><o:p></o:p></pre>
<pre><span style="color:black">>From: Alonso, Juan Carlos <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>> </span><o:p></o:p></pre>
<pre><span style="color:black">>Sent: 2019</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">年</span><span style="color:black">10</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">月</span><span style="color:black">29</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">日</span><span style="color:black"> 5:33</span><o:p></o:p></pre>
<pre><span style="color:black">>To: Liu, ZhipengS <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>>; Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Cc: Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>>; Lemus Contreras, Cristopher J <<a href="mailto:cristopher.j.lemus.contreras@intel.com">cristopher.j.lemus.contreras@intel.com</a>>; Martinez Monroy, Elio <<a href="mailto:elio.martinez.monroy@intel.com">elio.martinez.monroy@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Subject: RE: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Standard External Storage failed again, same issue.</span><o:p></o:p></pre>
<pre><span style="color:black">>Logs available here: <a href="http://10.219.115.222/ISOS/ALL_NODES_20191028.125727.tar">http://10.219.115.222/ISOS/ALL_NODES_20191028.125727.tar</a></span><o:p></o:p></pre>
<pre><span style="color:black">>See the log attached too.</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Regards.</span><o:p></o:p></pre>
<pre><span style="color:black">>Juan Carlos Alonso</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>-----Original Message-----</span><o:p></o:p></pre>
<pre><span style="color:black">>From: Alonso, Juan Carlos</span><o:p></o:p></pre>
<pre><span style="color:black">>Sent: Monday, October 28, 2019 9:45 AM</span><o:p></o:p></pre>
<pre><span style="color:black">>To: Liu, ZhipengS <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>>; Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Cc: Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>>; Lemus Contreras, Cristopher J <<a href="mailto:Cristopher.J.Lemus.Contreras@intel.com">Cristopher.J.Lemus.Contreras@intel.com</a>>; Martinez Monroy, Elio <<a href="mailto:elio.martinez.monroy@intel.com">elio.martinez.monroy@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Subject: RE: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Hello,</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Deployment and sanity execution was launched last Friday.</span><o:p></o:p></pre>
<pre><span style="color:black">>AIO-SX, AIO-DX and Standard Local Storage deployed successfully and sanity passed.</span><o:p></o:p></pre>
<pre><span style="color:black">>Cristopher found that for Standard External Storage there was a failure with nova-compute pods, this is causing system application-apply stuck at 54%.</span><o:p></o:p></pre>
<pre><span style="color:black">>Cristopher also put the logs from collect here: <a href="http://10.219.115.222/ISOS/ALL_NODES_20191025.153624.tar">http://10.219.115.222/ISOS/ALL_NODES_20191025.153624.tar</a> </span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Today only Standard External Storage was launched in BareMetal and virtual environments to assure this is a real issue. Will let you know.</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Regards.</span><o:p></o:p></pre>
<pre><span style="color:black">>Juan Carlos Alonso</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>-----Original Message-----</span><o:p></o:p></pre>
<pre><span style="color:black">>From: Liu, ZhipengS <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Sent: Friday, October 25, 2019 12:22 AM</span><o:p></o:p></pre>
<pre><span style="color:black">>To: Alonso, Juan Carlos <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>>; Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Cc: Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>>; Lemus Contreras, Cristopher J <<a href="mailto:cristopher.j.lemus.contreras@intel.com">cristopher.j.lemus.contreras@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Subject: RE: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Hi JC,</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Please use below EB, which based on 1024 daily build</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>Zhipeng</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>-----Original Message-----</span><o:p></o:p></pre>
<pre><span style="color:black">>From: Alonso, Juan Carlos <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Sent: 2019</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">年</span><span style="color:black">10</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">月</span><span style="color:black">25</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">日</span><span style="color:black"> 3:24</span><o:p></o:p></pre>
<pre><span style="color:black">>To: Liu, ZhipengS <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>>; Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Cc: Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>>; Lemus Contreras, Cristopher J <<a href="mailto:cristopher.j.lemus.contreras@intel.com">cristopher.j.lemus.contreras@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Subject: RE: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Hello ZhipengS,</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Based on last StarlingX release meeting, we need a new EB with the fix merged since we have to execute sanity in both standard configurations.</span><o:p></o:p></pre>
<pre><span style="color:black">>Please can you generate a new EB to star testing?</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Regards.</span><o:p></o:p></pre>
<pre><span style="color:black">>Juan Carlos Alonso</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>-----Original Message-----</span><o:p></o:p></pre>
<pre><span style="color:black">>From: Liu, ZhipengS <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Sent: Wednesday, October 23, 2019 8:47 PM</span><o:p></o:p></pre>
<pre><span style="color:black">>To: Alonso, Juan Carlos <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>>; Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Cc: Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>>; Lemus Contreras, Cristopher J <<a href="mailto:cristopher.j.lemus.contreras@intel.com">cristopher.j.lemus.contreras@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Subject: RE: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Hi JC,</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Thanks for your update!</span><o:p></o:p></pre>
<pre><span style="color:black">>According to your test result, it seems just some known issues caused by other changes seen in your test.</span><o:p></o:p></pre>
<pre><span style="color:black">>Standards setup failure should be introduced in recent code merge.</span><o:p></o:p></pre>
<pre><span style="color:black">>Since you passed this case when you used my first EB that based on earlier daily build.</span><o:p></o:p></pre>
<pre><span style="color:black">>BTW, I also passed simplex test in bare metal environment yesterday with EB03</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>@all,</span><o:p></o:p></pre>
<pre><span style="color:black">>Based on current status, I think we can claim sanity test is good enough and can push related patches to be merged now.</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>For images, as this is just for internal verification, they are private images pushed by me. So, you could not get them in your private registry and only get them from dock.io. That's not the problem!</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>Zhipeng</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>-----Original Message-----</span><o:p></o:p></pre>
<pre><span style="color:black">>From: Alonso, Juan Carlos <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Sent: 2019</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">年</span><span style="color:black">10</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">月</span><span style="color:black">24</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">日</span><span style="color:black"> 3:41</span><o:p></o:p></pre>
<pre><span style="color:black">>To: Liu, ZhipengS <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>>; Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Cc: Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>>; Lemus Contreras, Cristopher J <<a href="mailto:cristopher.j.lemus.contreras@intel.com">cristopher.j.lemus.contreras@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Subject: RE: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Last update, on Virtual environment we have the same issue: AIO-SX and AIO-DX success. Both standards failed.</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Regards.</span><o:p></o:p></pre>
<pre><span style="color:black">>Juan Carlos Alonso</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>-----Original Message-----</span><o:p></o:p></pre>
<pre><span style="color:black">>From: Alonso, Juan Carlos</span><o:p></o:p></pre>
<pre><span style="color:black">>Sent: Wednesday, October 23, 2019 10:44 AM</span><o:p></o:p></pre>
<pre><span style="color:black">>To: Liu, ZhipengS <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>>; Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Cc: Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>>; Lemus Contreras, Cristopher J <<a href="mailto:Cristopher.J.Lemus.Contreras@intel.com">Cristopher.J.Lemus.Contreras@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Subject: RE: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Hello ZhipengS,</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>On Baremetal, deployment and Sanity on Simplex and Duplex success, but failed in both standards.</span><o:p></o:p></pre>
<pre><span style="color:black">>Your EB is based on master branch, right? Has been an issue last days and the fix has been submitted and merged: <a href="https://review.opendev.org/#/c/689438/">https://review.opendev.org/#/c/689438/</a></span><o:p></o:p></pre>
<pre><span style="color:black">>So, deployment on standards should work and if you generate a new EB should work too.</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>On virtual environment, all deployments for all configs success.</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>During the apply of stx-openstack, it failed due to the lack of some images, we are using a private registry and images could not found there.</span><o:p></o:p></pre>
<pre><span style="color:black">>Images were downloaded manually and stx-openstack re applied.</span><o:p></o:p></pre>
<pre><span style="color:black">>Do you have the updated list of the images you download? I CC to Cristopher who helped me with deployment and figure out this issue.</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Regards.</span><o:p></o:p></pre>
<pre><span style="color:black">>Juan Carlos Alonso</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>-----Original Message-----</span><o:p></o:p></pre>
<pre><span style="color:black">>From: Liu, ZhipengS <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Sent: Wednesday, October 23, 2019 3:33 AM</span><o:p></o:p></pre>
<pre><span style="color:black">>To: Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>; Alonso, Juan Carlos <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Cc: Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Subject: RE: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>I have tested EB 303 in our simplex bare metal environment Deployment and basic VM test pass!</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Zhipeng</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>-----Original Message-----</span><o:p></o:p></pre>
<pre><span style="color:black">>From: Liu, ZhipengS</span><o:p></o:p></pre>
<pre><span style="color:black">>Sent: 2019</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">年</span><span style="color:black">10</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">月</span><span style="color:black">23</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">日</span><span style="color:black"> 10:27</span><o:p></o:p></pre>
<pre><span style="color:black">>To: Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>; Alonso, Juan Carlos <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Cc: Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Subject: RE: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Hi JC,</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>I saw the fixed provided by Bob already in my EB 303.</span><o:p></o:p></pre>
<pre><span style="color:black">>Have you tested this one, any update?</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>Zhipeng</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>-----Original Message-----</span><o:p></o:p></pre>
<pre><span style="color:black">>From: Liu, ZhipengS</span><o:p></o:p></pre>
<pre><span style="color:black">>Sent: 2019</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">年</span><span style="color:black">10</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">月</span><span style="color:black">23</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">日</span><span style="color:black"> 9:30</span><o:p></o:p></pre>
<pre><span style="color:black">>To: Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>; Alonso, Juan Carlos <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Cc: Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Subject: RE: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Hi JC,</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>I saw that sanity test of daily build also has the same issue as you have.</span><o:p></o:p></pre>
<pre><span style="color:black">>I will trigger a new EB with the fixed provide by Bob.</span><o:p></o:p></pre>
<pre><span style="color:black">><a href="https://review.opendev.org/#/c/689643/">https://review.opendev.org/#/c/689643/</a> Ensure minimal replicas for platform-integ-apps managed apply</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>Zhipeng</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>-----Original Message-----</span><o:p></o:p></pre>
<pre><span style="color:black">>From: Liu, ZhipengS</span><o:p></o:p></pre>
<pre><span style="color:black">>Sent: 2019</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">年</span><span style="color:black">10</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">月</span><span style="color:black">22</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">日</span><span style="color:black"> 22:27</span><o:p></o:p></pre>
<pre><span style="color:black">>To: Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>; Alonso, Juan Carlos <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Cc: Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Subject: RE: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Yes</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>But the failure place JC met is not the same as I saw.</span><o:p></o:p></pre>
<pre><span style="color:black">>I met one failure on applying openstack, but JC saw the failure on applying platform app, which should not be related to train upgrade.</span><o:p></o:p></pre>
<pre><span style="color:black">>For my failure case, it should disable nova schedule node probe as we did before, I add this fix in my new EB based on latest Daily build 1021.</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>@JC, I triggered EB-303, it may be available in 2 hours, you can check the status below <a href="http://dcp-dev.intel.com/jenkins/blue/organizations/jenkins/StarlingX%2Fstx-eng-build/activity">http://dcp-dev.intel.com/jenkins/blue/organizations/jenkins/StarlingX%2Fstx-eng-build/activity</a></span><o:p></o:p></pre>
<pre><span style="color:black">>When it is ready, you can fetch EB from here and retest in BM setup.</span><o:p></o:p></pre>
<pre><span style="color:black">><a href="http://dcp-dev.intel.com/pub/starlingx/stx-eng-build/303/outputs/">http://dcp-dev.intel.com/pub/starlingx/stx-eng-build/303/outputs/</a></span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>Zhipeng</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>-----Original Message-----</span><o:p></o:p></pre>
<pre><span style="color:black">>From: Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Sent: 2019</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">年</span><span style="color:black">10</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">月</span><span style="color:black">22</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">日</span><span style="color:black"> 22:07</span><o:p></o:p></pre>
<pre><span style="color:black">>To: Liu, ZhipengS <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>>; Alonso, Juan Carlos <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>>; Cabrales, Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Cc: Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>Subject: Re: [Starlingx-discuss] About EB verification for openstack train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>Thanks Zhipeng, I suppose RC means Root Cause. :-)</span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">>On 2019/10/22 9:37 PM, Liu, ZhipengS wrote:</span><o:p></o:p></pre>
<pre><span style="color:black">>> Hi JC,</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> I should find the RC, will send you a new EB in 1 hour.</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Zhipeng</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> *From:*Liu, ZhipengS <<a href="mailto:zhipengs.liu@intel.com">zhipengs.liu@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Sent:* 2019</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">年</span><span style="color:black">10</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">月</span><span style="color:black">22</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">日</span><span style="color:black">9:27</span><o:p></o:p></pre>
<pre><span style="color:black">>> *To:* Alonso, Juan Carlos <<a href="mailto:juan.carlos.alonso@intel.com">juan.carlos.alonso@intel.com</a>>; Cabrales, </span><o:p></o:p></pre>
<pre><span style="color:black">>> Ada <<a href="mailto:ada.cabrales@intel.com">ada.cabrales@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Cc:* Xie, Cindy <<a href="mailto:cindy.xie@intel.com">cindy.xie@intel.com</a>>; Hu, Yong <<a href="mailto:yong.hu@intel.com">yong.hu@intel.com</a>>; </span><o:p></o:p></pre>
<pre><span style="color:black">>> Jones, Bruce E <<a href="mailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Subject:* RE: [Starlingx-discuss] About EB verification for openstack </span><o:p></o:p></pre>
<pre><span style="color:black">>> train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Hi JC,</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Thanks for your quick update!</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Could you help share your logs?</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Anyway, I will also try it in BM environment.</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Zhipeng</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> ----------------------------------------------------------------------</span><o:p></o:p></pre>
<pre><span style="color:black">>> --</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> *From:*Alonso, Juan Carlos</span><o:p></o:p></pre>
<pre><span style="color:black">>> *Sent:* Tuesday, October 22, 2019 1:13 AM</span><o:p></o:p></pre>
<pre><span style="color:black">>> *To:* Liu, ZhipengS; Cabrales, Ada</span><o:p></o:p></pre>
<pre><span style="color:black">>> *Cc:* Xie, Cindy; Hu, Yong; Jones, Bruce E</span><o:p></o:p></pre>
<pre><span style="color:black">>> *Subject:* RE: [Starlingx-discuss] About EB verification for openstack </span><o:p></o:p></pre>
<pre><span style="color:black">>> train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Hello ZhipengS,</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> A Sanity execution was launched last Friday on Virtual and BareMetal </span><o:p></o:p></pre>
<pre><span style="color:black">>> environment.</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> In virtual environment there was not issues during installation, </span><o:p></o:p></pre>
<pre><span style="color:black">>> provisioning nor sanity.</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> In BareMetal environment it could be installed but failed during </span><o:p></o:p></pre>
<pre><span style="color:black">>> provisioning in 4 configurations:</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> ======================================================================</span><o:p></o:p></pre>
<pre><span style="color:black">>> ========</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Provision :: Tests for provisioning and unlocking controllers, </span><o:p></o:p></pre>
<pre><span style="color:black">>> computes and</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> ======================================================================</span><o:p></o:p></pre>
<pre><span style="color:black">>> ========</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Provisioning Standard Storage System :: Validates provisioning of ... </span><o:p></o:p></pre>
<pre><span style="color:black">>> | FAIL |</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Maximum limit of started keywords exceeded.</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> The issue was during system application-apply:</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> [sysadmin@controller-0 ~(keystone_admin)]$ system application-list</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> +---------------------+---------+-------------------------------+---------------+---------------+------------------------------------------+</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> | application | version | manifest name |</span><o:p></o:p></pre>
<pre><span style="color:black">>> manifest file | status | progress</span><o:p></o:p></pre>
<pre><span style="color:black">>> |</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> +---------------------+---------+-------------------------------+---------------+---------------+------------------------------------------+</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> | platform-integ-apps | 1.0-8 | platform-integration-manifest |</span><o:p></o:p></pre>
<pre><span style="color:black">>> manifest.yaml | remove-failed | operation aborted, check logs for </span><o:p></o:p></pre>
<pre><span style="color:black">>> detail |</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> +---------------------+---------+-------------------------------+---------------+---------------+------------------------------------------+</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Regards.</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Juan Carlos Alonso</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> *From:*Liu, ZhipengS <zhipengs.liu@intel.com </span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="mailto:zhipengs.liu@intel.com">mailto:zhipengs.liu@intel.com</a>>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Sent:* Sunday, October 20, 2019 8:35 PM</span><o:p></o:p></pre>
<pre><span style="color:black">>> *To:* Cabrales, Ada <ada.cabrales@intel.com </span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="mailto:ada.cabrales@intel.com">mailto:ada.cabrales@intel.com</a>>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Cc:* Xie, Cindy <<a href="mailto:cindy.xie@intel.com%20%3cmailto:cindy.xie@intel.com">cindy.xie@intel.com <mailto:cindy.xie@intel.com</a>>>; </span><o:p></o:p></pre>
<pre><span style="color:black">>> Hu, Yong <<a href="mailto:yong.hu@intel.com%20%3cmailto:yong.hu@intel.com">yong.hu@intel.com <mailto:yong.hu@intel.com</a>>>; Jones, Bruce </span><o:p></o:p></pre>
<pre><span style="color:black">>> E <<a href="mailto:bruce.e.jones@intel.com%20%3cmailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com <mailto:bruce.e.jones@intel.com</a>>>; Alonso, </span><o:p></o:p></pre>
<pre><span style="color:black">>> Juan Carlos <juan.carlos.alonso@intel.com </span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="mailto:juan.carlos.alonso@intel.com">mailto:juan.carlos.alonso@intel.com</a>>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Subject:* RE: [Starlingx-discuss] About EB verification for openstack </span><o:p></o:p></pre>
<pre><span style="color:black">>> train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Hi Ada,</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Do we have test result now?</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Zhipeng</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> *From:*Cabrales, Ada <ada.cabrales@intel.com </span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="mailto:ada.cabrales@intel.com">mailto:ada.cabrales@intel.com</a>>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Sent:* 2019</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">年</span><span style="color:black">10</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">月</span><span style="color:black">14</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">日</span><span style="color:black">22:20</span><o:p></o:p></pre>
<pre><span style="color:black">>> *To:* Liu, ZhipengS <zhipengs.liu@intel.com </span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="mailto:zhipengs.liu@intel.com">mailto:zhipengs.liu@intel.com</a>>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Cc:* Xie, Cindy <<a href="mailto:cindy.xie@intel.com%20%3cmailto:cindy.xie@intel.com">cindy.xie@intel.com <mailto:cindy.xie@intel.com</a>>>; </span><o:p></o:p></pre>
<pre><span style="color:black">>> Hu, Yong <<a href="mailto:yong.hu@intel.com%20%3cmailto:yong.hu@intel.com">yong.hu@intel.com <mailto:yong.hu@intel.com</a>>>; Jones, Bruce </span><o:p></o:p></pre>
<pre><span style="color:black">>> E <<a href="mailto:bruce.e.jones@intel.com%20%3cmailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com <mailto:bruce.e.jones@intel.com</a>>>; Alonso, </span><o:p></o:p></pre>
<pre><span style="color:black">>> Juan Carlos <juan.carlos.alonso@intel.com </span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="mailto:juan.carlos.alonso@intel.com">mailto:juan.carlos.alonso@intel.com</a>>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Subject:* RE: [Starlingx-discuss] About EB verification for openstack </span><o:p></o:p></pre>
<pre><span style="color:black">>> train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Sure, let us try with this one.</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Ada</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> *From:*Liu, ZhipengS <zhipengs.liu@intel.com </span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="mailto:zhipengs.liu@intel.com">mailto:zhipengs.liu@intel.com</a>>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Sent:* Sunday, October 13, 2019 6:44 AM</span><o:p></o:p></pre>
<pre><span style="color:black">>> *To:* Cabrales, Ada <ada.cabrales@intel.com </span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="mailto:ada.cabrales@intel.com">mailto:ada.cabrales@intel.com</a>>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Cc:* Xie, Cindy <<a href="mailto:cindy.xie@intel.com%20%3cmailto:cindy.xie@intel.com">cindy.xie@intel.com <mailto:cindy.xie@intel.com</a>>>; </span><o:p></o:p></pre>
<pre><span style="color:black">>> Hu, Yong <<a href="mailto:yong.hu@intel.com%20%3cmailto:yong.hu@intel.com">yong.hu@intel.com <mailto:yong.hu@intel.com</a>>>; Jones, Bruce </span><o:p></o:p></pre>
<pre><span style="color:black">>> E <<a href="mailto:bruce.e.jones@intel.com%20%3cmailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com <mailto:bruce.e.jones@intel.com</a>>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Subject:* RE: [Starlingx-discuss] About EB verification for openstack </span><o:p></o:p></pre>
<pre><span style="color:black">>> train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Hi Ada,</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Could you please use below new EB?</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> One horizon issue was fixed, found during my duplex test.</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> <a href="http://dcp-dev.intel.com/pub/starlingx/stx-eng-build/294/outputs/">http://dcp-dev.intel.com/pub/starlingx/stx-eng-build/294/outputs/</a></span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Zhipeng</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> *From:*Liu, ZhipengS <zhipengs.liu@intel.com </span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="mailto:zhipengs.liu@intel.com">mailto:zhipengs.liu@intel.com</a>>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Sent:* 2019</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">年</span><span style="color:black">10</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">月</span><span style="color:black">11</span><span lang="ZH-CN" style="font-family:"MS Gothic";color:black">日</span><span style="color:black">20:43</span><o:p></o:p></pre>
<pre><span style="color:black">>> *To:* Cabrales, Ada <ada.cabrales@intel.com </span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="mailto:ada.cabrales@intel.com">mailto:ada.cabrales@intel.com</a>>>; Jones, Bruce E </span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="mailto:bruce.e.jones@intel.com%20%3cmailto:bruce.e.jones@intel.com">bruce.e.jones@intel.com <mailto:bruce.e.jones@intel.com</a>>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Cc:* <a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a></span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="mailto:starlingx-discuss@lists.starlingx.io">mailto:starlingx-discuss@lists.starlingx.io</a>></span><o:p></o:p></pre>
<pre><span style="color:black">>> *Subject:* [Starlingx-discuss] About EB verification for openstack </span><o:p></o:p></pre>
<pre><span style="color:black">>> train upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Hi Ada and Bruce,</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> So far, I have finished openstack train upgrade and </span><o:p></o:p></pre>
<pre><span style="color:black">>> openstack-helm/helm-infra upgrade.</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Story: <a href="https://storyboard.openstack.org/#!/story/2006544">https://storyboard.openstack.org/#!/story/2006544</a></span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Basic deployment and VM creation/remove test pass in AIO setup!</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> @Ada <<a href="mailto:ada.cabrales@intel.com">mailto:ada.cabrales@intel.com</a>>, Could you help to arrange sanity </span><o:p></o:p></pre>
<pre><span style="color:black">>> test with below EB, thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> <a href="http://dcp-dev.intel.com/pub/starlingx/stx-eng-build/290/outputs/">http://dcp-dev.intel.com/pub/starlingx/stx-eng-build/290/outputs/</a></span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Current status summarized as below.</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> 1)Openstack upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Finished 13 services upgrade, including nova, neutron, keystone, </span><o:p></o:p></pre>
<pre><span style="color:black">>> cinder, glance, placement, aodh, ironic, panko, barbican, ceilometer, heat, horizon.</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> 2)Openstack-helm/helm-infra upgrade</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Upgrade openstack-helm to below version. 13 patches removed</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> commit 82c72367c85ca94270f702661c7b984899c1ae38 </span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="https://review.opendev.org/#/q/82c72367c85ca94270f702661c7b984899c1ae38">https://review.opendev.org/#/q/82c72367c85ca94270f702661c7b984899c1ae38</a>> //Date: </span><o:p></o:p></pre>
<pre><span style="color:black">>> Sat Sep 14 06:40:03 2019 +0000</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Upgrade openstack-helm-infra to below version. 1 patch removed</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> commit c9d6676bf9a5aceb311dc31dadd07cba6a3d6392 </span><o:p></o:p></pre>
<pre><span style="color:black">>> <<a href="https://review.opendev.org/#/q/c9d6676bf9a5aceb311dc31dadd07cba6a3d6392">https://review.opendev.org/#/q/c9d6676bf9a5aceb311dc31dadd07cba6a3d6392</a>> //Date: </span><o:p></o:p></pre>
<pre><span style="color:black">>> Mon Sep 16 17:15:12 2019 +0000</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> 6 patches submitted for review, your comments are appreciated, thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> <a href="https://review.opendev.org/#/c/683886/">https://review.opendev.org/#/c/683886/</a></span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> <a href="https://review.opendev.org/#/c/683910/">https://review.opendev.org/#/c/683910/</a></span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> <a href="https://review.opendev.org/#/c/684166/">https://review.opendev.org/#/c/684166/</a></span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> <a href="https://review.opendev.org/#/c/687441/">https://review.opendev.org/#/c/687441/</a></span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> <a href="https://review.opendev.org/#/c/687197/">https://review.opendev.org/#/c/687197/</a></span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> <a href="https://review.opendev.org/#/c/688105/">https://review.opendev.org/#/c/688105/</a></span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> Thanks!</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">>> zhipeng</span><o:p></o:p></pre>
<pre><span style="color:black">>> </span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
<pre><span style="color:black">> </span><o:p></o:p></pre>
</div>
<p class="MsoNormal" style="margin-bottom:12.0pt"> <o:p></o:p></p>
</div>
</body>
</html>