<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;
        color:black;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
pre
        {mso-style-priority:99;
        mso-style-link:"HTML Preformatted Char";
        margin:0in;
        margin-bottom:.0001pt;
        font-size:10.0pt;
        font-family:"Courier New";
        color:black;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0in;
        margin-right:0in;
        margin-bottom:0in;
        margin-left:.5in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;
        color:black;}
p.xxxmsonormal, li.xxxmsonormal, div.xxxmsonormal
        {mso-style-name:x_x_x_msonormal;
        margin:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;
        color:black;}
span.HTMLPreformattedChar
        {mso-style-name:"HTML Preformatted Char";
        mso-style-priority:99;
        mso-style-link:"HTML Preformatted";
        font-family:Consolas;
        color:black;}
span.EmailStyle25
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:37511177;
        mso-list-type:hybrid;
        mso-list-template-ids:-583605578 67698703 67698713 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l0:level1
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level2
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level3
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l0:level4
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level5
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level6
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l0:level7
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level8
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level9
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body bgcolor="white" lang="EN-US" link="#0563C1" vlink="purple" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal"><span style="color:windowtext">StarlingX Community:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:windowtext"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="color:windowtext">As you are all likely aware there has been an extended outage at our CENGN facility. Our build team members and CENGN folks have been working extra hours through the recovery.  This likely will require another
 2 days before normal builds can occur.  In the meantime please note the following impact:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:windowtext"><o:p> </o:p></span></p>
<ol style="margin-top:0in" start="1" type="1">
<li class="MsoListParagraph" style="color:windowtext;margin-left:0in;mso-list:l0 level1 lfo1">
If you have a local copy of the mirror and did a repo sync on Jan 20 or earlier you likely can continue to make some progress for your development.<o:p></o:p></li><li class="MsoListParagraph" style="color:windowtext;margin-left:0in;mso-list:l0 level1 lfo1">
Do NOT perform a download mirror step at this time as the mirror is corrupted and being repaired.  Also a repo sync may not be successful especially if a commit was merged since Jan 20 that required a .lst file change.<o:p></o:p></li><li class="MsoListParagraph" style="color:windowtext;margin-left:0in;mso-list:l0 level1 lfo1">
Do NOT merge or approve any commits that require a .lst file change.<o:p></o:p></li><li class="MsoListParagraph" style="color:windowtext;margin-left:0in;mso-list:l0 level1 lfo1">
Scott will provide daily email updates on the recovery of the CENGN mirror and will let you know when you can resume doing downloads of the mirror.<o:p></o:p></li></ol>
<p class="MsoNormal"><span style="color:windowtext"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="color:windowtext">Thanks for your patience as the recovery is being worked.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:windowtext"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="color:windowtext">Frank<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:windowtext"><o:p> </o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="color:windowtext">From:</span></b><span style="color:windowtext"> Scott Little <scott.little@windriver.com>
<br>
<b>Sent:</b> Tuesday, January 26, 2021 1:28 AM<br>
<b>To:</b> starlingx-discuss@lists.starlingx.io<br>
<b>Subject:</b> Re: [Starlingx-discuss] Cengn Mirror server in down?!<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">The jenkins in the cengn build is offline while we repair the file system on the mirror.  The build machine both read from, and writes to the mirror, and I don't want it to cause further corruptions while the mirror is being repaired.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">The cengn mirror has been cut over to the new storage back end.  However any corrupt files from the old storage back end will remain corrupted on the new one.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Restoration of rpm repos will proceed in several phases:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">1) An audit of all rpm repos is underway.  Rpm's that fail their checksum are being removed and repodata will be updated to reflect the missing RPMS.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">2) The mirror update job (downloading rpms from upstream rpm repos) will be run to restore as many missing files as possible. Many rpms may no longer be available as we kept old versions of packages that upstream drops when a new version
 is available,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">3) If rpms that are not available from upstream, but are required for our build, we can attempt to restore them from one of several places.   e.g. the inputs directory of various builds, or the downloads directory on the cengn build server
 (independent storage from the mirror)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">4) Resume building new loads<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p>All of the release iso's on cengn were corrupt.<o:p></o:p></p>
<p><o:p> </o:p></p>
<p>I've been able to restore 4.0.1 and 2.0.1 from the original build artifacts.<o:p></o:p></p>
<p><o:p> </o:p></p>
<p>Original build artifacts for 3.0.0 are missing.  I do have build artifacts for builds that were intended to lead up to a 3.0.1 release.  If a verifiable copy of 3.0.0 can't be found, we may want to consider issuing a 3.0.1.  Alternatively I can rebuild 3.0.0,
 but the file checksums wont match the original build due to embedded timestamps.<o:p></o:p></p>
<p><o:p> </o:p></p>
<p><o:p> </o:p></p>
<div>
<p class="MsoNormal">Scott<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">On 2021-01-25 11:08 a.m., Little, Scott wrote:<o:p></o:p></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div>
<p class="MsoNormal">Work continues at CENGN repair damaged repos and to move us to a new backend infrastructure with better redundancy.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">I still recommend that you avoid using download_mirrir.sh until the repos are fully repaired.  I don’t have a firm ETA for that, perhaps two before we have full confidence in the repairs.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Scott <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div class="MsoNormal" align="center" style="text-align:center">
<hr size="2" width="98%" align="center">
</div>
<div id="divRplyFwdMsg">
<p class="MsoNormal"><b>From:</b> Scott Little <a href="mailto:scott.little@windriver.com">
<scott.little@windriver.com></a><br>
<b>Sent:</b> January 23, 2021 2:24 AM<br>
<b>To:</b> <a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>
<a href="mailto:starlingx-discuss@lists.starlingx.io"><starlingx-discuss@lists.starlingx.io></a><br>
<b>Subject:</b> Re: [Starlingx-discuss] Cengn Mirror server in down?! <o:p></o:p></p>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
</div>
<div>
<p>CENGN is up, but there seems to be significant damage to the repositories.  <o:p>
</o:p></p>
<p><o:p> </o:p></p>
<p>We are investigate options to restore the repositories to health.<o:p></o:p></p>
<p><o:p> </o:p></p>
<p>I do NOT recommend running download_mirror.sh at this time.<o:p></o:p></p>
<p><o:p> </o:p></p>
<p>Scott<o:p></o:p></p>
<p><o:p> </o:p></p>
<p><o:p> </o:p></p>
<p><o:p> </o:p></p>
<div>
<p class="MsoNormal">On 2021-01-22 3:53 p.m., Scott Little wrote:<o:p></o:p></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<p>CENGN remains out of service.<o:p></o:p></p>
<p><o:p> </o:p></p>
<p>A new problem has been identified with ceph storage.<o:p></o:p></p>
<p><o:p> </o:p></p>
<p>They continue to work the outage.  <o:p></o:p></p>
<p><o:p> </o:p></p>
<p>Scott<o:p></o:p></p>
<p><o:p> </o:p></p>
<p><o:p> </o:p></p>
<p><o:p> </o:p></p>
<div>
<p class="MsoNormal">On 2021-01-22 9:55 a.m., Scott Little wrote:<o:p></o:p></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<p>CENGN remains out of service<o:p></o:p></p>
<p><o:p> </o:p></p>
<p>AC to the server room has been restored. They are now working some firewall issues.<o:p></o:p></p>
<p><o:p> </o:p></p>
<p>They hope to have it restored in a few hours.<o:p></o:p></p>
<p><o:p> </o:p></p>
<p>Scott<o:p></o:p></p>
<p><o:p> </o:p></p>
<p><o:p> </o:p></p>
<div>
<p class="MsoNormal">On 2021-01-21 10:07 a.m., Panech, Davlet wrote:<o:p></o:p></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div>
<p class="MsoNormal"><span style="font-size:12.0pt">The hosting company had an issue with their servers, they are working on it. They hope to be back online mid afternoon (Jan 21, Eastern Standard Time).<o:p></o:p></span></p>
</div>
<div class="MsoNormal" align="center" style="text-align:center">
<hr size="2" width="98%" align="center">
</div>
<div id="x_divRplyFwdMsg">
<p class="MsoNormal"><b>From:</b> Panech, Davlet <a href="mailto:Davlet.Panech@windriver.com">
<Davlet.Panech@windriver.com></a><br>
<b>Sent:</b> January 21, 2021 9:56 AM<br>
<b>To:</b> Dimofte, Alexandru <a href="mailto:alexandru.dimofte@intel.com"><alexandru.dimofte@intel.com></a>;
<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>
<a href="mailto:starlingx-discuss@lists.starlingx.io"><starlingx-discuss@lists.starlingx.io></a><br>
<b>Subject:</b> Re: Cengn Mirror server in down?! <o:p></o:p></p>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt">Thanks Alexandru, we are looking into it.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt"><o:p> </o:p></span></p>
</div>
<div class="MsoNormal" align="center" style="text-align:center">
<hr size="2" width="98%" align="center">
</div>
<div id="x_x_divRplyFwdMsg">
<p class="MsoNormal"><b>From:</b> Dimofte, Alexandru <a href="mailto:alexandru.dimofte@intel.com">
<alexandru.dimofte@intel.com></a><br>
<b>Sent:</b> January 21, 2021 3:24 AM<br>
<b>To:</b> <a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>
<a href="mailto:starlingx-discuss@lists.starlingx.io"><starlingx-discuss@lists.starlingx.io></a><br>
<b>Subject:</b> [Starlingx-discuss] Cengn Mirror server in down?! <o:p></o:p></p>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
</div>
<div>
<div>
<p class="xxxmsonormal">Hello guys,<o:p></o:p></p>
<p class="xxxmsonormal"> <o:p></o:p></p>
<p class="xxxmsonormal">I observed, trying to connect to <a href="http://mirror.starlingx.cengn.ca/mirror/starlingx/master/centos/">
http://mirror.starlingx.cengn.ca/mirror/starlingx/master/centos/</a> , that cengn mirror server is down.<o:p></o:p></p>
<p class="xxxmsonormal"> <o:p></o:p></p>
<p class="xxxmsonormal">Best regards,<o:p></o:p></p>
<p class="xxxmsonormal">Alex<o:p></o:p></p>
<p class="xxxmsonormal"><span style="color:#1F497D"> </span><o:p></o:p></p>
<table class="MsoNormalTable" border="0" cellspacing="0" cellpadding="0" style="margin-left:.15in;border-collapse:collapse">
<tbody>
<tr>
<td width="132" valign="top" style="width:99.3pt;border:none;border-right:solid #0071C5 1.5pt;padding:0in 5.4pt 0in 5.4pt">
<p class="xxxmsonormal"><span style="color:#00B0F0">  </span><span lang="PL" style="color:#00B0F0"><img border="0" width="127" height="55" style="width:1.325in;height:.575in" id="x_x_x_Picture_x0020_1" src="cid:image001.png@01D6F3D3.533ACDA0" alt="Logo
                                  Description automatically generated"></span><o:p></o:p></p>
</td>
<td width="488" valign="top" style="width:365.75pt;padding:0in 5.4pt 0in 5.4pt">
<p class="xxxmsonormal">Dimofte Alexandru<o:p></o:p></p>
<p class="xxxmsonormal">Software Engineer<o:p></o:p></p>
<p class="xxxmsonormal">STARLINGX TEAM<o:p></o:p></p>
<p class="xxxmsonormal">Skype no: +40 336403734<o:p></o:p></p>
<p class="xxxmsonormal">Personal Mobile: +40 743167456<o:p></o:p></p>
<p class="xxxmsonormal"><span style="color:#00B0F0"><a href="mailto:alexandru.dimofte@intel.com"><span style="color:#00B0F0">alexandru.dimofte</span>@intel.com</a></span><o:p></o:p></p>
<p class="xxxmsonormal"><span lang="DE">Intel Romania</span><o:p></o:p></p>
</td>
</tr>
</tbody>
</table>
<p class="xxxmsonormal" style="margin-bottom:12.0pt"><o:p> </o:p></p>
<p class="xxxmsonormal"> <o:p></o:p></p>
</div>
</div>
</div>
<p class="MsoNormal"><br>
<br>
<o:p></o:p></p>
<pre>_______________________________________________<o:p></o:p></pre>
<pre>Starlingx-discuss mailing list<o:p></o:p></pre>
<pre><a href="mailto:Starlingx-discuss@lists.starlingx.io">Starlingx-discuss@lists.starlingx.io</a><o:p></o:p></pre>
<pre><a href="http://lists.starlingx.io/cgi-bin/mailman/listinfo/starlingx-discuss">http://lists.starlingx.io/cgi-bin/mailman/listinfo/starlingx-discuss</a><o:p></o:p></pre>
</blockquote>
<p class="MsoNormal"><br>
<br>
<o:p></o:p></p>
<pre>_______________________________________________<o:p></o:p></pre>
<pre>Starlingx-discuss mailing list<o:p></o:p></pre>
<pre><a href="mailto:Starlingx-discuss@lists.starlingx.io">Starlingx-discuss@lists.starlingx.io</a><o:p></o:p></pre>
<pre><a href="http://lists.starlingx.io/cgi-bin/mailman/listinfo/starlingx-discuss">http://lists.starlingx.io/cgi-bin/mailman/listinfo/starlingx-discuss</a><o:p></o:p></pre>
</blockquote>
<p class="MsoNormal"><br>
<br>
<o:p></o:p></p>
<pre>_______________________________________________<o:p></o:p></pre>
<pre>Starlingx-discuss mailing list<o:p></o:p></pre>
<pre><a href="mailto:Starlingx-discuss@lists.starlingx.io">Starlingx-discuss@lists.starlingx.io</a><o:p></o:p></pre>
<pre><a href="http://lists.starlingx.io/cgi-bin/mailman/listinfo/starlingx-discuss">http://lists.starlingx.io/cgi-bin/mailman/listinfo/starlingx-discuss</a><o:p></o:p></pre>
</blockquote>
</div>
<p class="MsoNormal"><br>
<br>
<o:p></o:p></p>
<pre>_______________________________________________<o:p></o:p></pre>
<pre>Starlingx-discuss mailing list<o:p></o:p></pre>
<pre><a href="mailto:Starlingx-discuss@lists.starlingx.io">Starlingx-discuss@lists.starlingx.io</a><o:p></o:p></pre>
<pre><a href="http://lists.starlingx.io/cgi-bin/mailman/listinfo/starlingx-discuss">http://lists.starlingx.io/cgi-bin/mailman/listinfo/starlingx-discuss</a><o:p></o:p></pre>
</blockquote>
<p><o:p> </o:p></p>
</div>
</body>
</html>