<html><head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  </head>
  <body>
    <div class="moz-cite-prefix">CENGN is again experiencing hangs in
      the Python3.9 unit tests.  We are also now reproducing the hang on
      other build machines.</div>
    <div class="moz-cite-prefix"><br>
    </div>
    <div class="moz-cite-prefix">LaunchPad:
      <a class="moz-txt-link-freetext" href="https://bugs.launchpad.net/starlingx/+bug/2009722">https://bugs.launchpad.net/starlingx/+bug/2009722</a></div>
    <div class="moz-cite-prefix"><br>
    </div>
    <div class="moz-cite-prefix">I recommend we disable unit tests in
      the python3.9 package, until we better understand the issue.</div>
    <div class="moz-cite-prefix"><br>
    </div>
    <div class="moz-cite-prefix">Scott<br>
    </div>
    <div class="moz-cite-prefix"><br>
    </div>
    <div class="moz-cite-prefix"><br>
    </div>
    <div class="moz-cite-prefix">On 2023-03-10 09:57, Scott Little
      wrote:<br>
    </div>
    <blockquote type="cite" cite="mid:34621a13-e577-550c-79f9-34933b9cf546@windriver.com">
      
      <p>I could only ever reproduce this failure on CENGN.<br>
      </p>
      <p>I believe the problem was a corruption of the cached/buffered
        copy of a file in RAM.</p>
      <p>After a reboot, <b>we built successfully.</b></p>
      <p><span data-copy-format="default" data-button-text="Copy" data-button-position="inside" data-button-copy-text="Copied!" data-style="button" data-button-title="Copy to Clipboard" data-selector="copycode" class="copy-the-code-wrap
          copy-the-code-style-button copy-the-code-inside-wrap"><em>An
            alternative to a reboot might have been ....<br>
          </em></span></p>
      <p><span data-copy-format="default" data-button-text="Copy" data-button-position="inside" data-button-copy-text="Copied!" data-style="button" data-button-title="Copy to Clipboard" data-selector="copycode" class="copy-the-code-wrap
          copy-the-code-style-button copy-the-code-inside-wrap"><em>  
            sync; echo 1 > /proc/sys/vm/drop_caches</em></span></p>
      <p>Scott<br>
      </p>
      <p><br>
      </p>
      <div class="moz-cite-prefix">On 2023-03-08 11:05, Scott Little
        wrote:<br>
      </div>
      <blockquote type="cite" cite="mid:87a57fc7-b937-2f75-86c1-d47ba1dfd005@windriver.com">Created
        a LaunchPad to track the issue: <br>
        <a class="moz-txt-link-freetext" href="https://urldefense.com/v3/__https://bugs.launchpad.net/starlingx/*bug/2009722__;Kw!!AjveYdw8EvQ!dt3EMq9Rw4zhupwZDaqXh-f61CiqZHTe_H6FJ8r69to-N1HWRSs9DpaopXr4eEjCZNRPf4I9TFaaToJFVJHzjWjmBGrpSQ$" moz-do-not-send="true">https://bugs.launchpad.net/starlingx/+bug/2009722</a>
        <br>
        <br>
        Scott <br>
        <br>
        On 2023-03-08 10:56, Scott.Little wrote: <br>
        <blockquote type="cite">Hi all <br>
          <br>
          <br>
          CENGN has been unable to complete a build since March 3. <br>
          <br>
          Since then, four builds were attempted, and all builds hung
          within the post-build unit tests of python3.9_3.9.2-1.stx.1. <br>
          <br>
          One build was hung for nearly 48 hours. <br>
          <br>
          The logs are not specific on which test is hanging. <br>
          <br>
          Killing the hung unit test results in the overall build of the
          python3.9 package build failing, but a retry loop attempts to
          rebuild, and it again hangs in the unit tests. <br>
          <br>
          There is nothing in the change logs that directly affect this
          package.  The only build system changes relate to secure boot.
          signing and as the python package is not one that requires
          signing, I'm currently discounting those as a cause. <br>
          <br>
          An equivalent build using an internal WindRiver build machine
          has so far not hit this issue.  The main difference being that
          CENGN uses minikube, and the internal server is using
          kubernetes directly. <br>
          <br>
          One theory was that something change upstream that affects the
          content within the build containers.  However, both CENGN and
          the internal build server rebuild the build containers each
          time.  If there was a change upstream, I would expect both
          builds to see it. <br>
          <br>
          Most designers are likely using minikube, and so far I've seen
          no complaints from designers on this topic.  Perhaps designers
          are using a build environment created on or before March 3,
          and haven't seen it yet.  Have you encountered hung builds in
          the last week?   Please report the issue, and we would like to
          know when the build containers were last rebuilt.   We'll be
          trying to setup a fresh minikube build later today. <br>
          <br>
          At some point we may be forced to disable the python unit
          tests as a work around, until a better solution presents
          itself. <br>
          <br>
          Scott <br>
          <br>
          <br>
          <br>
          _______________________________________________ <br>
          Starlingx-discuss mailing list <br>
          <a class="moz-txt-link-abbreviated moz-txt-link-freetext" href="mailto:Starlingx-discuss@lists.starlingx.io" moz-do-not-send="true">Starlingx-discuss@lists.starlingx.io</a>
          <br>
        </blockquote>
        <br>
        <br>
        <br>
        _______________________________________________ <br>
        Starlingx-discuss mailing list <br>
        <a class="moz-txt-link-abbreviated moz-txt-link-freetext" href="mailto:Starlingx-discuss@lists.starlingx.io" moz-do-not-send="true">Starlingx-discuss@lists.starlingx.io</a>
        <br>
      </blockquote>
      <br>
      <fieldset class="moz-mime-attachment-header"></fieldset>
      <pre class="moz-quote-pre" wrap="">_______________________________________________
Starlingx-discuss mailing list
<a class="moz-txt-link-abbreviated" href="mailto:Starlingx-discuss@lists.starlingx.io">Starlingx-discuss@lists.starlingx.io</a>
</pre>
    </blockquote>
    <p><br>
    </p>
  </body>
</html>