<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:DengXian;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:"\@DengXian";
        panose-1:2 1 6 0 3 1 1 1 1 1;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0cm;
        mso-margin-bottom-alt:auto;
        margin-left:0cm;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle16
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle19
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal">You might get some hints by inspecting the pod by:<o:p></o:p></p>
<p class="MsoNormal"># kubectl -n openstack describe pod <span style="color:red">
horizon-d777d8b7d-cpvq7                             <o:p></o:p></span></p>
<p class="MsoNormal"># kubectl -n openstack logs <span style="color:red">horizon-d777d8b7d-cpvq7                             <o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">"Kalvala, Haridhar" <haridhar.kalvala@intel.com><br>
<b>Date: </b>Monday, January 11, 2021 at 4:19 PM<br>
<b>To: </b>"starlingx-discuss@lists.starlingx.io" <starlingx-discuss@lists.starlingx.io><br>
<b>Cc: </b>"Bailey, Henry Albert (Al)" <Al.Bailey@windriver.com>, "Penney, Don" <Don.Penney@windriver.com>, "Miller, Frank" <Frank.Miller@windriver.com>, "Mukherjee, Sanjay K" <sanjay.k.mukherjee@intel.com>, "Bhat, Gopalkrishna" <gopalkrishna.bhat@intel.com><br>
<b>Subject: </b>[Starlingx-discuss] Horizon container deployment, Pod status (CrashLoopBackOff) issue.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal">Hello all,<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Any pointers on how can I debug below CrashLoopBackOff  status issue for  horizon container image.<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><b><u><span style="background:yellow;mso-highlight:yellow">Pod status :</span></u></b><o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">horizon-d777d8b7d-cpvq7                              0/1     CrashLoopBackOff   43         3h17m</span><o:p></o:p></p>
<p class="MsoNormal">horizon-db-init-4pcd4                                0/1     Completed          0          3h17m<o:p></o:p></p>
<p class="MsoNormal">horizon-db-sync-26ltd                                0/1     Completed          0          3h17m<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><b><u><span style="background:yellow;mso-highlight:yellow">Error Log:</span></u></b><o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">2021-01-11 16:06:21.812 414 DEBUG armada.handlers.wait [-] [chart=openstack-horizon]: pod horizon-d777d8b7d-cpvq7 not ready: Waiting for pod horizon-d777d8b7d-cpvq7 to be ready... handle_resource /usr/local/lib/python3.6/dist-packages/armada/handlers/wait.py:260[00m<o:p></o:p></p>
<p class="MsoNormal">2021-01-11 16:07:17.488 414 DEBUG armada.handlers.lock [-] Updating lock update_lock /usr/local/lib/python3.6/dist-packages/armada/handlers/lock.py:176[00m<o:p></o:p></p>
<p class="MsoNormal">2021-01-11 16:08:17.612 414 DEBUG armada.handlers.lock [-] Updating lock update_lock /usr/local/lib/python3.6/dist-packages/armada/handlers/lock.py:176[00m<o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.221 414 ERROR armada.handlers.wait [-] [chart=openstack-horizon]: Timed out waiting for pods (namespace=openstack, labels=(release_group=osh-openstack-horizon)). These pods were not ready=['horizon-d777d8b7d-cpvq7'][00m</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada [-] Chart deploy [openstack-horizon] failed: armada.exceptions.k8s_exceptions.KubernetesWatchTimeoutException: Timed out waiting for pods (namespace=openstack,
 labels=(release_group=osh-openstack-horizon)). These pods were not ready=['horizon-d777d8b7d-cpvq7']</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada Traceback (most recent call last):</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada   File "/usr/local/lib/python3.6/dist-packages/armada/handlers/armada.py", line 225, in handle_result</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada     result = get_result()</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada   File "/usr/lib/python3.6/concurrent/futures/_base.py", line 425, in result</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada     return self.__get_result()</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada   File "/usr/lib/python3.6/concurrent/futures/_base.py", line 384, in __get_result</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada     raise self._exception</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada   File "/usr/lib/python3.6/concurrent/futures/thread.py", line 56, in run</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada     result = self.fn(*self.args, **self.kwargs)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada   File "/usr/local/lib/python3.6/dist-packages/armada/handlers/armada.py", line 214, in deploy_chart</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada     chart, cg_test_all_charts, prefix, known_releases)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada   File "/usr/local/lib/python3.6/dist-packages/armada/handlers/chart_deploy.py", line 248, in execute</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada     chart_wait.wait(timer)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada   File "/usr/local/lib/python3.6/dist-packages/armada/handlers/wait.py", line 134, in wait</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada     wait.wait(timeout=timeout)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada   File "/usr/local/lib/python3.6/dist-packages/armada/handlers/wait.py", line 294, in wait</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada     modified = self._wait(deadline)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada   File "/usr/local/lib/python3.6/dist-packages/armada/handlers/wait.py", line 354, in _wait</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada     raise k8s_exceptions.KubernetesWatchTimeoutException(error)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada armada.exceptions.k8s_exceptions.KubernetesWatchTimeoutException: Timed out waiting for pods (namespace=openstack, labels=(release_group=osh-openstack-horizon)).
 These pods were not ready=['horizon-d777d8b7d-cpvq7']</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.222 414 ERROR armada.handlers.armada [00m</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.223 414 ERROR armada.handlers.armada [-] Chart deploy(s) failed: ['openstack-horizon'][00m</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.625 414 INFO armada.handlers.lock [-] Releasing lock[00m</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli [-] Caught internal exception: armada.exceptions.armada_exceptions.ChartDeployException: Exception deploying charts: ['openstack-horizon']</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli Traceback (most recent call last):</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli   File "/usr/local/lib/python3.6/dist-packages/armada/cli/__init__.py", line 38, in safe_invoke</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli     self.invoke()</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli   File "/usr/local/lib/python3.6/dist-packages/armada/cli/apply.py", line 213, in invoke</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli     resp = self.handle(documents, tiller)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli   File "/usr/local/lib/python3.6/dist-packages/armada/handlers/lock.py", line 81, in func_wrapper</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli     return future.result()</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli   File "/usr/lib/python3.6/concurrent/futures/_base.py", line 425, in result</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli     return self.__get_result()</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli   File "/usr/lib/python3.6/concurrent/futures/_base.py", line 384, in __get_result</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli     raise self._exception</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli   File "/usr/lib/python3.6/concurrent/futures/thread.py", line 56, in run</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli     result = self.fn(*self.args, **self.kwargs)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli   File "/usr/local/lib/python3.6/dist-packages/armada/cli/apply.py", line 256, in handle</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli     return armada.sync()</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli   File "/usr/local/lib/python3.6/dist-packages/armada/handlers/armada.py", line 252, in sync</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli     raise armada_exceptions.ChartDeployException(failures)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli armada.exceptions.armada_exceptions.ChartDeployException: Exception deploying charts: ['openstack-horizon']</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">2021-01-11 16:08:19.668 414 ERROR armada.cli [00m</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red">command terminated with exit code 1</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:red"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:black">Regards,</span><o:p></o:p></p>
<p class="MsoNormal"><span style="color:black">Haridhar Kalvala</span><o:p></o:p></p>
</div>
</body>
</html>