<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:"Calibri Light";
        panose-1:2 15 3 2 2 2 4 3 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle22
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:447965708;
        mso-list-template-ids:953066216;}
@list l0:level1
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l0:level2
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:1.0in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l0:level3
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:1.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l0:level4
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:2.0in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l0:level5
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:2.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l0:level6
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:3.0in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l0:level7
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:3.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l0:level8
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:4.0in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l0:level9
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:4.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l1
        {mso-list-id:1519352478;
        mso-list-template-ids:-1174009584;}
@list l1:level1
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l1:level2
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:1.0in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l1:level3
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:1.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l1:level4
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:2.0in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l1:level5
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:2.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l1:level6
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:3.0in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l1:level7
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:3.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l1:level8
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:4.0in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l1:level9
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:4.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal">I suggest you check that ‘multicast’ is working on the management network.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">You can configure the system to only ‘alarm’ rather than ‘fail’ for ‘maintenance heartbeat loss’ while you debug.<o:p></o:p></p>
<p class="MsoNormal">Doing so (below) through service parameter should allow the host to enable.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">[sysadmin@controller-0 ~(keystone_admin)]$ system service-parameter-modify platform maintenance heartbeat_failure_action=<span style="background:yellow;mso-highlight:yellow">alarm</span><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">+-------------+--------------------------------------+<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">| Property    | Value                                |<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">+-------------+--------------------------------------+<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">| uuid        | ee4af4b8-11f2-4638-9f20-11b13db837d4 |<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">| service     | platform                             |<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">| section     | maintenance                          |<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">| name        | heartbeat_failure_action             |<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">| value       | alarm                                |<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">| personality | None                                 |<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">| resource    | None                                 |<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">+-------------+--------------------------------------+<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">[sysadmin@controller-0 ~(keystone_admin)]$ system service-parameter-apply platform<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">Applying platform service parameters<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Now lock and unlock the failing hosts<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">The switch back to ‘fail’ action once you have the issue resolved.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Eric<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Gaur, Shubham <Shubham.Gaur@commscope.com> <br>
<b>Sent:</b> Thursday, November 5, 2020 12:01 PM<br>
<b>To:</b> starlingx-discuss@lists.starlingx.io<br>
<b>Subject:</b> [Starlingx-discuss] [QUERY] Worker nodes in reboot loop due to heartbeat miss as per hbsAgent.log<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div style="border:solid #9C6500 1.0pt;padding:2.0pt 2.0pt 2.0pt 2.0pt">
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;line-height:12.0pt;background:#FFEB9C">
<span style="font-size:10.0pt;color:red">[Please note this e-mail is from an EXTERNAL e-mail address]</span><o:p></o:p></p>
</div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<p><span style="font-size:12.0pt;color:black">Hi All,</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:12.0pt;color:black"> </span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:12.0pt;color:black">Setup:      Distributed StarlingX 4.0.
</span><span style="color:black"><o:p></o:p></span></p>
</div>
</div>
</div>
</div>
</div>
</div>
<div>
<div>
<div>
<div>
<div>
<div>
<p><span style="font-size:12.0pt;color:black">Problem: </span><span style="font-size:12.0pt;color:#BE5B17">Central cloud is up and running, but in the edge cloud we see the continuous reboot of worker nodes.
</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<ul style="margin-top:0in" type="disc">
<li class="MsoNormal" style="color:black;mso-list:l1 level1 lfo3;--darkreader-inline-color:#151717">
<span style="font-size:12.0pt">Edge cloud configuration: 1 Controller and 2 Worker.
</span><o:p></o:p></li><li class="MsoNormal" style="color:black;mso-list:l1 level1 lfo3;--darkreader-inline-color:#151717">
<span style="font-size:12.0pt">Attached logs of HBSAgent. (</span><i><span style="font-size:12.0pt;font-family:"Calibri Light",sans-serif">Couldn't find anything within puppet logs</span></i><span style="font-size:12.0pt">)</span><o:p></o:p></li><li class="MsoNormal" style="color:black;mso-list:l1 level1 lfo3;--darkreader-inline-color:#151717">
<span style="font-size:12.0pt">Tried locking-unlocking the worker nodes as per the alarm raised within fm alarm-list.
</span><o:p></o:p></li><li class="MsoNormal" style="color:black;mso-list:l1 level1 lfo3;--darkreader-inline-color:#151717">
<span style="font-size:12.0pt;color:#ED5C57">Couldn't resolve the issue.<br>
<br>
</span><o:p></o:p></li><li class="MsoNormal" style="color:black;mso-list:l1 level1 lfo3;--darkreader-inline-color:#151717">
<span style="font-size:12.0pt;color:#174E86">Is there any other logs to look after?</span><span style="font-size:12.0pt"> </span><span style="font-size:12.0pt;color:#174E86">Help required!</span><o:p></o:p></li></ul>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;color:#CCCCCC">──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────</span><span style="color:black"><o:p></o:p></span></p>
</div>
</div>
<div>
<p><span style="font-size:12.0pt;color:black"> </span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><b><span style="font-size:16.0pt;font-family:"Courier New";color:black">FM Alarm-List</span></b><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:black">​</span><span style="font-size:9.0pt;font-family:Consolas;color:#333333">+----------+-------------------------------------------------------------------------+------------------------------+----------+---------------+</span><span style="color:black"><o:p></o:p></span></p>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">| Alarm ID | Reason Text                                                             | Entity ID                    | Severity | Time Stamp    |</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">+----------+-------------------------------------------------------------------------+------------------------------+----------+---------------+</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">| 200.004  | worker-1 experienced a service-affecting failure. Auto-recovery in      | host=worker-1                | critical | 2020-11-05T14 |</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">|          | progress. Manual Lock and Unlock may be required if auto-recovery is    |                              |          | :15:55.127546 |</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">|          | unsuccessful.                                                           |                              |          |               |</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">|          |                                                                         |                              |          |               |</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">| 200.005  | worker-1 experienced a persistent critical 'Management Network'         | host=worker-1.network=       | critical | 2020-11-05T14 |</span><span style="color:black"><o:p></o:p></span></p>
</div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">|          | communication failure.                                                  | Management                   |          | :15:45.610330 |</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">+------------------------------------------------------------------------------------+------------------------------+----------+---------------+</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:12.0pt;color:black"> </span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:12.0pt;color:#CCCCCC">──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:12.0pt;color:black"> </span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><b><span style="font-size:16.0pt;font-family:"Courier New";color:black">WORKER 1</span></b><span style="font-size:12.0pt;color:black">
</span><span style="color:black"><o:p></o:p></span></p>
<div>
<p><span style="font-size:14.0pt;font-family:"Courier New";color:black">---------After Unlock-------</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">worker-1:~$ uptime</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333"> 09:41:11 up 4 min,  1 user,  load average: 0.75, 1.07, 0.52</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:12.0pt;color:black"> </span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">worker-1:~$ tail -f /var/log/hbsClient.log</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:31.754 [31382.00028] worker-1 hbsClient --- daemon_main.cpp   ( 434) main                    : Info : Build Date  : Thu Jul  2 16:51:50 UTC 2020</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:31.754 [31382.00029] worker-1 hbsClient --- daemon_main.cpp   ( 435) main                    : Info : ------------------------------------------------------</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:31.754 [31382.00030] worker-1 hbsClient --- nlEvent.cpp       ( 291) open_netlink_socket     : Info : NLMon Groups: 1</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:31.754 [31382.00031] worker-1 hbsClient hbs hbsClient.cpp     (1349) daemon_service_run      : Info : Pmon Pulse Counter Timer init with 600 seconds timeout</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:31.754 [31382.00032] worker-1 hbsClient hbs hbsClient.cpp     (1353) daemon_service_run      : Info : Process Stall-Monitor starting in 600 seconds</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:31.754 [31382.00033] worker-1 hbsClient hbs hbsClient.cpp     (1356) daemon_service_run      : Info : Ready Event Period 5 seconds</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:31.754 [31382.00034] worker-1 hbsClient hbs hbsClient.cpp     (1359) daemon_service_run      : Info : Sending Heartbeat Ready Event</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:31.783 [31382.00035] worker-1 hbsClient hbs hbsClient.cpp     ( 913) _service_pulse_request  : Info : Caching New RRI: 3 (from controller-0)</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:31.783 [31382.00036] worker-1 hbsClient hbs hbsClient.cpp     (1045) _service_pulse_request  : Warn : controller-0 Mgmnt proividing no cluster history</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:36.514 [31382.00037] worker-1 hbsClient hbs hbsClient.cpp     (1037) _service_pulse_request  : Info : controller-0 Mgmnt providing cluster history</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">...</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">...</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00038] worker-1 hbsClient sig daemon_signal.cpp ( 172) daemon_signal_hdlr      : Info : Received SIGTERM</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00039] worker-1 hbsClient --- daemon_config.cpp ( 301) daemon_dump_cfg         : Info : Configuration Settings ...</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00040] worker-1 hbsClient --- daemon_config.cpp ( 302) daemon_dump_cfg         : Info : scheduling_priority   = 99</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00041] worker-1 hbsClient --- daemon_config.cpp ( 314) daemon_dump_cfg         : Info : mgmnt_iface           = vlan143</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00042] worker-1 hbsClient --- daemon_config.cpp ( 315) daemon_dump_cfg         : Info : clstr_iface           = vlan143</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00043] worker-1 hbsClient --- daemon_config.cpp ( 316) daemon_dump_cfg         : Info : multicast             = 239.1.1.2</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00044] worker-1 hbsClient --- daemon_config.cpp ( 327) daemon_dump_cfg         : Info : uri_path              =</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00045] worker-1 hbsClient --- daemon_config.cpp ( 328) daemon_dump_cfg         : Info : keystone_prefix_path  =</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00046] worker-1 hbsClient --- daemon_config.cpp ( 329) daemon_dump_cfg         : Info : keystone_auth_host    =</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00047] worker-1 hbsClient --- daemon_config.cpp ( 330) daemon_dump_cfg         : Info : keystone_identity_uri =</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00048] worker-1 hbsClient --- daemon_config.cpp ( 331) daemon_dump_cfg         : Info : keystone_auth_uri     =</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00049] worker-1 hbsClient --- daemon_config.cpp ( 336) daemon_dump_cfg         : Info : keystone_region_name  = none</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00050] worker-1 hbsClient --- daemon_config.cpp ( 338) daemon_dump_cfg         : Info : barbican_api_host     = none</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00051] worker-1 hbsClient --- daemon_config.cpp ( 340) daemon_dump_cfg         : Info : mtc_rx_mgmnt_port     = 2101</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00052] worker-1 hbsClient --- daemon_config.cpp ( 358) daemon_dump_cfg         : Info : pmon_pulse_port       = 2109</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00053] worker-1 hbsClient --- daemon_config.cpp ( 362) daemon_dump_cfg         : Info : start_delay           = 600</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00054] worker-1 hbsClient --- daemon_config.cpp ( 366) daemon_dump_cfg         : Info : mask                  = 1180003c</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00055] worker-1 hbsClient --- daemon_config.cpp ( 367) daemon_dump_cfg         : Info : mode                  = none</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00056] worker-1 hbsClient --- daemon_config.cpp ( 370) daemon_dump_cfg         : Info : stall_pmon_thld       = 1250</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00057] worker-1 hbsClient --- daemon_config.cpp ( 371) daemon_dump_cfg         : Info : stall_mon_period      = 120</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00058] worker-1 hbsClient --- daemon_config.cpp ( 372) daemon_dump_cfg         : Info : stall_poll_period     = 20</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00059] worker-1 hbsClient --- daemon_config.cpp ( 373) daemon_dump_cfg         : Info : stall_rec_thld        = 2</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00060] worker-1 hbsClient --- daemon_config.cpp ( 404) daemon_dump_cfg         : Info : debug_filter          = none</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 [31382.00061] worker-1 hbsClient --- daemon_config.cpp ( 405) daemon_dump_cfg         : Info : debug_event           = none</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 -----------------------------------------------------------------------------------------</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 Service State and Traceback -------------------------------------------------------------</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">2020-11-05T09:43:07.144 -----------------------------------------------------------------------------------------</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">packet_write_wait: Connection to 192.168.22.105 port 22: Broken pipe</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:12.0pt;color:black"> </span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">Session stopped</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">    - Press <return> to exit tab</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">    - Press R to restart session</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:10.0pt;font-family:Consolas;color:#333333">    - Press S to save terminal output to file</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:12.0pt;color:black"> </span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:12.0pt;color:#CCCCCC">───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────</span><span style="color:black"><o:p></o:p></span></p>
</div>
<p><span style="font-size:12.0pt;color:black"> </span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><b><span style="font-size:16.0pt;font-family:"Courier New";color:black">CONTROLLER-0: SYSTEM: edge</span></b><span style="color:black"><o:p></o:p></span></p>
<div>
<p><span style="font-size:12.0pt;color:black"> </span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:14.0pt;font-family:"Courier New";color:black">------Before Unlocking Worker-----</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">[root@controller-0 log(keystone_admin)]# tail -f /var/log/hbsAgent.log</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T08:19:12.739 +--------------+-----+-------+-------+-------+-------+------------+----------+-----------------+</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:19:12.739 +--------------+-----+-------+-------+-------+-------+------------+----------+-----------------+</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:19:12.739 | Mgmnt:    3  | Mon |  Mis  |  Max  |  Deg  | Fail  | Pulses Tot |  Pulses  | Enabled  ( 100) |</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:19:12.739 +--------------+-----+-------+-------+-------+-------+------------+----------+-----------------+</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:19:12.739 | controller-0 |  n  |     0 |     0 |     0 |     0 |          0 |        0 | 100 msec</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:19:12.739 | worker-0     |  n  |     0 |     0 |    12 |    12 |       1d2c |       31 | 100 msec</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:19:12.739 | worker-1     |  n  |     0 |     0 |     8 |     8 |       1750 |      42f | 100 msec</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:19:12.739 +--------------+-----+-------+-------+-------+-------+------------+----------+-----------------+</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:33:29.862 [85778.00574] controller-0 hbsAgent hbs nodeClass.cpp     (7761) mon_host                : Info : worker-1 heartbeat stop</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:33:29.862 [85778.00575] controller-0 hbsAgent hbs hbsAgent.cpp      (2004) daemon_service_run      : Info : worker-1 heartbeat service disabled by stop command</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:12.0pt;color:black"> </span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:14.0pt;font-family:"Courier New";color:black">------After Unlocking Worker-----</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">[root@controller-0 log(keystone_admin)]# tail -f /var/log/hbsAgent.log</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:33:29.862 [85778.00574] controller-0 hbsAgent hbs nodeClass.cpp     (7761) mon_host                : Info : worker-1 heartbeat stop</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:33:29.862 [85778.00575] controller-0 hbsAgent hbs hbsAgent.cpp      (2004) daemon_service_run      : Info : worker-1 heartbeat service disabled by stop command</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:36.442 [85778.00576] controller-0 hbsAgent hbs hbsCluster.cpp    ( 265) hbs_cluster_add         : Info : worker-1 added to cluster</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:36.442 [85778.00577] controller-0 hbsAgent hbs hbsCluster.cpp    ( 201) cluster_list            : Info : cluster: worker-1</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:36.442 [85778.00578] controller-0 hbsAgent hbs nodeClass.cpp     (7749) mon_host                : Info : worker-1 heartbeat start</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:36.539 [85778.00579] controller-0 hbsAgent hbs hbsCluster.cpp    ( 453) hbs_cluster_update      : Info : controller-0 added new controller-0:Mgmnt history to vault ; now have
 1 network views</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:36.544 [85778.00580] controller-0 hbsAgent hbs hbsCluster.cpp    ( 631) hbs_cluster_send        : Info : cluster state notification Reason: worker-1 Mgmnt heartbeat start</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:36.544 Cluster Vault : C0 Mgmnt  [1:1]>[0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0]</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:37.490 [85778.00581] controller-0 hbsAgent hbs hbsCluster.cpp    ( 631) hbs_cluster_send        : Info : cluster state notification Reason: worker-1 Mgmnt heartbeat pass</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:38:37.490 Cluster Vault : C0 Mgmnt  [1:1] [1:1] [1:1] [1:1] [1:1] [1:1] [1:1] [1:1] [1:1] [1:1]>[0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0] [0:0]</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:51.607 [85778.00582] controller-0 hbsAgent hbs nodeClass.cpp     (8593) lost_pulses             : Info : worker-1 Mgmnt Pulse Miss (  2) (max:  1)</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:51.713 [85778.00583] controller-0 hbsAgent hbs nodeClass.cpp     (8593) lost_pulses             : Info : worker-1 Mgmnt Pulse Miss (  3) (max:  2)</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:51.818 [85778.00584] controller-0 hbsAgent hbs nodeClass.cpp     (8593) lost_pulses             : Info : worker-1 Mgmnt Pulse Miss (  4) (max:  3)</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:51.818 [85778.00585] controller-0 hbsAgent hbs nodeClass.cpp     (8616) lost_pulses             : Warn : worker-1 Mgmnt -> MINOR</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:51.923 [85778.00586] controller-0 hbsAgent hbs nodeClass.cpp     (8586) lost_pulses             : Info : worker-1 Mgmnt Pulse Miss (  5) (max:  4) (in minor)</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.028 [85778.00587] controller-0 hbsAgent hbs nodeClass.cpp     (8586) lost_pulses             : Info : worker-1 Mgmnt Pulse Miss (  6) (max:  5) (in minor)</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.028 [85778.00588] controller-0 hbsAgent alm alarm.cpp         ( 146) alarm_                  : Info : worker-1 Management set major 200.005</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.028 [85778.00589] controller-0 hbsAgent hbs nodeClass.cpp     (8635) lost_pulses             : Warn : worker-1 Mgmnt -> DEGRADED</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.133 [85778.00590] controller-0 hbsAgent hbs nodeClass.cpp     (8579) lost_pulses             : Info : worker-1 Mgmnt Pulse Miss (  7) (max:  6) (in degrade)</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.238 [85778.00591] controller-0 hbsAgent hbs nodeClass.cpp     (8579) lost_pulses             : Info : worker-1 Mgmnt Pulse Miss (  8) (max:  7) (in degrade)</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.343 [85778.00592] controller-0 hbsAgent hbs nodeClass.cpp     (8579) lost_pulses             : Info : worker-1 Mgmnt Pulse Miss (  9) (max:  8) (in degrade)</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.448 [85778.00593] controller-0 hbsAgent hbs nodeClass.cpp     (8562) lost_pulses             : Info : worker-1 Mgmnt Pulse Miss (10) (log throttled to every 4095)</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.448 [85778.00594] controller-0 hbsAgent hbs nodeClass.cpp     (8705) lost_pulses             :Error : worker-1 Mgmnt *** Heartbeat Loss ***</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.448 [85778.00595] controller-0 hbsAgent alm alarm.cpp         ( 146) alarm_                  : Info : worker-1 Management set critical 200.005</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.448 controller-0 view from controller-0 event Mgmnt: 1:1 . . . . . . . . . . 1:0 . . . . . . . .</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.448 [85778.00596] controller-0 hbsAgent hbs hbsCluster.cpp    ( 631) hbs_cluster_send        : Info : cluster state notification Reason: worker-1 heartbeat loss</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.448 Cluster Vault : C0 Mgmnt  [1:1] [1:1] [1:1] [1:1] [1:1] [1:1] [1:0] [1:0] [1:0] [1:0] [1:0] [1:0] [1:0] [1:0] [1:0]>[1:1] [1:1] [1:1] [1:1] [1:1]</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.449 [85778.00597] controller-0 hbsAgent hbs nodeClass.cpp     (7761) mon_host                : Info : worker-1 heartbeat stop</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.449 [85778.00598] controller-0 hbsAgent hbs hbsCluster.cpp    ( 329) hbs_cluster_del         : Info : worker-1 deleted from cluster</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.449 [85778.00599] controller-0 hbsAgent hbs hbsCluster.cpp    ( 201) cluster_list            : Info : cluster:</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.449 [85778.00600] controller-0 hbsAgent hbs hbsCluster.cpp    ( 631) hbs_cluster_send        : Info : cluster state notification Reason: worker-1 deleted</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:9.0pt;font-family:Consolas;color:#333333">2020-11-05T09:42:52.449 [85778.00601] controller-0 hbsAgent hbs hbsAgent.cpp      (2004) daemon_service_run      : Info : worker-1 heartbeat service disabled by stop command</span><span style="color:black"><o:p></o:p></span></p>
</div>
</div>
<div>
<p><span style="font-size:12.0pt;color:black"> </span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:12.0pt;color:black">Thanks and regards,</span><span style="color:black"><o:p></o:p></span></p>
</div>
<div>
<p><span style="font-size:12.0pt;color:black">Shubham</span><span style="color:black"><o:p></o:p></span></p>
</div>
</div>
</div>
</div>
</div>
</div>
<p class="MsoNormal"><span style="font-size:12.0pt;color:black"><o:p> </o:p></span></p>
</div>
</div>
</div>
</body>
</html>