<div dir="ltr">Thank you very much Eric,<div><br></div><div>I also saw those lines, and I agree with that point.</div><div>Unfortunately, I'm not sure what to do to stabilize my management network.</div><div><br></div><div>Is that mean check physical NIC? Or, is there any command that makes network stable?</div><div><br></div><div>Thank you again,</div><div><br></div><div>BR,</div><div>Jaewook.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">2019년 3월 27일 (수) 오후 9:38, MacDonald, Eric <<a href="mailto:Eric.MacDonald@windriver.com">Eric.MacDonald@windriver.com</a>>님이 작성:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="EN-US">
<div class="gmail-m_3681485198774011564WordSection1">
<p class="MsoNormal">There appears to be something wrong with your multi-cast setup as the hbsAgent is not able to setup its pulse messaging socket for the management interface.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">hbsAgent.log – This log seems to have rotated due to successive socket resetup retries.<u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:5pt;font-family:"Courier New"">2019-03-27T10:33:55.984 [4194.3824110] controller-0 hbsAgent --- msgClass.cpp      (1033) msgClassTx              : Info : Creating controller-0 socket on port 2106 with address: 239.1.1.2<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:5pt;font-family:"Courier New"">2019-03-27T10:33:55.984 [4194.3824111] controller-0 hbsAgent --- msgClass.cpp      (1098) initSocket              :Error : Failed to bind socket to address (22:Invalid argument)<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:5pt;font-family:"Courier New"">2019-03-27T10:33:55.984 [4194.3824112] controller-0 hbsAgent hbs hbsAgent.cpp      ( 575) _setup_pulse_messaging  :Error :
<span style="background:yellow">Cannot open multicast transmit socket</span> - rc:34 (22:Invalid argument)<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:black">mtcAgent.log shows that your management interface is bouncing which is causing command failures.
<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:6pt;font-family:"Courier New";color:black">2019-03-22T16:57:19.449 [94960.00107] controller-0 mtcAgent hbs nodeClass.cpp     (4288) service_netlink_events  : Warn :</span><span style="font-size:6pt;font-family:Calibri,sans-serif;color:black">
</span><span style="font-size:6pt;font-family:"Courier New";color:black">Management link eno2 is down<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:6pt;font-family:"Courier New";color:black">2019-03-22T16:57:19.449 [94960.00108] controller-0 mtcAgent hbs nodeClass.cpp     (4301) service_netlink_events  : Warn : eno2 is down (oper:down)<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:6pt;font-family:"Courier New";color:black">2019-03-22T16:57:19.881 [94960.00109] controller-0 mtcAgent hbs nodeClass.cpp     (4324) service_netlink_events  : Warn : Management link eno2 is up<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:6pt;font-family:"Courier New";color:black">2019-03-22T16:57:20.261 [94960.00110] controller-0 mtcAgent hbs nodeClass.cpp     (4288) service_netlink_events  : Warn : Management link eno2 is down<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:6pt;font-family:"Courier New";color:black"><u></u> <u></u></span></p>
<p class="MsoNormal"><u><span style="font-size:11pt;font-family:Calibri,sans-serif;color:black">I suggest you stabilize your management network between the 2 controllers.<u></u><u></u></span></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:black"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:black">You can always look for Error or Warn logs in mtcAgent.log as indication of unexpected conditions.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:black">The logs are kept quite short and try to indicate the issue at hand. In this case eno2 is bouncing.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:black"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:black">Eric.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></p>
<div style="border-top:none;border-right:none;border-bottom:none;border-left:1.5pt solid blue;padding:0in 0in 0in 4pt">
<div>
<div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(181,196,223);padding:3pt 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10pt;font-family:Tahoma,sans-serif">From:</span></b><span style="font-size:10pt;font-family:Tahoma,sans-serif">
</span><span style="font-size:10pt;font-family:Gulim,sans-serif">오재욱</span><span style="font-size:10pt;font-family:Tahoma,sans-serif"> [mailto:<a href="mailto:kyle.oh95@gmail.com" target="_blank">kyle.oh95@gmail.com</a>]
<br>
<b>Sent:</b> Tuesday, March 26, 2019 10:03 PM<br>
<b>To:</b> MacDonald, Eric<br>
<b>Cc:</b> Hu, Yong; Sun, Austin; starlingx-discuss<br>
<b>Subject:</b> Re: [Starlingx-discuss] Fwd: [starlingx-discuss] [critical error after deployment] About "persistent critical 'Management Network'"<br>
<b>Importance:</b> High<u></u><u></u></span></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">Hello Eric,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">thanks for advice.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I commented my answer to your advices,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">0. <span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">Please check your network and maybe specifically its support for multicast messaging.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">-> Could you tell me how can I check that my network supports multicast messaging? Do I need function like 'omping'?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">1. <span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">If you lock controller-1 can you ping it from the active controller.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">-> Yes, I can ping to controller-1 from the active one, with controller-1's management ip (192.168.204.4), and controller-1's oam ip (10.10.10.4).<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">2. <span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">If you need further assistance please provide the active controller’s mtcAgent.log and hbsAgent.log files</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">-> I attached those files :)<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">3. <span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">You can always run ‘collect’ or ‘collect all’ on the active controller to get a  summary of the system state and use those logs for off system debug of your
 issue.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">-> Thanks, I totally didn't know about those commands!<u></u><u></u></p>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">2019<span style="font-family:Gulim,sans-serif">년</span> 3<span style="font-family:Gulim,sans-serif">월</span> 26<span style="font-family:Gulim,sans-serif">일</span> (<span style="font-family:Gulim,sans-serif">화</span>)
<span style="font-family:Gulim,sans-serif">오후</span> 10:45, MacDonald, Eric <<a href="mailto:Eric.MacDonald@windriver.com" target="_blank">Eric.MacDonald@windriver.com</a>><span style="font-family:Gulim,sans-serif">님이</span>
<span style="font-family:Gulim,sans-serif">작성</span>:<u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">That alarm is indication that Maintenance is failing Heartbeat over the Management network.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">Please check your network and maybe specifically its support for multicast messaging.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">If you lock controller-1 can you ping it from the active controller.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">If you need further assistance please provide the active controller’s mtcAgent.log and hbsAgent.log
 files</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">You can always run ‘collect’ or ‘collect all’ on the active controller to get a  summary of the system
 state and use those logs for off system debug of your issue.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">Eric MacDonald.</span><u></u><u></u></p>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</div>

</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><span style="color:rgb(0,0,0);font-family:Calibri;font-size:15px">================================================</span><br style="color:rgb(0,0,0);font-family:Calibri;font-size:15px"><b style="color:rgb(0,0,0);font-family:Calibri;font-size:15px">Jaewook Oh</b><span style="color:rgb(0,0,0);font-family:Calibri;font-size:15px"> (오재욱)</span><br style="color:rgb(0,0,0);font-family:Calibri;font-size:15px"><span style="color:rgb(0,0,0);font-family:Calibri;font-size:15px">IISTRC - Internet Infra System Technology Research Center</span><br style="color:rgb(0,0,0);font-family:Calibri;font-size:15px"><span style="color:rgb(0,0,0);font-family:Calibri;font-size:15px">369 Sangdo-ro, Dongjak-gu,</span><br style="color:rgb(0,0,0);font-family:Calibri;font-size:15px"><span style="color:rgb(0,0,0);font-family:Calibri;font-size:15px">06978, Seoul, Republic of Korea</span><br></div></div>