<div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><div style="margin: 0;">Hi, Austin:</div><div style="margin: 0;"><br></div><div>According to your suggestion, I ran the command <span style="font-family: Calibri, sans-serif; font-size: 14.6667px; color: rgb(0, 0, 0);"><b>¡°kubectl describe po -n kube-system $(kubectl get po -n kube-system | grep ic-nginx-ingress | awk '{print $1}')"</b></span>, and the failed image are <b>calico/kube-controllers:v3.12.0 </b>and<b> </b><b>registry.local:9001/k8s.gcr.io/coredns:1.6.7. </b>What should I do now to solve this problem£¿</div><div><br></div><div><br></div><div>Following is the error message in the returned result£º</div><div><div>Events:</div><div>  Type     Reason            Age                From                   Message</div><div>  ----     ------            ----               ----                   -------</div><div>  Warning  FailedScheduling  22m (x3 over 22m)  default-scheduler      0/1 nodes are available: 1 node(s) had taint {node.kubernetes.io/not-ready: }, that the pod didn't tolerate.</div><div>  Normal   Scheduled         22m                default-scheduler      Successfully assigned kube-system/calico-kube-controllers-5cd4695574-8nmcj to controller-0</div><div>  Normal   Pulled            22m                kubelet, controller-0  Container image "<b>registry.local:9001/quay.io/calico/kube-controllers:v3.12.0</b>" already present on machine</div><div>  Normal   Created           22m                kubelet, controller-0  Created container calico-kube-controllers</div><div>  Normal   Started           22m                kubelet, controller-0  Started container calico-kube-controllers</div></div><div><br></div><div><div>Events:</div><div>  Type     Reason            Age                 From               Message</div><div>  ----     ------            ----                ----               -------</div><div>  Warning  FailedScheduling  22m (x3 over 22m)   default-scheduler  0/1 nodes are available: 1 node(s) had taint {node.kubernetes.io/not-ready: }, that the pod didn't tolerate.</div><div>  Warning  FailedScheduling  83s (x17 over 22m)  default-scheduler  0/1 nodes are available: 1 node(s) didn't match pod affinity/anti-affinity, 1 node(s) didn't satisfy existing pods anti-affinity rules.</div></div><div><br></div><div><div>Events:</div><div>  Type     Reason            Age                From                   Message</div><div>  ----     ------            ----               ----                   -------</div><div>  Warning  FailedScheduling  22m (x3 over 22m)  default-scheduler      0/1 nodes are available: 1 node(s) had taint {node.kubernetes.io/not-ready: }, that the pod didn't tolerate.</div><div>  Normal   Scheduled         22m                default-scheduler      Successfully assigned kube-system/coredns-78d9fd7cb9-r289w to controller-0</div><div>  Normal   Pulled            22m                kubelet, controller-0  Container image "<b>registry.local:9001/k8s.gcr.io/coredns:1.6.7</b>" already present on machine</div><div>  Normal   Created           22m                kubelet, controller-0  Created container coredns</div><div>  Normal   Started           22m                kubelet, controller-0  Started container coredns</div></div><div><p class="MsoNormal"><span style="font-size: 10.5pt; font-family: Arial, sans-serif;">===============================================================<o:p></o:p></span></p></div><div><p><i><span style="font-size: 10.5pt; font-family: Arial, sans-serif;">Best regards with you,</span></i><span style="font-size: 10.5pt; font-family: Arial, sans-serif;"><o:p></o:p></span></p><p><i><span style="font-size: 10.5pt; font-family: Arial, sans-serif;">Longqian</span></i></p></div><p style="margin: 0;"><br></p><p style="margin: 0;"><br></p><p>At 2021-04-20 20:59:43, "Sun, Austin" <austin.sun@intel.com> wrote:</p><blockquote id="isReplyContent" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid">



<style></style>


<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">Hi Longqian:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">      Would you like check ¡°kubectl describe po -n kube-system $(kubectl get po -n kube-system | grep ic-nginx-ingress | awk '{print $1}')" Result ?
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">Is it because docker images pull failure or other issue ?<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">BR<br>
Austin Sun. <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"><o:p> </o:p></span></p>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"> Longqian Zhao <zhaolongqian456@163.com>
<br>
<b>Sent:</b> Tuesday, April 20, 2021 7:01 PM<br>
<b>To:</b> starlingx-discuss@lists.starlingx.io; allain.legacy@windriver.com; thorsten.steuer@acdp.at<br>
<b>Subject:</b> [Starlingx-discuss] Bootstrap controller-0 failed as task [bootstrap/bringup-bootstrap-applications] failed<o:p></o:p></span></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">Hi,<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black"><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">I according to <a href="https://docs.starlingx.io/deploy_install_guides/r4_release/virtual/controller_storage_install_kubernetes.html"><span style="color:#064977">https://docs.starlingx.io/deploy_install_guides/r4_release/virtual/controller_storage_install_kubernetes.html</span></a>,
 task [bootstrap/bringup-bootstrap-applications : Wait until application is in the applied state] failed. Could you please help me? Thanks.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">=====================================<o:p></o:p></span></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">My Environment:<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">1. I install StarlingX in Virtual Environment.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">2. StarlingX version: R4.0<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">3. stx-tools: master<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">4. docker.elastic.co network delay: about 230ms (using ping docker.elastic.co)<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">5. Steps:<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">             a. Set system password succesfully.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">             b. Run following script in console:<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                        export CONTROLLER0_OAM_CIDR=10.10.10.3/24<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                        export DEFAULT_OAM_GATEWAY=10.10.10.1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                        sudo ip address add $CONTROLLER0_OAM_CIDR dev eth1000<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                        sudo ip link set up dev eth1000<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                        sudo ip route add default via $DEFAULT_OAM_GATEWAY dev eth1000<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">             c. cp /usr/share/ansible/stx-ansible/playbooks/host_vars/bootstrap/default.yml $HOME/localhost.yml<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">             d. I submit the required image to Huawei Container Image Service in advance. For details, please refer to the following link: You can refer to the URL: <a href="https://www.huaweicloud.com/product/swr.html">https://www.huaweicloud.com/product/swr.html</a><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">             e. modify and add following informations in $HOME/localhost.yml:<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                        system_mode: duplex<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                        external_oam_node_0_address: 10.10.10.3<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                        external_oam_node_1_address: 10.10.10.4<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                        admin_password: Password123$%^<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                        ansible_become_pass: Password123$%^<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                        docker_registries:<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                            k8s.gcr.io:<o:p></o:p></span></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                            gcr.io:<o:p></o:p></span></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                            quay.io:<o:p></o:p></span></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                            docker.io:<o:p></o:p></span></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                            docker.elastic.co:<o:p></o:p></span></p>
</div>
</div>
</div>
</div>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                            defaults:<o:p></o:p></span></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                                   url: You can refer to the URL: <a href="https://www.huaweicloud.com/product/swr.html">https://www.huaweicloud.com/product/swr.html</a><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                                   username: You can refer to the URL: <a href="https://www.huaweicloud.com/product/swr.html">https://www.huaweicloud.com/product/swr.html</a><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                                   password: You can refer to the URL: <a href="https://www.huaweicloud.com/product/swr.html">https://www.huaweicloud.com/product/swr.html</a><o:p></o:p></span></p>
</div>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">             f. ansible-playbook /usr/share/ansible/stx-ansible/playbooks/bootstrap.yml<o:p></o:p></span></p>
</div>
<div>
<ul type="disc">
<ul type="circle">
<ul type="square">
<li class="MsoNormal" style="color:black;mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;mso-list:l0 level3 lfo1">
<span style="font-size:10.5pt;font-family:"Arial",sans-serif"> All images downloaded and pushed to the local registry in 1191.2941618 seconds<o:p></o:p></span></li><li class="MsoNormal" style="color:black;mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;mso-list:l0 level3 lfo1">
<span style="font-size:10.5pt;font-family:"Arial",sans-serif">Some steps were successfully executed<o:p></o:p></span></li><li class="MsoNormal" style="color:black;mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;mso-list:l0 level3 lfo1">
<span style="font-size:10.5pt;font-family:"Arial",sans-serif">TASK [bootstrap/bringup-bootstrap-applications : Wait until application is in the uploaded state] ***<o:p></o:p></span></li></ul>
</ul>
</ul>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                               FAILED - RETRYING: Wait until application is in the uploaded state (3 retries left).<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                               changed: [localhost]<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                               TASK [bootstrap/bringup-bootstrap-applications : Apply overrides for application] ***<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                               TASK [bootstrap/bringup-bootstrap-applications : Apply application] ************<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                               changed: [localhost]<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                               TASK [bootstrap/bringup-bootstrap-applications : Wait until application is in the applied state] ***<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                               FAILED - RETRYING: Wait until application is in the applied state (30 retries left).<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                               ....<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                               fatal: [localhost]: FAILED! => {"attempts": 30, "changed": true, "cmd": "source /etc/platform/openrc; system application-show nginx-ingress-controller
 --column status --format value", "delta": "0:00:01.670146", "end": "2021-04-20 09:03:21.549258", "rc": 0, "start": "2021-04-20 09:03:19.879112", "stderr": "", "stderr_lines": [], "stdout": "apply-failed", "stdout_lines": ["apply-failed"]}<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                               PLAY RECAP *********************************************************************<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">                               localhost                  : ok=330  changed=167  unreachable=0    failed=1<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black"><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">Issues:<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">1. FAILED - RETRYING: Wait until application is in the uploaded state (3 retries left). and TASK [bootstrap/bringup-bootstrap-applications : Wait until application
 is in the applied state]<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">2. Do I have to set up proxy for docker to solve this problem</span><span lang="ZH-CN" style="font-size:10.5pt;color:black">£¿</span><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black"><o:p></o:p></span></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">===============================================================<o:p></o:p></span></p>
</div>
<div>
<p><i><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">Best regards with you,</span></i><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black"><o:p></o:p></span></p>
<p><i><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black">Longqian</span></i><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black"><o:p></o:p></span></p>
</div>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black"><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black"><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black"><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Arial",sans-serif;color:black"><o:p> </o:p></span></p>
</div>
</div>
</div>
</div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><o:p> </o:p></p>
<p> <o:p></o:p></p>
</div>


</blockquote></div><br><br><span title="neteasefooter"><p> </p></span>