<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:x="urn:schemas-microsoft-com:office:excel" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0in;
        margin-right:0in;
        margin-bottom:0in;
        margin-left:.5in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:1270888566;
        mso-list-type:hybrid;
        mso-list-template-ids:1013579986 67698703 67698713 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l0:level1
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level2
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level3
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l0:level4
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level5
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level6
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l0:level7
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level8
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level9
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal">Hi,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">We are running the distributed cloud system, and maintain all the starlingx images in the private repository. The repository information is provided like this in the bootstrap.yml file of an edge.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">docker_registries:<o:p></o:p></p>
<p class="MsoNormal">  k8s.gcr.io:<o:p></o:p></p>
<p class="MsoNormal">    url: 10.222.22.1:30003/starlingx<o:p></o:p></p>
<p class="MsoNormal">  quay.io:<o:p></o:p></p>
<p class="MsoNormal">    url: 10.222.22.1:30003/starlingx<o:p></o:p></p>
<p class="MsoNormal"> docker.io:<o:p></o:p></p>
<p class="MsoNormal">    url: 10.222.22.1:30003/starlingx<o:p></o:p></p>
<p class="MsoNormal">  gcr.io:<o:p></o:p></p>
<p class="MsoNormal">    url: 10.222.22.1:30003/starlingx<o:p></o:p></p>
<p class="MsoNormal">  defaults:<o:p></o:p></p>
<p class="MsoNormal">    url: 10.222.22.1:30003/starlingx<o:p></o:p></p>
<p class="MsoNormal">    username: admin<o:p></o:p></p>
<p class="MsoNormal">    password: XXXXXXX<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal" style="background:#28404D"><span style="color:white">Image path in the repository: 
</span><span style="color:white"><a href="javascript:void(0)"><span style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#4AAED9;background:#28404D;text-decoration:none">starlingx/external_storage/rbd-provisioner</span></a>:</span><span style="font-size:10.0pt;font-family:"Arial",sans-serif;color:#ACBAC3">v2.1.1-k8s1.11<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">For some edges the rbd-provisioner image failed to downloads or failed to pushed to the local image repository but for some edge it is downloaded and pushed to the local repository. The image repository and registry configuration is common
 for all the edges. <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I am not able to understand and debug what is going wrong here. However if I modified the deployment of rbd-provisioner to use the image directly from external private repository. It is able to download the image.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Steps to update the deployment:<o:p></o:p></p>
<ol style="margin-top:0in" start="1" type="1">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level1 lfo1">kubectl edit deployment rbd-provisioner -n kube-system<o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level1 lfo1">update image: “registry.local:9001/quay.io/external_storage/rbd-provisioner:v2.1.1-k8s1.11” to “image: 10.222.22.1:30003/starlingx/external_storage/rbd-provisioner:v2.1.1-k8s1.11”<o:p></o:p></li></ol>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Image error:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">kube-system    rbd-provisioner-77bfb6dbb-z6dp8       0/1    
<span style="color:red;background:yellow;mso-highlight:yellow">ImagePullBackOff</span><span style="color:red">  
</span>0          20d<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Events:<o:p></o:p></p>
<p class="MsoNormal">  Type     Reason   Age                        From                   Message<o:p></o:p></p>
<p class="MsoNormal">  ----     ------   ----                       ----                   -------<o:p></o:p></p>
<p class="MsoNormal">  Normal   Pulling  15m (x1603 over 5d16h)     kubelet, controller-0  Pulling image "registry.local:9001/quay.io/external_storage/rbd-provisioner:v2.1.1-k8s1.11"<o:p></o:p></p>
<p class="MsoNormal">  Normal   BackOff  5m14s (x36129 over 5d16h)  kubelet, controller-0  Back-off pulling image "registry.local:9001/quay.io/external_storage/rbd-provisioner:v2.1.1-k8s1.11"<o:p></o:p></p>
<p class="MsoNormal">  Warning  Failed   16s (x36150 over 5d16h)    kubelet, controller-0  Error: ImagePullBackOff<o:p></o:p></p>
<p class="MsoNormal">controller-0:/$<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Any idea what is going wrong here and how to debug this issue?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks,<o:p></o:p></p>
<p class="MsoNormal">Ankush<o:p></o:p></p>
</div>
</body>
</html>