<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:SimSun;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:DengXian;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:"\@SimSun";
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:"\@DengXian";
        panose-1:2 1 6 0 3 1 1 1 1 1;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0in;
        margin-right:0in;
        margin-bottom:0in;
        margin-left:.5in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle19
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle20
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle21
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle22
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle23
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle24
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle25
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle26
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle27
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle28
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle29
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle31
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:475950123;
        mso-list-type:hybrid;
        mso-list-template-ids:-514298114 67698705 67698713 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l0:level1
        {mso-level-text:"%1\)";
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level2
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level3
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l0:level4
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level5
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level6
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l0:level7
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level8
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level9
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l1
        {mso-list-id:1772582829;
        mso-list-type:hybrid;
        mso-list-template-ids:-1782009160 67698705 67698713 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l1:level1
        {mso-level-text:"%1\)";
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l1:level2
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l1:level3
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l1:level4
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l1:level5
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l1:level6
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l1:level7
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l1:level8
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l1:level9
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l2
        {mso-list-id:1954628930;
        mso-list-type:hybrid;
        mso-list-template-ids:-514298114 67698705 67698713 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l2:level1
        {mso-level-text:"%1\)";
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l2:level2
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l2:level3
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l2:level4
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l2:level5
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l2:level6
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l2:level7
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l2:level8
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l2:level9
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal">Hi Brent<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks for your comment. This is my idea.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoListParagraph" style="margin-left:.25in;text-indent:-.25in;mso-list:l1 level1 lfo2">
<![if !supportLists]><span style="color:#1F497D"><span style="mso-list:Ignore">1)<span style="font:7.0pt "Times New Roman"">    
</span></span></span><![endif]><span style="color:#1F497D">We have to keep the existing ceph implementation to allow existing users to transition post stx.4.0. The existing implementation would then be removed in stx.5.0. Therefore I do not understand what
 you are proposing in point 1 below.<o:p></o:p></span></p>
<p class="MsoNormal">I already write an application, which is no submitted as wait for Scott could create a new project for me. The helm plugin for this application is
<a href="https://review.opendev.org/#/c/713084/">https://review.opendev.org/#/c/713084/</a>. 
<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal" style="margin-left:.5in">$ system application-list --nowrap<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">+---------------------+---------+-------------------------------+---------------+----------+-----------+<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">| application         | version | manifest name                 | manifest file | status   | progress  |<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">+---------------------+---------+-------------------------------+---------------+----------+-----------+<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">| oidc-auth-apps      | 1.0-0   | oidc-auth-manifest            | manifest.yaml | uploaded | completed |<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">| platform-integ-apps | 1.0-8   | platform-integration-manifest | manifest.yaml | uploaded | completed |<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">| rook-ceph-apps      | 1.0-1   | rook-ceph-manifest            | manifest.yaml | uploaded | completed |<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">+---------------------+---------+-------------------------------+---------------+----------+-----------+<o:p></o:p></p>
<p class="MsoNormal">               <o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">$ system  helm-override-update  rook-ceph-apps rook-ceph kube-system  --value storageValue.yaml<o:p></o:p></p>
<p class="MsoNormal">               $ system application-apply rook-ceph-apps<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">This is values yaml file, by which rook will provision /dev/sdd. This is newly deploy case.<o:p></o:p></p>
<p class="MsoNormal">cluster:<o:p></o:p></p>
<p class="MsoNormal">  storage:<o:p></o:p></p>
<p class="MsoNormal">    nodes:<o:p></o:p></p>
<p class="MsoNormal">    - devices:<o:p></o:p></p>
<p class="MsoNormal">      - config:<o:p></o:p></p>
<p class="MsoNormal">          journalSizeMB: 1024<o:p></o:p></p>
<p class="MsoNormal">          storeType: bluestore<o:p></o:p></p>
<p class="MsoNormal">        name: sdd<o:p></o:p></p>
<p class="MsoNormal">      name: controller-0<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">This is my current implementation for rook. <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoListParagraph" style="margin-left:.25in;text-indent:-.25in;mso-list:l1 level1 lfo2">
<![if !supportLists]><span style="color:#1F497D"><span style="mso-list:Ignore">2)<span style="font:7.0pt "Times New Roman"">    
</span></span></span><![endif]><span style="color:#1F497D">We did not want to couple the rook/ceph implementation to sysinv. Therefore why would we have it manage the volume groups for rook ?
<o:p></o:p></span></p>
<p class="MsoNormal" style="margin-left:.25in">1, rook ceph will create a ceph name prefixed volume group “ceph-xxxxx”<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.25in">    rook provision osd by ceph-volume, a new ceph provision tool to replace ceph-disk which is current starlingx deploy tool. Ceph-disk is depreciated, there is such log in /var/log/puppet, “<i>This tool is now
 deprecated in favor of ceph-volume</i>”<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.25in;text-indent:10.2pt">For provision by ceph-volume, it will look up any volume-group, prefixed with “ceph-xxxxx”, and pv to this volume group, and then create lv for ceph-osd<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.25in;text-indent:10.2pt">This rook created volume group will be filtered by setting in /etc/lvm/lvm.conf,  as it is not managed by sysinv.<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.25in">2, Without considering rook, as ceph-disk is depreciated, if puppet-ceph upgrade, it will also turn to use ceph-volume for ceph provision. There is also such issue, a volume group name prefixed with ceph created
 by ceph-volume.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">BR!<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">Martin, Chen<o:p></o:p></p>
<p class="MsoNormal">IOTG, Software Engineer<o:p></o:p></p>
<p class="MsoNormal">021-61164330<o:p></o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Rowsell, Brent <Brent.Rowsell@windriver.com> <br>
<b>Sent:</b> Monday, March 16, 2020 9:31 PM<br>
<b>To:</b> Chen, Haochuan Z <haochuan.z.chen@intel.com>; Miller, Frank <Frank.Miller@windriver.com>; 'starlingx-discuss@lists.starlingx.io' <starlingx-discuss@lists.starlingx.io>; Waines, Greg <Greg.Waines@windriver.com><br>
<b>Cc:</b> Chen, Tingjie <tingjie.chen@intel.com>; Sun, Austin <austin.sun@intel.com>; Qi, Mingyuan <mingyuan.qi@intel.com>; Church, Robert <Robert.Church@windriver.com><br>
<b>Subject:</b> RE: ceph containerization patch review<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="color:#1F497D">Martin,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">At the mid cycle meeting we established:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p> </o:p></span></p>
<ol style="margin-top:0in" start="1" type="1">
<li class="MsoListParagraph" style="color:#1F497D;margin-left:0in;mso-list:l2 level1 lfo4">
We have to keep the existing ceph implementation to allow existing users to transition post stx.4.0. The existing implementation would then be removed in stx.5.0. Therefore I do not understand what you are proposing in point 1 below.<o:p></o:p></li><li class="MsoListParagraph" style="color:#1F497D;margin-left:0in;mso-list:l2 level1 lfo4">
We did not want to couple the rook/ceph implementation to sysinv. Therefore why would we have it manage the volume groups for rook ?
<o:p></o:p></li></ol>
<p class="MsoListParagraph"><span style="color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Brent <o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p> </o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Chen, Haochuan Z [<a href="mailto:haochuan.z.chen@intel.com">mailto:haochuan.z.chen@intel.com</a>]
<br>
<b>Sent:</b> Thursday, March 12, 2020 8:06 PM<br>
<b>To:</b> Miller, Frank <<a href="mailto:Frank.Miller@windriver.com">Frank.Miller@windriver.com</a>>; 'starlingx-discuss@lists.starlingx.io' <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>>; Rowsell, Brent <<a href="mailto:Brent.Rowsell@windriver.com">Brent.Rowsell@windriver.com</a>>;
 Waines, Greg <<a href="mailto:Greg.Waines@windriver.com">Greg.Waines@windriver.com</a>><br>
<b>Cc:</b> Chen, Tingjie <<a href="mailto:tingjie.chen@intel.com">tingjie.chen@intel.com</a>>; Sun, Austin <<a href="mailto:austin.sun@intel.com">austin.sun@intel.com</a>>; Qi, Mingyuan <<a href="mailto:mingyuan.qi@intel.com">mingyuan.qi@intel.com</a>>; Church,
 Robert <<a href="mailto:Robert.Church@windriver.com">Robert.Church@windriver.com</a>><br>
<b>Subject:</b> ceph containerization patch review<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hi Brent & Frank<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I already finish my new application and helm plugin for rook-ceph. But still two concern to discuss.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">1, decouple ceph backend with sysinv. <o:p></o:p></p>
<p class="MsoNormal">   Now ceph backend has been removed as default storage backend. And I plan to add rook-ceph as another storage backend which user could enable by his provision.<o:p></o:p></p>
<p class="MsoNormal">   So what about decouple ceph backend with sysinv-conductor, which is beneficial for more storage backend enabling.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">2, change restriction for volume group creation in sysinv<o:p></o:p></p>
<p class="MsoNormal" style="text-indent:10.2pt">Currently sysinv has restriction for volume group creation, only permit create volume group with “nova-local”, “cinder-volumes”, “cgts-vg”.
<o:p></o:p></p>
<p class="MsoNormal" style="text-indent:10.2pt">What about remove this restriction? For containerized ceph cluster deployment, osd is provisioned by ceph-volume, which is based on logical volume. It will create a volume group, with “ceph” name prefixed.
<o:p></o:p></p>
<p class="MsoNormal" style="text-indent:10.2pt">I prefer this newly created volume group could also be managed by sysinv.<o:p></o:p></p>
<p class="MsoNormal" style="text-indent:10.2pt">Currenlty ceph cluster is deployed by ceph-disk in puppet-ceph. This tool is depreciated.
<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks!<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">Martin, Chen<o:p></o:p></p>
<p class="MsoNormal">IOTG, Software Engineer<o:p></o:p></p>
<p class="MsoNormal">021-61164330<o:p></o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Chen, Haochuan Z <br>
<b>Sent:</b> Friday, February 21, 2020 11:14 PM<br>
<b>To:</b> 'Miller, Frank' <<a href="mailto:Frank.Miller@windriver.com">Frank.Miller@windriver.com</a>>; 'starlingx-discuss@lists.starlingx.io' <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>>; 'Rowsell, Brent'
 <<a href="mailto:Brent.Rowsell@windriver.com">Brent.Rowsell@windriver.com</a>>; 'Greg.Waines@windriver.com' <<a href="mailto:Greg.Waines@windriver.com">Greg.Waines@windriver.com</a>><br>
<b>Cc:</b> Chen, Tingjie <<a href="mailto:tingjie.chen@intel.com">tingjie.chen@intel.com</a>>; Sun, Austin <<a href="mailto:austin.sun@intel.com">austin.sun@intel.com</a>>; Qi, Mingyuan <<a href="mailto:mingyuan.qi@intel.com">mingyuan.qi@intel.com</a>>; 'Church,
 Robert' <<a href="mailto:Robert.Church@windriver.com">Robert.Church@windriver.com</a>><br>
<b>Subject:</b> RE: ceph containerization patch review<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hi Frank & Bob & Greg & Brent<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">To deploy, it is same as any other helm chart. Wait for you opinion for current solution.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks!<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">Martin, Chen<o:p></o:p></p>
<p class="MsoNormal">IOTG, Software Engineer<o:p></o:p></p>
<p class="MsoNormal">021-61164330<o:p></o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Chen, Haochuan Z <br>
<b>Sent:</b> Wednesday, February 19, 2020 12:53 PM<br>
<b>To:</b> 'Miller, Frank' <<a href="mailto:Frank.Miller@windriver.com">Frank.Miller@windriver.com</a>>; 'starlingx-discuss@lists.starlingx.io' <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>>; Rowsell, Brent
 <<a href="mailto:Brent.Rowsell@windriver.com">Brent.Rowsell@windriver.com</a>>; 'Greg.Waines@windriver.com' <<a href="mailto:Greg.Waines@windriver.com">Greg.Waines@windriver.com</a>><br>
<b>Cc:</b> Chen, Tingjie <<a href="mailto:tingjie.chen@intel.com">tingjie.chen@intel.com</a>>; Sun, Austin <<a href="mailto:austin.sun@intel.com">austin.sun@intel.com</a>>; Qi, Mingyuan <<a href="mailto:mingyuan.qi@intel.com">mingyuan.qi@intel.com</a>>; Church,
 Robert <<a href="mailto:Robert.Church@windriver.com">Robert.Church@windriver.com</a>><br>
<b>Subject:</b> RE: ceph containerization patch review<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hi folks<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Answer the question, with only k8s, how to deploy rook.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">$ helm-upload stx-platform rook-ceph-0.1.0.tga<o:p></o:p></p>
<p class="MsoNormal">$ helm install stx-platform/rook-ceph -n rook-ceph-cluster -n kube-system -f value.yaml<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">BR!<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">Martin, Chen<o:p></o:p></p>
<p class="MsoNormal">IOTG, Software Engineer<o:p></o:p></p>
<p class="MsoNormal">021-61164330<o:p></o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Miller, Frank <<a href="mailto:Frank.Miller@windriver.com">Frank.Miller@windriver.com</a>>
<br>
<b>Sent:</b> Tuesday, February 18, 2020 10:06 PM<br>
<b>To:</b> Chen, Haochuan Z <<a href="mailto:haochuan.z.chen@intel.com">haochuan.z.chen@intel.com</a>>; 'starlingx-discuss@lists.starlingx.io' <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>>; Rowsell, Brent <<a href="mailto:Brent.Rowsell@windriver.com">Brent.Rowsell@windriver.com</a>><br>
<b>Cc:</b> Chen, Tingjie <<a href="mailto:tingjie.chen@intel.com">tingjie.chen@intel.com</a>>; Sun, Austin <<a href="mailto:austin.sun@intel.com">austin.sun@intel.com</a>>; Qi, Mingyuan <<a href="mailto:mingyuan.qi@intel.com">mingyuan.qi@intel.com</a>>; Church,
 Robert <<a href="mailto:Robert.Church@windriver.com">Robert.Church@windriver.com</a>><br>
<b>Subject:</b> RE: ceph containerization patch review<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="color:#1F497D">+Bob who is the containers TL<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p> </o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Chen, Haochuan Z [<a href="mailto:haochuan.z.chen@intel.com">mailto:haochuan.z.chen@intel.com</a>]
<br>
<b>Sent:</b> Monday, February 17, 2020 8:46 AM<br>
<b>To:</b> Miller, Frank <<a href="mailto:Frank.Miller@windriver.com">Frank.Miller@windriver.com</a>>; 'starlingx-discuss@lists.starlingx.io' <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>>; Rowsell, Brent <<a href="mailto:Brent.Rowsell@windriver.com">Brent.Rowsell@windriver.com</a>><br>
<b>Cc:</b> Chen, Tingjie <<a href="mailto:tingjie.chen@intel.com">tingjie.chen@intel.com</a>>; Sun, Austin <<a href="mailto:austin.sun@intel.com">austin.sun@intel.com</a>>; Qi, Mingyuan <<a href="mailto:mingyuan.qi@intel.com">mingyuan.qi@intel.com</a>><br>
<b>Subject:</b> RE: ceph containerization patch review<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hi Frank & Brent<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">For rook manage configuration, after introduce rook-ceph, current ceph cluster deployed by puppet will keep or be removed?<o:p></o:p></p>
<p class="MsoNormal">If removed, containerized ceph cluster deployed by rook-ceph will take the role of provisioner for stx-openstack.<o:p></o:p></p>
<p class="MsoNormal">If keeps, helm chart rbd-provisioner in platform-integ-app also keeps and takes the role of provisioner for stx-openstack. Containerized ceph cluster deployed by rook-ceph only serve as csi provider for k8s.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">BR!<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">Martin, Chen<o:p></o:p></p>
<p class="MsoNormal">IOTG, Software Engineer<o:p></o:p></p>
<p class="MsoNormal">021-61164330<o:p></o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Chen, Haochuan Z <br>
<b>Sent:</b> Monday, February 10, 2020 11:47 PM<br>
<b>To:</b> Miller, Frank <<a href="mailto:Frank.Miller@windriver.com">Frank.Miller@windriver.com</a>>; 'starlingx-discuss@lists.starlingx.io' <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>><br>
<b>Cc:</b> Chen, Tingjie <<a href="mailto:tingjie.chen@intel.com">tingjie.chen@intel.com</a>>; Sun, Austin <<a href="mailto:austin.sun@intel.com">austin.sun@intel.com</a>>; Qi, Mingyuan <<a href="mailto:mingyuan.qi@intel.com">mingyuan.qi@intel.com</a>><br>
<b>Subject:</b> RE: ceph containerization patch review<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hi Frank:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">As synced with Tingjie, this is my understanding for Rook manage the configuration instead of sysinv.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">1, Remove ceph config and status query from sysinv<o:p></o:p></p>
<p class="MsoNormal">2, create another tool, like rook-client to launch and provision ceph cluster<o:p></o:p></p>
<p class="MsoNormal">3, one helm plugin like rbd-provision, which depends on newly created tool<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">BR!<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">Martin, Chen<o:p></o:p></p>
<p class="MsoNormal">IOTG, Software Engineer<o:p></o:p></p>
<p class="MsoNormal">021-61164330<o:p></o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Miller, Frank <<a href="mailto:Frank.Miller@windriver.com">Frank.Miller@windriver.com</a>>
<br>
<b>Sent:</b> Saturday, February 8, 2020 4:16 AM<br>
<b>To:</b> Chen, Haochuan Z <<a href="mailto:haochuan.z.chen@intel.com">haochuan.z.chen@intel.com</a>>; 'starlingx-discuss@lists.starlingx.io' <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>><br>
<b>Subject:</b> RE: ceph containerization patch review<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="color:#1F497D">Martin:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Thanks for posting your reviews and the update on the current status for this feature. 
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">I was unable to attend the containerization meeting this week so wasn’t able to have Tingjie or you give an update on the open actions for the feature.  From the Jan 14 minutes [1] one of the actions is to determine
 “how can you have Rook do all the configuration and not have sysinv involved”<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">For now I suggest you add an additional item to your Tasks to do list to identify a design that does not require sysinv for the configuration and instead has Rook manage the configuration.  I would like to ask
 that we discuss further at the next containerization meeting and if possible review a proposal from yourself and Austin for this item.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Frank <o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">[1] </span><a href="https://etherpad.openstack.org/p/stx-containerization">https://etherpad.openstack.org/p/stx-containerization</a><span style="color:#1F497D"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p> </o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Chen, Haochuan Z [<a href="mailto:haochuan.z.chen@intel.com">mailto:haochuan.z.chen@intel.com</a>]
<br>
<b>Sent:</b> Thursday, February 06, 2020 11:02 PM<br>
<b>To:</b> 'starlingx-discuss@lists.starlingx.io' <<a href="mailto:starlingx-discuss@lists.starlingx.io">starlingx-discuss@lists.starlingx.io</a>><br>
<b>Subject:</b> [Starlingx-discuss] ceph containerization patch review<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hi folks<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I enabled containerized ceph cluster with simplex. You can begin to review my patch. I propose to build an image and deploy a simplex system with these patch to check.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><a href="https://review.opendev.org/#/c/681457/">https://review.opendev.org/#/c/681457/</a><o:p></o:p></p>
<p class="MsoNormal"><a href="https://review.opendev.org/#/c/687340/">https://review.opendev.org/#/c/687340/</a><o:p></o:p></p>
<p class="MsoNormal"><a href="https://review.opendev.org/#/c/706256/">https://review.opendev.org/#/c/706256/</a><o:p></o:p></p>
<p class="MsoNormal"><a href="https://review.opendev.org/#/c/699557/">https://review.opendev.org/#/c/699557/</a><o:p></o:p></p>
<p class="MsoNormal"><a href="https://review.opendev.org/#/c/699556/">https://review.opendev.org/#/c/699556/</a><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">And I know there is other story, like remove ceph as default backend storage, maybe some conflict, we can discuss together.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Tash Done:<o:p></o:p></p>
<p class="MsoNormal">1, disable native ceph cluster in ceph.pp<o:p></o:p></p>
<p class="MsoNormal">2, disable ceph daemon monitoring in service manager<o:p></o:p></p>
<p class="MsoNormal">3, add rook-ceph helm chart to launch ceph cluster<o:p></o:p></p>
<p class="MsoNormal">4, add override in stx-config to generate override with starlingx system config<o:p></o:p></p>
<p class="MsoNormal">5, sysinv add label in provision stage, to make containerized ceph mon and ceph mgr on designed host<o:p></o:p></p>
<p class="MsoNormal">6, add rook-ceph-provisioner helm chart to generate storage class, secret, config and pool for stx-application<o:p></o:p></p>
<p class="MsoNormal">7, enabled stx-openstack with containerized ceph<o:p></o:p></p>
<p class="MsoNormal">8, update ceph wrapper in stx-config to set or get containerized ceph cluster<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">All these tasks done is enabled with simplex only.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Task to do:<o:p></o:p></p>
<p class="MsoNormal">1,  enable add osd runtime, after system provisioned<o:p></o:p></p>
<p class="MsoNormal">2, fix know issue, if system reboot, ceph cluster launch fail
<o:p></o:p></p>
<p class="MsoNormal">3, enable bluestore and filestore, currently there is only bluestore<o:p></o:p></p>
<p class="MsoNormal">4, enable multi-node and duplex<o:p></o:p></p>
<p class="MsoNormal">5, enable swift with containerized ceph<o:p></o:p></p>
<p class="MsoNormal">6, enable fm alarm for containerized ceph<o:p></o:p></p>
<p class="MsoNormal">7, check backup and restore for containerized ceph<o:p></o:p></p>
<p class="MsoNormal">8, check system upgrade or how to transit from native ceph cluster to containerized ceph cluster<o:p></o:p></p>
<p class="MsoNormal">9, code cleanup<o:p></o:p></p>
<p class="MsoNormal">10, update unit test in stx-config<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">BR!<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Martin, Chen<o:p></o:p></p>
<p class="MsoNormal">IOTG, Software Engineer<o:p></o:p></p>
<p class="MsoNormal">021-61164330<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</body>
</html>