<html dir="ltr">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">
<style>
<!--
@font-face
        {font-family:"Cambria Math"}
@font-face
        {font-family:Calibri}
@font-face
        {font-family:"Intel Clear"}
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif}
a:link, span.MsoHyperlink
        {color:#0563C1;
        text-decoration:underline}
a:visited, span.MsoHyperlinkFollowed
        {color:#954F72;
        text-decoration:underline}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {margin-top:0in;
        margin-right:0in;
        margin-bottom:0in;
        margin-left:.5in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif}
span.EmailStyle17
        {font-family:"Intel Clear",sans-serif;
        color:windowtext}
span.EmailStyle18
        {font-family:"Calibri",sans-serif;
        color:#1F497D}
span.EmailStyle19
        {font-family:"Calibri",sans-serif;
        color:windowtext}
.MsoChpDefault
        {font-size:10.0pt}
@page WordSection1
        {margin:1.0in 1.0in 1.0in 1.0in}
ol
        {margin-bottom:0in}
ul
        {margin-bottom:0in}
-->
</style><style type="text/css" id="owaParaStyle">
<!--
p
        {margin-top:0;
        margin-bottom:0}
-->
P {margin-top:0;margin-bottom:0;}</style>
</head>
<body fpstyle="1" ocsi="0" vlink="#954F72" link="#0563C1" lang="EN-US">
<div style="direction: ltr;font-family: Tahoma;color: #000000;font-size: 10pt;">
<div style="direction:ltr; font-family:Tahoma; color:#000000; font-size:10pt">Hi Frank,
<br>
</div>
<div style="direction:ltr; font-family:Tahoma; color:#000000; font-size:10pt"><br>
</div>
<div style="direction:ltr; font-family:Tahoma; color:#000000; font-size:10pt">I looked at released notes put together by Tingjie and here are my notes:</div>
<div style="direction:ltr; font-family:Tahoma; color:#000000; font-size:10pt">
<ul style="font-family: Tahoma; font-size: 10pt;">
<li><i>Each OSD has a device class associated with it</i>.<i> </i>Documentation: <a href="https://ceph.com/community/new-luminous-crush-device-classes/ " target="_blank">
https://ceph.com/community/new-luminous-crush-device-classes/</a> . Notes:
<ul>
<li>Purpose: added to simplify OSD crush placement based on hardware properties reported by the kernel</li><li>We are currently using storage tiers to partition ceph storage pool access to faster or slower disks. When a new storage tier is created the entire crush tree hierarchy is cloned then OSDs can be attached to it. Pools are then configured to use the new
 crush tree root.</li><li>With Ceph Luminous there is no need to clone the entire crush tree when we want to create "faster" pools. The command to create a crush rule for a pool now supports a device-class parameter that can be used to filter OSDs based on their type: hdd, ssd or
 nvme.</li><li>If we are using multiple ceph tiers exclusively for partitioning OSDs based on their hardware characteristics then we can take advantage of the device-class feature but we also need to update the logic related to replication and storage node locking. OSDs
 of all classes will be anchored to one storage node whereas currently they are anchored to different crush trees. However there is no urgent reason to use the new feature now. We are already updating the crush map automatically and we can mix any kind of disks
 into a ceph tier (which is not possible when using device classes).</li></ul>
</li><li><i>Simplified OSD replacement procedure.</i> Documentation  <a href="http://docs.ceph.com/docs/mimic/rados/operations/add-or-rm-osds/#replacing-an-osd" target="_blank">
http://docs.ceph.com/docs/mimic/rados/operations/add-or-rm-osds/#replacing-an-osd</a> . Notes:
<ul>
<li> Replacement procedure is based entirely on "ceph-volume" utility that we are not currently using.</li><li> The replacement procedure is not documented in Ceph Jewel so I can't tell what's "simplified".</li><li> Currently, when replacing a storage disk:
<ul>
<li>if puppet finds on disk a Ceph cluster signature that's different from the current one then it fails and storage node fails to unlock</li><li>if the signature matches current Ceph cluster then the disk is used as is</li><li>otherwise the disk is setup to be an OSD: ceph-disk prepare, ceph-disk activate, etc.</li></ul>
</li><li>There is no reason to use the new OSD replacement procedure now.</li></ul>
</li><li><i>Pools are expected to be associated with the application using them.</i> Notes:<br>
<i></i>
<ul>
<li>We already hit this issue. Fixed by running pool application enable.</li></ul>
</li><li><i>Config options can now be centrally stored and managed by the monitor. </i>
Notes:<br>
<i></i>
<ul>
<li>Not sure how this helps. Configuration is already managed by sysinv and puppet.</li></ul>
</li><li><i>RGW now supports data compression for objects.</i> Notes:<br>
<ul>
<li>We may want to expose this configuration option via system service parameters
</li></ul>
</li></ul>
</div>
<div style="direction:ltr; font-family:Tahoma; color:#000000; font-size:10pt"><br>
</div>
<div style="direction:ltr; font-family:Tahoma; color:#000000; font-size:10pt"><br>
</div>
<div style="direction:ltr; font-family:Tahoma; color:#000000; font-size:10pt">Best regards,</div>
<div style="direction:ltr; font-family:Tahoma; color:#000000; font-size:10pt">Daniel B.<br>
<div style="font-family:Times New Roman; color:#000000; font-size:16px">
<hr tabindex="-1">
<div id="divRpF528644" style="direction:ltr"><font size="2" face="Tahoma" color="#000000"><b>From:</b> Miller, Frank<br>
<b>Sent:</b> Thursday, April 04, 2019 23:40<br>
<b>To:</b> Chen, Tingjie; Jones, Bruce E; Xie, Cindy; Poncea, Ovidiu; Badea, Daniel; Cabrales, Ada; Perez, Ricardo O; Hernandez Gonzalez, Fernando; Zhu, Vivian; Hu, Yong; Liu, Changcheng<br>
<b>Cc:</b> starlingx-discuss@lists.starlingx.io<br>
<b>Subject:</b> RE: Discussion about StarlingX release notes in CEPH upgrade<br>
</font><br>
</div>
<div></div>
<div>
<div class="WordSection1">
<p class="MsoNormal"><span style="color:#1F497D">Tingjie:</span></p>
<p class="MsoNormal"><span style="color:#1F497D"> </span></p>
<p class="MsoNormal"><span style="color:#1F497D">Thanks for putting this together as it gives a very good summary of the changes in the CEPH mimic version which is expected to merge in the near future into StarlingX.  This list will be a good reference for
 those who will be running TCs for the new CEPH version.  I have a couple of questions – would you be able to help me:</span></p>
<p class="MsoNormal"><span style="color:#1F497D"> </span></p>
<p class="MsoListParagraph" style="text-indent:-.25in"><span style="color:#1F497D"><span style="">1.<span style="font:7.0pt "Times New Roman"">      
</span></span></span><span style="color:#1F497D">One of the notes indicates “There is a simplified OSD replacement process that is more robust.”
</span></p>
<p class="MsoListParagraph" style="margin-left:1.0in; text-indent:-.25in"><span style="font-family:Symbol; color:#1F497D"><span style="">·<span style="font:7.0pt "Times New Roman"">        
</span></span></span><span style="color:#1F497D">Can you explain what these changes are? 
</span></p>
<p class="MsoListParagraph" style="margin-left:1.0in; text-indent:-.25in"><span style="font-family:Symbol; color:#1F497D"><span style="">·<span style="font:7.0pt "Times New Roman"">        
</span></span></span><span style="color:#1F497D">Will this result in any changes to the steps an operator takes to replace a CEPH disk?</span></p>
<p class="MsoListParagraph" style="text-indent:-.25in"><span style="color:#1F497D"><span style="">2.<span style="font:7.0pt "Times New Roman"">      
</span></span></span><span style="color:#1F497D">Another note indicates “Several sleep settings, include osd_recovery_sleep, osd_snap_trim_sleep, and osd_scrub_sleep have been reimplemented to work efficiently.”</span></p>
<p class="MsoListParagraph" style="margin-left:1.0in; text-indent:-.25in"><span style="font-family:Symbol; color:#1F497D"><span style="">·<span style="font:7.0pt "Times New Roman"">        
</span></span></span><span style="color:#1F497D">Can you share the settings used in StarlingX today with CEPH jewel as well as the planned settings that will be used in StarlingX with CEPH mimic.  Will any of these settings change value when CEPH mimic is merged
 into StarlingX?</span></p>
<p class="MsoListParagraph" style="text-indent:-.25in"><span style="color:#1F497D"><span style="">3.<span style="font:7.0pt "Times New Roman"">      
</span></span></span><span style="color:#1F497D">One more note indicates “CLI changes”</span></p>
<p class="MsoListParagraph" style="margin-left:1.0in; text-indent:-.25in"><span style="font-family:Symbol; color:#1F497D"><span style="">·<span style="font:7.0pt "Times New Roman"">        
</span></span></span><span style="color:#1F497D">Can you explain which CLIs have changed?</span></p>
<p class="MsoNormal"><span style="color:#1F497D"> </span></p>
<p class="MsoNormal"><span style="color:#1F497D"> </span></p>
<p class="MsoNormal"><span style="color:#1F497D">Frank</span></p>
<p class="MsoNormal"><a name="_MailEndCompose"><span style="color:#1F497D"> </span></a></p>
<div>
<div style="border:none; border-top:solid #E1E1E1 1.0pt; padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Chen, Tingjie [mailto:tingjie.chen@intel.com] <br>
<b>Sent:</b> Wednesday, April 03, 2019 11:44 PM<br>
<b>To:</b> Jones, Bruce E <bruce.e.jones@intel.com>; Xie, Cindy <cindy.xie@intel.com>; Poncea, Ovidiu <Ovidiu.Poncea@windriver.com>; Badea, Daniel <Daniel.Badea@windriver.com>; Cabrales, Ada <ada.cabrales@intel.com>; Perez, Ricardo O <ricardo.o.perez@intel.com>;
 Hernandez Gonzalez, Fernando <fernando.hernandez.gonzalez@intel.com>; Miller, Frank <Frank.Miller@windriver.com>; Zhu, Vivian <vivian.zhu@intel.com>; Hu, Yong <yong.hu@intel.com>; Liu, Changcheng <changcheng.liu@intel.com><br>
<b>Cc:</b> starlingx-discuss@lists.starlingx.io<br>
<b>Subject:</b> Discussion about StarlingX release notes in CEPH upgrade</p>
</div>
</div>
<p class="MsoNormal"> </p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif; color:#1F4E79">Hi,
</span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif; color:#1F4E79"> </span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif; color:#1F4E79">I have file release notes for Ceph upgrade mimic.</span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif; color:#1F4E79"><a href="https://etherpad.openstack.org/p/stx-ceph-uprev-mimic-release-notes" rel="noopener noreferrer" target="_blank"><span style="color:#1F4E79">https://etherpad.openstack.org/p/stx-ceph-uprev-mimic-release-notes</span></a>
</span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif; color:#1F4E79"> </span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif; color:#1F4E79">There are 2 parts,
</span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif; color:#1F4E79">First one is Major changes, this is official changes from 10.2.6 (Jewel) -> 13.2.2 (Mimic), there are many changes to the three major version updates.</span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif; color:#1F4E79">Second one is known issues in StarlingX, this may expand after validation and system test if have non-block issues.</span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif; color:#1F4E79"> </span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif; color:#1F4E79">Welcome to give your comments and concerns.</span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif"> </span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif">Thanks,</span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif">Tingjie</span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif"> </span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif">SSG OTC NST Storage</span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif">Tel: +86(21)88216699</span></p>
<p class="MsoNormal"><span style="font-family:"Intel Clear",sans-serif">Mobile: 15901876439</span></p>
<p class="MsoNormal"> </p>
</div>
</div>
</div>
</div>
</div>
</body>
</html>