<div dir="ltr">Brock the pcie SSD&#39;s from ocz the enterprise ones seem to have insane performance.</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Feb 8, 2013 at 5:20 PM, Brock Palen <span dir="ltr">&lt;<a href="mailto:brockp@umich.edu" target="_blank">brockp@umich.edu</a>&gt;</span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">To add another side note, in the process of interviewing the Gluster team for my podcast (<a href="http://www.rce-cast.com" target="_blank">www.rce-cast.com</a>) he mentioned writing a plugin, that would first write data local to the host, and gluster would then take it to the real disk in the background.  There was constraints to doing this.  I assume because there was no locking to promise consistency, but for some workloads this might be useful, and combine it with local Flash.<br>


<br>
That episode should be up Feb 24th.<br>
<span class="HOEnZb"><font color="#888888"><br>
Brock Palen<br>
<a href="http://www.umich.edu/~brockp" target="_blank">www.umich.edu/~brockp</a><br>
CAEN Advanced Computing<br>
<a href="mailto:brockp@umich.edu">brockp@umich.edu</a><br>
<a href="tel:%28734%29936-1985" value="+17349361985">(734)936-1985</a><br>
</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
<br>
On Feb 8, 2013, at 11:12 AM, Ellis H. Wilson III wrote:<br>
<br>
&gt; On 02/06/2013 04:36 PM, Prentice Bisbal wrote:<br>
&gt;&gt; Beowulfers,<br>
&gt;&gt;<br>
&gt;&gt; I&#39;ve been reading a lot about using SSD devices to act as caches for<br>
&gt;&gt; traditional spinning disks or filesystems over a network (SAN, iSCSI,<br>
&gt;&gt; SAS, etc.).  For example, Fusion-io had directCache, which works with<br>
&gt;&gt; any block-based storage device (local or remote) and Dell is selling<br>
&gt;&gt; LSI&#39;s CacheCade, which will act as a cache for local disks.<br>
&gt;&gt;<br>
&gt;&gt; <a href="http://www.fusionio.com/data-sheets/directcache/" target="_blank">http://www.fusionio.com/data-sheets/directcache/</a><br>
&gt;&gt; httP//<a href="http://www.dell.com/downloads/global/products/pedge/en/perc-h700-cachecade.pdf" target="_blank">www.dell.com/downloads/global/products/pedge/en/perc-h700-cachecade.pdf</a><br>
&gt;&gt;<br>
&gt;&gt; Are there any products like this that would work with parallel<br>
&gt;&gt; filesystems, like Lustre or GPFS? Has anyone done any research in this<br>
&gt;&gt; area? Would this even be worthwhile?<br>
&gt;<br>
&gt; Coming late to this discussion, but I&#39;m currently doing research in this<br>
&gt; area and have a publication in submission about it.  What are you trying<br>
&gt; to do specifically with it?  NAND flash, with it&#39;s particularly nuanced<br>
&gt; performance behavior, is not right for all applications, but can help if<br>
&gt; you think through most of your workloads and cleverly architect your<br>
&gt; system based off of that.<br>
&gt;<br>
&gt; For instance, there has been some discussion about PCIe vs SATA -- this<br>
&gt; is a good conversation, but what&#39;s left out is that many manufacturers<br>
&gt; do not actually use native PCIe &quot;inside&quot; the SSD.  It is piped out from<br>
&gt; the individual nand packages in something like a SATA format, and then<br>
&gt; transcoded to PCIe before going out of the device.  This results in<br>
&gt; latency and bandwidth degredation, and although a bunch of those devices<br>
&gt; on Newegg and elsewhere under the PCIe category report 2 or 3 or 4 GB/s,<br>
&gt; it&#39;s closer to just 1 or under.  Latency is still better on these than<br>
&gt; SATA-based ones, but if I just wanted bandwidth I&#39;d buy a few, cheaper,<br>
&gt; SATA-based ones and strap them together with RAID.<br>
&gt;<br>
&gt; On a similar note (discussing the nuances of the setup and the<br>
&gt; components), if your applications are embarrassingly parallel or your<br>
&gt; network is really slow (1Gb Ether) they client-side caching is<br>
&gt; definitely the way to go.  But, if there are ever sync points in the<br>
&gt; applications or you have a higher throughput, lower latency network<br>
&gt; available to you, going for a storage-side cache will allow for<br>
&gt; write-back capabilities as well as higher throughput and lower latency<br>
&gt; promises than a single client side cache could provide.  Basically, this<br>
&gt; boils down to do you want M cheaper devices in each node that don&#39;t have<br>
&gt; to go over the network but that are higher latency and lower bandwidth,<br>
&gt; or do you want an aggregation of N more expensive devices that can give<br>
&gt; lower latency and much higher bandwidth, but over the network.<br>
&gt;<br>
&gt; For an example on how some folks did it with storage-local caches up at<br>
&gt; LBNL see the following paper:<br>
&gt;<br>
&gt; Zheng Zhou et al. An Out-of-core Eigensolver on SSD-equipped Clusters,<br>
&gt; in Proc. of Cluster’12<br>
&gt;<br>
&gt; If anybody has any other papers that look at this of worth, or other<br>
&gt; projects that look particularly at client-side SSD caching, I&#39;d love to<br>
&gt; hear about them.  I think in about five years all new compute-nodes will<br>
&gt; be built with some kind of non-volatile cache or storage -- it&#39;s just<br>
&gt; too good of a solution, particularly with network bandwidth and latency<br>
&gt; not scaling as fast as NVM properties.<br>
&gt;<br>
&gt; Best,<br>
&gt;<br>
&gt; ellis<br>
&gt; _______________________________________________<br>
&gt; Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
&gt; To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br>Jonathan Aquilina
</div>