<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
@font-face
        {font-family:"Segoe UI";
        panose-1:2 11 5 2 4 2 4 2 2 3;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0cm;
        mso-margin-bottom-alt:auto;
        margin-left:0cm;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.gmail-pl-c
        {mso-style-name:gmail-pl-c;}
span.gmail-pl-k
        {mso-style-name:gmail-pl-k;}
span.EmailStyle20
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;
        mso-fareast-language:EN-US;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-GB" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="mso-fareast-language:EN-US">Interesting stuff for sure but how does something like Julia redefine the meaning of HPC. 1) with the cpu performance we have and all these multicore enterprise systems and even off the shelf desktop
 systems question becomes is HPC nearing end of life so to speak with languages such as Julia?<o:p></o:p></span></p>
<p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="mso-fareast-language:EN-US">Regards,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="mso-fareast-language:EN-US">Jonathan<o:p></o:p></span></p>
<p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> John Hearns <hearnsj@googlemail.com>
<br>
<b>Sent:</b> 10 March 2019 12:06<br>
<b>To:</b> Jonathan Aquilina <jaquilina@eagleeyet.net>; Beowulf Mailing List <beowulf@beowulf.org><br>
<b>Subject:</b> Re: [Beowulf] Large amounts of data to store and process<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<div>
<p class="MsoNormal">Also interesting to me is mixed precision arithmetic - which Julia makes easy.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">We are going to see more and more codes which will choose lower precision to save energy, not just for running Deep Learning modesl on GPUs.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">I share a code snippet not written by me. I think it is a brilliant idea.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Here a researcher in ocean modelling is able to change the types of numbers his model uses. Run with lower precision and see what changes.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">I guess this is easy in C/C++ also, but the concept is fantastic.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<table class="MsoNormalTable" border="0" cellspacing="0" cellpadding="0" style="border-collapse:collapse;box-sizing:border-box;border-spacing:0px;word-spacing:0px">
<tbody>
<tr style="box-sizing:border-box">
<td valign="top" style="padding:0cm 7.5pt 0cm 7.5pt;box-sizing:border-box;overflow:visible" id="gmail-LC1">
<p class="MsoNormal" style="line-height:15.0pt"><span class="gmail-pl-c"><span style="font-size:9.0pt;font-family:Consolas;color:#6A737D"># NUMBER FORMAT OPTIONS</span></span><span style="font-size:9.0pt;font-family:Consolas;color:#24292E"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">     
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">      <o:p></o:p></span></p>
</td>
</tr>
<tr style="box-sizing:border-box">
<td width="1%" nowrap="" valign="top" style="width:1.0%;padding:0cm 7.5pt 0cm 7.5pt">
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">        <o:p></o:p></span></p>
</td>
<td valign="top" style="padding:0cm 7.5pt 0cm 7.5pt;box-sizing:border-box;overflow:visible" id="gmail-LC2">
<p class="MsoNormal" style="line-height:15.0pt"><span class="gmail-pl-k"><span style="font-size:9.0pt;font-family:Consolas;color:#D73A49">const</span></span><span style="font-size:9.0pt;font-family:Consolas;color:#24292E"> Numtype
</span><span class="gmail-pl-k"><span style="font-size:9.0pt;font-family:Consolas;color:#D73A49">=</span></span><span style="font-size:9.0pt;font-family:Consolas;color:#24292E"> Float32<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">     
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">      <o:p></o:p></span></p>
</td>
</tr>
<tr style="box-sizing:border-box">
<td width="1%" nowrap="" valign="top" style="width:1.0%;padding:0cm 7.5pt 0cm 7.5pt">
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">        <o:p></o:p></span></p>
</td>
<td valign="top" style="padding:0cm 7.5pt 0cm 7.5pt;box-sizing:border-box;overflow:visible" id="gmail-LC3">
<p class="MsoNormal" style="line-height:15.0pt"><span class="gmail-pl-c"><span style="font-size:9.0pt;font-family:Consolas;color:#6A737D">#const Numtype = Posit{16,2}</span></span><span style="font-size:9.0pt;font-family:Consolas;color:#24292E"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">     
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">      <o:p></o:p></span></p>
</td>
</tr>
<tr style="box-sizing:border-box">
<td width="1%" nowrap="" valign="top" style="width:1.0%;padding:0cm 7.5pt 0cm 7.5pt">
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">        <o:p></o:p></span></p>
</td>
<td valign="top" style="padding:0cm 7.5pt 0cm 7.5pt;box-sizing:border-box;overflow:visible" id="gmail-LC4">
<p class="MsoNormal" style="line-height:15.0pt"><span class="gmail-pl-c"><span style="font-size:9.0pt;font-family:Consolas;color:#6A737D">#const Numtype = Main.FiniteFloats.Finite16</span></span><span style="font-size:9.0pt;font-family:Consolas;color:#24292E"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">     
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">      <o:p></o:p></span></p>
</td>
</tr>
<tr style="box-sizing:border-box">
<td width="1%" nowrap="" valign="top" style="width:1.0%;padding:0cm 7.5pt 0cm 7.5pt">
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">        <o:p></o:p></span></p>
</td>
<td valign="top" style="padding:0cm 7.5pt 0cm 7.5pt;box-sizing:border-box;overflow:visible" id="gmail-LC5">
<p class="MsoNormal" style="line-height:15.0pt"><span class="gmail-pl-c"><span style="font-size:9.0pt;font-family:Consolas;color:#6A737D">#const Numtype = BigFloat</span></span><span style="font-size:9.0pt;font-family:Consolas;color:#24292E"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">     
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">      <o:p></o:p></span></p>
</td>
</tr>
<tr style="box-sizing:border-box">
<td width="1%" nowrap="" valign="top" style="width:1.0%;padding:0cm 7.5pt 0cm 7.5pt">
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Segoe UI",sans-serif;color:#24292E">        <o:p></o:p></span></p>
</td>
<td valign="top" style="padding:0cm 7.5pt 0cm 7.5pt;box-sizing:border-box;overflow:visible" id="gmail-LC6">
<p class="MsoNormal" style="line-height:15.0pt"><span class="gmail-pl-c"><span style="font-size:9.0pt;font-family:Consolas;color:#6A737D">#setprecision(7)</span></span><span style="font-size:9.0pt;font-family:Consolas;color:#24292E"><o:p></o:p></span></p>
</td>
</tr>
</tbody>
</table>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Using Julias tyoe system you can change the type of the numbers.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Here the calculation is run as NumType  - and you can make NumType to be 32 bit floats or arbitrarily large floats<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">I see Float64 is not listed - that should be there.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">On Sun, 10 Mar 2019 at 10:57, John Hearns <<a href="mailto:hearnsj@googlemail.com">hearnsj@googlemail.com</a>> wrote:<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0cm 0cm 0cm 6.0pt;margin-left:4.8pt;margin-right:0cm">
<div>
<div>
<p class="MsoNormal">Jonathan, damn good question.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">There is a lot of debate at the moment on how 'traditional' HPC can co-exist with 'big data' style HPC.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Regarding Julia, I am a big fan of it and it bring a task-level paradigm to HPC work.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">To be honest though, traditional Fortran codes will be with us forever. No-one is going to refactor say a weather forecasting model in a national centre.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Also Python has the mindset at the moment. I have seen people in my company enthusiastically taking up Python.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Not because of a measured choice after scanning dozens of learned papers and Reddit reviews etc.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">If that was the case then they might opt for Go or some niche language.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">No, the choice is made because their colleagues already use Python and pass on start up codes, and there is a huge Python community.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Same with traditional HPC codes really - we all know that batch scripts are passed on through the generations like Holy Books,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">and most scientists dont have a clue what these scratches on clay tablets actually DO.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Leading people to continue to run batch jobs which are hard wired for 12 cores on a 20 core machine etc. etc.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">(*)  this is worthy of debate. In Formula 1 whenever we updated the version of our CFD code we re-ran a known simulation and made sure we still had correlation.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">It is inevitable that old versions of codes will sop being supported<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">On Sun, 10 Mar 2019 at 09:29, Jonathan Aquilina <<a href="mailto:jaquilina@eagleeyet.net" target="_blank">jaquilina@eagleeyet.net</a>> wrote:<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0cm 0cm 0cm 6.0pt;margin-left:4.8pt;margin-right:0cm">
<p class="MsoNormal">Hi All,<br>
<br>
Basically I have sat down with my colleague and we have opted to go down the route of Julia with JuliaDB for this project. But here is an interesting thought that I have been pondering if Julia is an up and coming fast language to work with for large amounts
 of data how will that affect HPC and the way it is currently used and HPC systems created?<br>
<br>
Regards,<br>
Jonathan<br>
<br>
-----Original Message-----<br>
From: Beowulf <<a href="mailto:beowulf-bounces@beowulf.org" target="_blank">beowulf-bounces@beowulf.org</a>> On Behalf Of Michael Di Domenico<br>
Sent: 04 March 2019 17:39<br>
Cc: Beowulf Mailing List <<a href="mailto:beowulf@beowulf.org" target="_blank">beowulf@beowulf.org</a>><br>
Subject: Re: [Beowulf] Large amounts of data to store and process<br>
<br>
On Mon, Mar 4, 2019 at 8:18 AM Jonathan Aquilina <<a href="mailto:jaquilina@eagleeyet.net" target="_blank">jaquilina@eagleeyet.net</a>> wrote:<br>
><br>
> As previously mentioned we don’t really need to have anything indexed so I am thinking flat files are the way to go my only concern is the performance of large flat files.<br>
<br>
potentially, there are many factors in the work flow that ultimately influence the decision as others have pointed out.  my flat file example is only one, where we just repeatable blow through the files.<br>
<br>
> Isnt that what HDFS is for to deal with large flat files.<br>
<br>
large is relative.  256GB file isn't "large" anymore.  i've pushed TB files through hadoop and run the terabyte sort benchmark, and yes it can be done in minutes (time-scale), but you need an astounding amount of hardware to do it (the last benchmark paper
 i saw, it was something<br>
1000 nodes).  you can accomplish the same feat using less and less complicated hardware/software<br>
<br>
and if your dev's are willing to adapt to the hadoop ecosystem, you sunk right off the dock.<br>
<br>
to get a more targeted answer from the numerous smart people on the list, you'd need to open up the app and workflow to us.  there's just too many variables _______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing To change your subscription (digest mode or unsubscribe) visit
<a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">
http://www.beowulf.org/mailman/listinfo/beowulf</a><o:p></o:p></p>
</blockquote>
</div>
</blockquote>
</div>
</div>
</body>
</html>