<html>
  <head>
    <meta content="text/html; charset=utf-8" http-equiv="Content-Type">
  </head>
  <body bgcolor="#FFFFFF" text="#000000">
    <p>On 08/20/2016 10:03 AM, Stu Midgley wrote:<br>
    </p>
    <blockquote
cite="mid:CAEM1RsXgjVBxpxMjo=3WJXs0Ly078tXnDSzoUiCdz=tbm8_U8Q@mail.gmail.com"
      type="cite">
      <div dir="ltr">
        <div class="gmail_extra">
          <div class="gmail_quote">
            <blockquote class="gmail_quote" style="margin:0 0 0
              .8ex;border-left:1px #ccc solid;padding-left:1ex">
              <div bgcolor="#FFFFFF" text="#000000"><span class="">
                  <blockquote type="cite">
                    <div dir="ltr"><br>
                    </div>
                  </blockquote>
                </span> I don't need to try to do that, because that's
                the job of the engineers at Asetek, CoolIT and their OEM
                partners. I've looked at their solutions every year
                they've been as SC, and the packaging is quite neat, and
                included heat exchangers for the RAM to keep it cool,
                too.  I sure as hell wouldn't want to engineer and build
                the system myself, but I'm sure glad there are others
                doing it, and I have a lot of confidence in their work.
                <br>
                <br>
              </div>
            </blockquote>
            <div><br>
            </div>
            <div><br>
            </div>
            <div>Spoken like someone who doesn't have to take
              responsibility or pay for their solution.  I work in the
              private sector and have to satisfy customers.  If a
              solution doesn't work, or has continual problems or is
              delivered late, I have to answer for that and our company
              suffers.</div>
          </div>
        </div>
      </div>
    </blockquote>
    <br>
    Spoken like someone who would rather attack their opponent in a
    debate than stick to the issues of the debate. As I stated earlier,
    I have a degree in an engineering discpline that I think makes me
    more than qualified to evaluate the design of these different
    systems, and choose the best one. I don't know about where you work,
    but I've never been in a job where employees aren't held responsible
    for their decisions at work and aren't at risk for losing their job
    if they make a bad decision. In fact, New Jersey, where I work, is
    known as an 'at-will' state. This mean I can quit without reason,
    and my employer can fire me without reason. If that isn't enough
    reason to make good business decisions, I don't know what is. <br>
    <br>
    <blockquote
cite="mid:CAEM1RsXgjVBxpxMjo=3WJXs0Ly078tXnDSzoUiCdz=tbm8_U8Q@mail.gmail.com"
      type="cite">
      <div dir="ltr">
        <div class="gmail_extra">
          <div class="gmail_quote">
            <div><br>
            </div>
            <div><br>
            </div>
            <div> </div>
            <blockquote class="gmail_quote" style="margin:0 0 0
              .8ex;border-left:1px #ccc solid;padding-left:1ex">
              <div bgcolor="#FFFFFF" text="#000000"> Now my criticisms,
                which apply to mineral oil immersive cooling only: <br>
                <br>
                * The stuff is messy. I can't imagine removing
                components from a server without them slipping out of my
                hands. I can't even imagine getting one from the tank to
                a workbench without getting oil everywhere. I'm sure you
                can clean it off with a lot of electronic parts cleaner,
                but how good for the environment is that?  I see this
                stuff gaining more market share when we get to
                'disposable' servers with ARM-based SoCs, so cleanup
                isn't even an issue. <br>
              </div>
            </blockquote>
            <div><br>
            </div>
            <div><br>
            </div>
            <div>I work with the stuff as do our local SGI engineers and
              it isn't that big a deal.</div>
            <div><br>
            </div>
            <div> </div>
            <blockquote class="gmail_quote" style="margin:0 0 0
              .8ex;border-left:1px #ccc solid;padding-left:1ex">
              <div bgcolor="#FFFFFF" text="#000000"> <br>
                * Liquids are dense! Immersive cooling in mineral oil
                adds a lot to the load of the data centers raised floor.
                Yes the tanks are about the size of a rack flipped on
                it's side, but even the densest servers are still mostly
                air by volume. I imagine many data centers would need to
                upgrade their floors before going to this type of
                cooling. <br>
              </div>
            </blockquote>
            <div><br>
            </div>
            <div><br>
            </div>
            <div>Wrong.  Prior to immersive cooling, we were running SGI
              chilled water racks.  A 40RU tank with nodes comes in at
              about 1600kg's... an SGI chilled water rack with nodes
              comes in at about 1400kg's.  The SGI rack has 1400kg's in
              less than 1msq whereas a tank is 1600kg's in just over
              msq... it is actually better for your floor.</div>
          </div>
        </div>
      </div>
    </blockquote>
    <br>
    I will concede this point. What you say sounds plausible, and I
    don't have any numbers to counter with. <br>
    <blockquote
cite="mid:CAEM1RsXgjVBxpxMjo=3WJXs0Ly078tXnDSzoUiCdz=tbm8_U8Q@mail.gmail.com"
      type="cite">
      <div dir="ltr">
        <div class="gmail_extra">
          <div class="gmail_quote">
            <div><br>
            </div>
            <div> </div>
            <blockquote class="gmail_quote" style="margin:0 0 0
              .8ex;border-left:1px #ccc solid;padding-left:1ex">
              <div bgcolor="#FFFFFF" text="#000000"> <br>
                * Since the "racks" are on their sides an only go up
                about 3 - 3.5 feet, it's not a very efficient use of
                space. We often talk about data center space in square
                footage, but it's *volume* that really matters, and I
                don't think mineral oil cooling is very space efficient.
                <br>
                <br>
              </div>
            </blockquote>
            <div><br>
            </div>
            <div><br>
            </div>
            <div>Wrong.  If you take a rack and the clearances of the
              back and front required to service nodes (400mm at the
              back 900mm at the front), you take about 2sqm per rack...
              which is less than our tanks currently take.  We can get
              MORE density with an immersive solution than with racks.</div>
          </div>
        </div>
      </div>
    </blockquote>
    <br>
    I'm still skeptical. You still need space for people to walk through
    the tanks on one side, and cabling on the other side. I can see how
    the cabling aisle takes up less space than a hot aisle, but I'm sure
    it must still be wide enough for someone to walk through so they can
    install/remove/repair cables, unless you do something completely
    different in this case and run all the cables in cable trays
    directly over the tanks. Is that what you do? <br>
    <blockquote
cite="mid:CAEM1RsXgjVBxpxMjo=3WJXs0Ly078tXnDSzoUiCdz=tbm8_U8Q@mail.gmail.com"
      type="cite">
      <div dir="ltr">
        <div class="gmail_extra">
          <div class="gmail_quote">
            <div><br>
            </div>
            <div><br>
            </div>
            <div> </div>
            <blockquote class="gmail_quote" style="margin:0 0 0
              .8ex;border-left:1px #ccc solid;padding-left:1ex">
              <div bgcolor="#FFFFFF" text="#000000"> * What if one of
                those tanks leaks or a pipe bursts? I'd rather clean up
                water or Novec. Yes, there are electrical dangers when
                that happens with water, but that's what circuit
                breakers and such (GFCI, AFCI, etc.) are for. <br>
                <br>
              </div>
            </blockquote>
            <div><br>
            </div>
            <div><br>
            </div>
            <div>Water is actually worse than these fluids.  If you get
              a leak, you use a wet-vacuum and suck it up and put it
              back into a tank.  You don't have to worry about any
              electrical components or other mechanical stuff.  The
              fluids are easy to clean up, wipe down and get on with
              life.</div>
            <div><br>
            </div>
            <div> </div>
            <blockquote class="gmail_quote" style="margin:0 0 0
              .8ex;border-left:1px #ccc solid;padding-left:1ex">
              <div bgcolor="#FFFFFF" text="#000000"> * What happens when
                you decommission hardware that's covered in mineral oil?
                How do you clean it up? Will a recycling center take
                electronics covered in mineral oil.<br>
              </div>
            </blockquote>
            <div><br>
            </div>
            <div> </div>
            <div>When you decommission nodes, you throw them out like
              you do with all old hardware.  The fluids are non-toxic,
              biodegradable, have a clean MSDS and nodes/components can
              be disposed of clean or oily.</div>
            <div><br>
            </div>
            <div><br>
            </div>
          </div>
          -- <br>
          <div class="gmail_signature" data-smartmail="gmail_signature">Dr
            Stuart Midgley<br>
            <a moz-do-not-send="true" href="mailto:sdm900@sdm900.com"
              target="_blank">sdm900@sdm900.com</a></div>
        </div>
      </div>
    </blockquote>
    <br>
  </body>
</html>