We are looking into designing a low cost, high performance storage system. Requirements as below:<br><br>- Starts at 3TB, should scale up by adding more servers to say 10-12TB<br>- Use commodity technologies (x86_64, IB, GE, Linux), preferably all OSS components
<br>- Provide high I/O which scales with addition of storage nodes.<br>- To be used for hosting user home dirs so reliability is important <br>- The HPC cluster starts with 6 AMD64 nodes and is expected to scale to 1000+nodes in a year.
<br>- Preferably without FC/SAN<br><br>We do have experience with IBM GPFS, PVFS (1,2), NetApps, PolyServe but not with GFS and LUSTRE.<br><br>PVFS is not reliable enough for home dirs (OK for scratch), GPFS cannot do RAID5 like striping across nodes, needs SAN for RAID1 like mirroring (cost $$$) , polyserve is too expensive (per CPU pricing)
<br><br>Is GFS or Lustre suitable for the above needs? Any other commercial slution?<br><br>I would like to know the experiences and suggestions from the advanced users on this list. <br><br>Regards,<br>Arvind<br>