[I/O] I/O Software Stack of High Performance Computing Systems

I/O sw stack of HPC
HPC : high performance computing

I/O SW stack

I/O Access Patterns in HPC Applications: A 360-Degree Survey

데이터 입출력 흐름에서 효율성을 극대화 하기 위해 멀티 레이어로 설계

application layer
- 사용자 애플리케이션이 데이터 입출력을 요청
- 데이터 집약적인 작업을 수행하는 애플리케이션이 속함

high level I/O libraries
- 애플리케이션 개발자가 데이터 입출력을 더 쉽게 처리하도록 추상화 제공
- 계층적 포맷으로 저장하는 기능, 대규모 병렬 데이터 처리 기능
- HDF5, NetCDF, ADIOS

parallel I/O middleware
- 데이터 병렬화 관리 > 대규모 애플리케이션이 동시에 입출력 수행 가능
- 여러 노드에서 데이터 동시 처리 > 성능 극대화
- MPI-IO

low level I/O libraries
- 데이터 입출력 처리 관련 기본 syscall
- 파일, 데이터 처리 작업을 위한 로우 레벨 api
- POSIX, STDIO

I/O forwarding layer
- 분산시스템에서의 클라이언트 io 요청을 병렬 FS로 전달
- 분산 환경에서의 효율적인 입출력 > 병목 완화, 데이터 전송 속도 향상
- IBM ciod, IOFSL, Cray DVS, Cray Datawarp

parallel FS
- 여러 스토리지 디바이스에 데이터 분산 저장, 고성능 입출력
- 데이터 무결성 보장, 병렬 작업 최적화
-  병렬 처리 > 대규모 데이터 효율 처리
- Lustre, GPFS, PVFS, OrangeFS, BeeFS, PanFS

storage HW
- 실제 데이터 저장하는 피지컬 디바이스
- HDD, SSD, RAID