The Importance of Data Placement Policies in Reducing Write Amplification Caused by Garbage Collection (GC로 인한 쓰기 증폭 완화 측면에서의 데이터 배치 정책 중요성)

2025. 2. 28. 21:55·[ Laboratory ]/System Software & Storage

waf 감소를 위해서는 gc 최적화도 중요하지만 가장 중요한 것은 데이터 플레이스먼트 정책!

 

데이터 배치 정책의 핵심은 비슷한 인벨리드 타임의 데이터 블록끼리 그룹핑하는 것이다

데이터 블록의 예상 인벨리드 타임을 추정하고 비슷한 시간대의 블록을 포함하고 있는 세그먼트로 할당하다보면 같은 세그먼트에 있는 데이터 블록들은 비슷한 시점에 인벨리드 되는 블록들일 것이다. 

 

모든 블록이 같은 시점에 인벨리드 되면 해당 세그먼트는 데드 세그먼트가 되므로 데드 세그먼트가 생성된 경우 gc를 수행할 때 라이브 블록이 재배치를 위해 복사될 일이 없다. 그래서 추가적인 쓰기가 일어나지 않고 waf가 감소하는 것이다. 

 

데이터 블록의 인벨리드 타임을 예상하고 같은 시점의 블록끼리 그룹핑하여 세그먼트를 만들면 데드 세그먼트를 생성할 수 있어서 효율적으로 gc를 수행할 수 있으나 중요한 것은 블록의 인벨리드 타임을 정확하게 예측하는 것이다. 

 

 

인벨리드 타임을 정확하게 예측하는 것과 관련된 연구

 

KANG, Jeong-Uk, et al.

The multi-streamed Solid- State drive.

In: 6th USENIX Workshop on Hot Topics in Storage and File Systems (HotStorage 14). 2014.

 

KIM, Taejin, et al.

Fully automatic stream management for Multi-Streamed SSDs using program contexts.

In: 17th USENIX Conference on File and Storage Technologies (FAST 19). 2019. p. 295-308.

 

MIN, Changwoo, et al. 

SFS: random write considered harmful in solid state drives. 

In: FAST. 2012. p. 1-16.

 

WANG, Qiuping, et al.

Separating data via block invalidation time inference for write amplification reduction in Log-Structured storage.

In: 20th USENIX Conference on File and Storage Technologies (FAST 22). 2022. p. 429-444.

 

YANG, Jing; PEI, Shuyi. 

Thermo-GC: Reducing write amplification by tagging migrated pages during garbage collection. 

In: 2019 IEEE International Conference on Networking, Architecture and Storage (NAS). IEEE, 2019. p. 1-8.

 

YANG, Jing; PEI, Shuyi; YANG, Qing. 

WARCIP: Write amplification reduction by clustering I/O pages. In: Proceedings of the 12th ACM International Conference on Systems and Storage. 2019. p. 155-166.

 

 

 

제안되는 전략들이 블록의 인벨리드 타임을 추정하는 것에 사용하는 속성

업데이트 빈도 

가장 최근 업데이트 인터벌

블록 생성 후 경과 시간 (age)

 

 

업데이트 빈도 활용 연구

 

CHIANG, M.-L.; CHANG, R.C.

Cleaning policies in mobile computers using flash memory. Journal of Systems and Software, 1999, 48.3: 213-231.

 

CHIANG, Mei‐Ling; LEE, Paul CH; CHANG, Ruei Chuan.

Using data clustering to improve cleaning performance for flash memory. Software: Practice and Experience, 1999, 29.3: 267-290.

 

KREMER, Kevin; BRINKMANN, André.

FADaC: A self adapting data classifier for flash memory.

In: Proceedings of the 12th ACM International Conference on Systems and Storage. 2019. p. 167-178.

 

MIN, Changwoo, et al. 

SFS: random write considered harmful in solid state drives. In: FAST. 2012. p. 1-16.

 

STOICA, Radu; AILAMAKI, Anastasia. 

Improving flash write performance by using update frequency. Proceedings of the VLDB Endowment, 2013, 6.9: 733-744.

 

YANG, Jingpei, et al.

AutoStream: Automatic stream management for multistreamed SSDs.

In: Proceedings of the 10th ACM International Systems and Storage Conference. 2017. p. 1-11.

 

 

가장 최근 업데이트 인터벌을 활용하는 연구

WANG, Qiuping, et al. 

Separating data via block invalidation time inference for write amplification reduction in Log-Structured storage.

In: 20th USENIX Conference on File and Storage Technologies (FAST 22). 2022. p. 429-444.

 

YANG, Jing; PEI, Shuyi; YANG, Qing. 

WARCIP: Write amplification reduction by clustering I/O pages. 

In: Proceedings of the 12th ACM International Conference on Systems and Storage. 2019. p. 155-166.

 

 

블록의 나이를 활용하는 연구

MIN, Changwoo, et al. 

SFS: random write considered harmful in solid state drives. 

In: FAST. 2012. p. 1-16.

 

PARK, Hyunseung, et al. 

Lightweight data lifetime classification using migration counts to improve performance and lifetime of flash-based SSDs.

In: Proceedings of the 12th ACM SIGOPS Asia-Pacific Workshop on Systems. 2021. p. 25-33.

 

WANG, Qiuping, et al. 

Separating data via block invalidation time inference for write amplification reduction in Log-Structured storage.

In: 20th USENIX Conference on File and Storage Technologies (FAST 22). 2022. p. 429-444.

 

YANG, Jing; PEI, Shuyi.

ThermoGC: Reducing write amplification by tagging migrated pages during garbage collection.

In: 2019 IEEE International Conference on Networking, Architecture and Storage (NAS). IEEE, 2019. p. 1-8.

 

 

 

 

 

728x90

'[ Laboratory ] > System Software & Storage' 카테고리의 다른 글

GC (Garbage Collection) 최적화 기법 (CAT, AutoStream, MiDA, SepBIT, MiDAS)  (2) 2025.02.28
[FS] GC / WAF / WAF를 계산할 때 (총 블럭 수 - 유저가 작성한 블럭 수)로 계산하지 않는 이유  (0) 2025.02.28
[I/O] I/O Software Stack of High Performance Computing Systems  (0) 2024.11.22
[SPDK/NVMe] NVMe PCI 버스 인식 문제 ( nvme list에 보이지 않음 )  (3) 2024.10.10
[SPDK/examples] nvme/hello_world 예제 수정 및 실행  (1) 2024.10.10
[SPDK/examples] spdk/build/examples 하위 예제 파일 실행하기  (0) 2024.10.10
[SPDK] spdk 빌드 및 example 실행  (4) 2024.10.10
'[ Laboratory ]/System Software & Storage' 카테고리의 다른 글
  • GC (Garbage Collection) 최적화 기법 (CAT, AutoStream, MiDA, SepBIT, MiDAS)
  • [FS] GC / WAF / WAF를 계산할 때 (총 블럭 수 - 유저가 작성한 블럭 수)로 계산하지 않는 이유
  • [I/O] I/O Software Stack of High Performance Computing Systems
  • [SPDK/NVMe] NVMe PCI 버스 인식 문제 ( nvme list에 보이지 않음 )
dev charlotte
dev charlotte
주 - 컴퓨터공학 / 복수 - 산업 보안
    250x250
  • dev charlotte
    int main() {
    dev charlotte
  • 전체
    오늘
    어제
    • 분류 전체보기
      • [ Laboratory ]
        • Paper review
        • Advanced Operating System
        • System Software & Storage
        • Lab etc
      • [ Computer Science ]
        • Algorithm_C++
        • Operating System
        • Information Retrieval
        • Database_sql
        • SW Engineering
        • Computer Network
        • JavaScript
        • Python
        • Data Structure
        • CS study
        • Distributed systems
      • [ Computer Security ]
        • Convergence Security
        • Web Security
        • PIMS
        • Network Security
        • Digital Finance
      • [ Artificial Intelligence ]
        • Trend
        • Seminar
      • [ 미래, 같이, LG ]
      • [ Development ]
        • [ Front-end ]
        • [ Back-end ] Spring 기본
        • [ Back-end ] Node.js
      • etc
        • 현대오토에버 스마트 모빌리티 공학 체험 교육
      • It's me
  • 블로그 메뉴

    • 링크

      • GitHub
    • 공지사항

    • 인기 글

    • 태그

      스마트모빌리티공학체험교육
      백준
      ssafy 13기
      프로그래밍 언어론
      소프트웨어 공학
      프로그래머스 코테
      오블완
      현대오토에버 스마트모빌리티
      비전공자 코딩
      대학생 대외활동
      코드잇
      데이터베이스
      SQL 쿼리
      코딩 교육
      싸피
      현대오토에버 스마트 모빌리티
      공대생 대외활동
      SSAFY
      자바스크립트
      현대오토에버
      프로그래머스
      싸피 13기
      spdk
      티스토리챌린지
      hotstorage
      프로그래머스 입문
      SQL
      MySQL
      프로그래머스 c++
      코딩 인강
    • 최근 댓글

    • 최근 글

    • hELLO· Designed By정상우.v4.10.4
    dev charlotte
    The Importance of Data Placement Policies in Reducing Write Amplification Caused by Garbage Collection (GC로 인한 쓰기 증폭 완화 측면에서의 데이터 배치 정책 중요성)
    상단으로

    티스토리툴바