SPFresh: Incremental In-Place Update for Billion-Scale Vector Search https://dl.acm.org/doi/10.1145/3600006.3613166https://sosp2023.mpi-sws.org/program.html >> Data and databases summarySPFresh는 ANNS 시스템에서 리얼타임 벡터 인덱스 업데이트가 가능한 효율적 방법이다. ANNS 방식을 사용하는 대규모 벡터 데이터셋에서 지속적으로 데이터가 업데이트될 때 기존 시스템이 가지는 한계를 해결하기 위해 제안되었다. 기존 시스템들은 업데이트에 드는 cost를 줄이기 위해 secondary index를 사용하였기 때문에 main index에 주기적으로 merge..

ByteScale: Communication-Efficient Scaling of LLM Training with a 2048K Context Length on 16384 GPUshttps://dl.acm.org/doi/10.1145/3718958.3754352https://conferences.sigcomm.org/sigcomm/2025/program/papers-info/ >> NetAI & Wireless https://youtu.be/cXsMyc7ROyo?si=-EAnwxwNIZbZBd4I summaryByteScale은 긴 시퀀스와 짧은 시퀀스가 혼합된 큰 스케일의 학습을 위해 LLM longterm context 학습 과정에서 발생하는 두 가지 문제 (불필요한 통신, 불균형한 연산)를 해결하였..

VStream: A Distributed Streaming Vector Search System https://dl.acm.org/doi/10.14778/3725688.3725692https://vldb.org/2025/?program-schedule-2025 >> Research 46: Vector Data Management III summary비정형 데이터 표현을 위해 사용된 기존 벡터 검색 시스템은 batch 기반으로 동작하기 때문에 빠르게 변하는 스트림 데이터를 바로 쿼리에 활용할 수 없어서 검색 최신성이 떨어지고 실시간 서비스에 대한 품질이 저하된다. 그래서 VStream이라는 스트리밍 벡터 검색 시스템을 제안한다. VStream의 핵심 요소는 다이나믹 파티셔너와 계층적인 스토리지, 파이..

HedraRAG: Coordinating LLM Generation and Database Retrieval in Heterogeneous RAG Servinghttps://dl.acm.org/doi/10.1145/3731569.3764806https://sigops.org/s/conferences/sosp/2025/schedule.html summaryLLM이 답변을 제공하기 위해서는 검색과 생성의 단계를 거치게 되는데 검색과 생성은 각각 CPU와 GPU를 사용하기 때문에 작업 단계마다 사용하는 하드웨어 자원이 다르다. 작업이 단순했던 과거와 달리 점점 더 다단계 추론이 복잡해지고 목적에 따라 워크플로우의 구조가 다양해지기 때문에 리소스를 효율적으로 사용하기 어렵다. 또한 LLM은 토큰을 조금씩 생성해..

How to Copy Memory? Coordinated Asynchronous Copy as a First-Class OS Servicehttps://dl.acm.org/doi/10.1145/3731569.3764800https://sigops.org/s/conferences/sosp/2025/schedule.htmlACM의 SIGPOPS Symposium on Operating System Principles에서 Best paper로 선정된 논문이다.summary메모리 복사 최적화에 대한 연구는 계속 진행되어 왔지만 메모리 복사는 여전히 현대의 운영체제와 애플리케이션 전반에서 성능 병목의 메인 원인이다. 기존의 복사 최적화 기법들은 특정 환경이나 임계값 이상의 데이터 크기에서만 효과를 보여 일반적인 ..