글로버메뉴 바로가기 본문 바로가기 하단메뉴 바로가기

논문검색은 역시 페이퍼서치

> 한국통계학회 > 응용통계연구 > 29권 6호

Apache Spark를 활용한 대용량 데이터의 처리

Processing large-scale data with Apache Spark

고세윤 ( Seyoon Ko ) , 원중호 ( Joong-ho Won )

- 발행기관 : 한국통계학회

- 발행년도 : 2016

- 간행물 : 응용통계연구, 29권 6호

- 페이지 : pp.1077-1094 ( 총 18 페이지 )


학술발표대회집, 워크숍 자료집 중 1,2 페이지 논문은 ‘요약’만 제공되는 경우가 있으니,

구매 전에 간행물명, 페이지 수 확인 부탁 드립니다.

5,300
논문제목
초록(한국어)
아파치 스파크는 빠르고 범용성이 뛰어난 클러스터 컴퓨팅 패키지로, 복구 가능한 분산 데이터셋이라는 새로운 추상화를 통해 데이터를 인메모리에 유지하면서도 결함 감내성을 얻을 수 있는 방법을 제공한다. 이러한 추상화는 하드디스크에 직접 데이터를 읽고 쓰는 방식으로 결함 감내성을 제공하는 기존의 대표적인 대용량 데이터 분석 기술인 맵리듀스 프레임워크에 비해 상당한 속도 향상을 거두었다. 특히 로지스틱 회귀 분석이나 K-평균 군집화와 같은 반복적인 기계 학습 알고리즘이나 사용자가 실시간으로 데이터에 관한 질의를 하는 대화형 자료 분석에서 스파크는 매우 효율적인 성능을 보인다. 뿐만 아니라, 높은 범용성을 바탕으로 하여 기계 학습, 스트리밍 자료 처리, SQL, 그래프 자료 처리와 같은 다양한 고수준 라이브러리를 제공한다. 이 논문에서는 스파크의 개념과 프로그래밍 모형에 대해 소개하고, 이를 통해 몇 가지 통계 분석 알고리즘을 구현하는 방법에 대해 소개한다. 아울러, 스파크에서 제공하는 기계 학습 라이브러리인 MLlib과 R 언어 인터페이스인 SparkR에 대해 다룬다.
초록(외국어)
Apache Spark is a fast and general-purpose cluster computing package. It provides a new abstraction named resilient distributed dataset, which is capable of support for fault tolerance while keeping data in memory. This type of abstraction results in a significant speedup compared to legacy large-scale data framework, MapReduce. In particular, Spark framework is suitable for iterative machine learning applications such as logistic regression and K-means clustering, and interactive data querying. Spark also supports high level libraries for various applications such as machine learning, streaming data processing, database querying and graph data mining thanks to its versatility. In this work, we introduce the concept and programming model of Spark as well as show some implementations of simple statistical computing applications. We also review the machine learning package MLlib, and the R language interface SparkR.

논문정보
  • - 주제 : 자연과학분야 > 통계학
  • - 발행기관 : 한국통계학회
  • - 간행물 : 응용통계연구, 29권 6호
  • - 발행년도 : 2016
  • - 페이지 : pp.1077-1094 ( 총 18 페이지 )
  • - UCI(KEPA) : I410-ECN-0102-2017-310-000578370
저널정보
  • - 주제 : 자연과학분야 > 통계학
  • - 성격 : 학술지
  • - 간기 : 격월
  • - 국내 등재 : KCI 등재
  • - 해외 등재 : -
  • - ISSN : 1225-066x
  • - 수록범위 : 1987–2019
  • - 수록 논문수 : 1835