Spark1 Apache Spark란? 1. Apache Saprk 등장 배경 빅데이터를 처리하다 보면 처리해야 하는 데이터가 보유하고 있는 머신으로 감당하기 힘든 적 또는 SQL 쿼리를 실행하였더니 밤새도록 걸린 적이 있을 것이다. 이런 경우 머신을 업그레이드하거나, 인내심을 길러 어쨌든 문제를 해결할 수 있었지만, 처리해야 할 데이터가 계속해서 증가하고 데이터베이스에 수백만 개의 행이 추가되면 지속적으로 문제가 생길 것이다. 이러한 경우에 Apache Spark를 사용하면 문제를 해결할 수 있다! 2. Apache Spark란? Spark는 현재 오픈 소스 프로젝트를 운영하는 단체인 Apache에 의해 관리되고 있는 프로젝트이다. Apache에 따르면 Spark는 대규모의 데이터 처리를 위한 고속처리엔진 또는 대규모 데이터 처리를 위한 빠.. 2023. 5. 24. 이전 1 다음
