실제 데이터 처리 도구

Apache Storm 무료 빅 데이터 도구

데이터 스트림 처리를위한 무료 빅 데이터 분석 도구

빅 데이터 처리 도구를 사용하여 결함 내성 및 수평 확장 가능한 방법으로 많은 양의 데이터를 신속하게 처리하고 실시간 데이터 분석에 액세스하십시오.

실제 데이터 처리 도구

Apache Storm

GitHub

개요

Apache Storm은 오픈 소스 실시간 데이터 처리 도구입니다. 모든 프로그래밍 언어와 함께 작동하는 간단하고 사용자 친화적 인 빅 데이터 처리 도구입니다. 소규모 및 대기업 모두에 통합 될 수 있습니다. 확장 성이 뛰어나고 선형으로 리소스를 추가하여 부하가 증가 할 때에도 효율성을 유지할 수 있습니다. Apache Storm은 데이터 스트림을 실시간으로 처리하는 반면 Hadoop은 데이터를 배치로 처리합니다. 기존 대기열 및 데이터베이스 기술은 Apache Storm과 통합 될 수 있습니다. 클러스터의 링크 된 노드 중 하나 이상이 실패하거나 메시지가 손실 되더라도 데이터 처리를 보장합니다. Apache Storm에는 튜플, 스트림, 스파우트 및 볼트를 포함한 4 가지 구성 요소가 있습니다. Apache Storm에서 튜플은 기본 데이터 구조입니다. 모든 데이터 유형을 지원하며 주문한 요소 목록이 있습니다. 스트림은 정렬되지 않은 튜플 시퀀스입니다. 스파우트는 데이터 소스의 데이터를 읽는 데 사용되는 스트림 소스입니다. 스파우트 구현의 주요 인터페이스는 ISPout입니다. 또한 Irichspout, Baserichspout 및 Kafkaspout을 포함한 수많은 인터페이스가 있습니다. 볼트는 논리적 처리의 구성 요소입니다. 스파우트는 정보를 볼트 및 볼트 프로세스에 보내어 새로운 출력 스트림이 발생합니다. 볼트 구현을위한 중앙 인터페이스를 “ibolt"라고합니다. 또한 Apache Storm은 잘 알려진 REE 빅 데이터 분석 도구입니다. 결과적으로 많은 대기업들이 Twitter, Navisite, Wego, Yahoo 및 다른 많은 기업과 같은 많은 대기업을 사용합니다. 이 실시간 분석 도구는 Java 언어로 개발되었습니다. 이 실시간 데이터 처리 도구에 대한 라이센스는 Apache 2.0입니다.

시스템 요구 사항

Apache Storm을 설치하려면 다음과 같은 소프트웨어가 있어야합니다.

  • 자바
  • Sudo 권한이있는 사용자

특징

다음은 Apache Storm의 주요 기능입니다.

  • 무료 및 오픈 소스
  • 실시간 데이터 처리
  • 빠르고 신뢰할 수 있습니다
  • 확장 가능하고 병렬화 가능합니다
  • 결함 허용
  • 간단한 API
  • 모든 언어로 사용하십시오
  • 사용하기 쉽고 배포합니다
  • 큐잉 및 데이터베이스 시스템과 통합

설치

Ubuntu에 Apache Storm 설치 18.04

Zookeeper 프레임 워크 설치

먼저 서버에 Zookeeper 프레임 워크를 설치하십시오. 디렉토리를 만들고 탐색하십시오.

$ mkdir ~/bigdata
$ cd ~/bigdata

Zookeeper 프레임 워크를 다운로드하려면 명령을 실행하십시오.

$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz

아래 명령을 실행하여 파일을 추출하고 디렉토리를 변경하십시오.

$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz

새 이름으로 샘플 구성 파일을 복사하십시오.

$ cp conf/zoo_sample.cfg conf/zoo.cfg

conf/zoo.cfg 파일을 열고 다음 코드를 추가하십시오.

admin.enableServer=true
admin.serverPort=9990

Zookeeper를 시작하려면 명령을 실행하십시오.

$ bin/zkServer.sh start

Apache Storm을 설치하십시오

Apache Storm을 다운로드하려면 명령을 실행하십시오.

$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz

아래 명령을 사용하여 TAR 파일을 추출하고 디렉토리를 변경하십시오.

$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0

conf/storm.yaml 파일을 열고 아래 줄을 추가하십시오.

storm.zookeeper.servers:
 - "localhost"
nimbus.seeds: [ "localhost" ]

명령을 실행하여 nimbus를 시작하십시오.

$ bin/storm nimbus

아래 명령을 실행하여 감독자를 시작하십시오.

$ bin/storm supervisor

UI를 시작하십시오.

$ bin/storm ui

브라우저를 열고 http : // localhost : 8080을 입력하여 폭풍 클러스터 정보와 실행중인 토폴로지에 액세스하십시오.

탐구하다

다음 링크를 찾을 수 있습니다.

-2021 년 상위 5 개 오픈 소스 빅 데이터 도구

 한국인