빅데이터 관련 기술

hadoop 배치

APACHE HBASE

HIVE 데이타웨어

FLUME 빅데이터 전송

oozie 수집 전송 저장

APACHE Spark 메모리 기반 처리

pig 추출 변환 가공 솔루션

sqoop 관계형데이터베이스 하드분산파일시스템 간 중간 게이트 역할

 

1) NoSQL

Hbase

Cassandra

MongoDB

CouchDB

Couchbase

Cludata

Rjak

Neo4j

2) Cache

Redis

Memchched

3) RPC

Thrift

Avro

Protocol Buffer  구글

4) Collect

Scribe

Flume

Chukwa

Logstash

Fluentd

5) Query

Hive

Pig

Hcatalog

Impala

Tajo

SparkSQL

BigQuery

6) Streaming 실시간

Akka 

Storm

SparkStreaming

Esper

S4

7)Search

Elastic Search

Solar

Katta

8)File System

Hadoop

Swift

GlusterFS

Ceph

9) ETC

Machine Learning(machout)

Distributed Coordinator(Zookeeper)

Queue(Kafka)

Data Integration(Sqoop)

Statistics(R)

Workflow(Oozie)