Programming
빅데이터 관련 기술
신농해태
2022. 3. 22. 11:33
반응형
hadoop 배치
APACHE HBASE
HIVE 데이타웨어
FLUME 빅데이터 전송
oozie 수집 전송 저장
APACHE Spark 메모리 기반 처리
pig 추출 변환 가공 솔루션
sqoop 관계형데이터베이스 하드분산파일시스템 간 중간 게이트 역할
1) NoSQL
Hbase
Cassandra
MongoDB
CouchDB
Couchbase
Cludata
Rjak
Neo4j
2) Cache
Redis
Memchched
3) RPC
Thrift
Avro
Protocol Buffer 구글
4) Collect
Scribe
Flume
Chukwa
Logstash
Fluentd
5) Query
Hive
Pig
Hcatalog
Impala
Tajo
SparkSQL
BigQuery
6) Streaming 실시간
Akka
Storm
SparkStreaming
Esper
S4
7)Search
Elastic Search
Solar
Katta
8)File System
Hadoop
Swift
GlusterFS
Ceph
9) ETC
Machine Learning(machout)
Distributed Coordinator(Zookeeper)
Queue(Kafka)
Data Integration(Sqoop)
Statistics(R)
Workflow(Oozie)
728x90
LIST