docker 설치sudo apt-get updatesudo apt-get install -y docker.iosudo systemctl enable dockersudo systemctl start docker docker-compose 설치sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-composesudo chmod +x /usr/local/bin/docker-compose docker-compose.yml 파일 작성sudo vi docker-compose.yml docker-compose.yml ..
Kafka
https://kafka.apache.org/downloads Apache KafkaApache Kafka: A Distributed Streaming Platform.kafka.apache.org 위 화면에서 빨간 표시된 파일을 설치하면 아래와 같은 파일이 나오는데 이 파일을 압축 해제 해준다. 압축 해제 후 위와 같은 폴더가 생성된다. 폴더 구성은 위와 같으며 bin 폴더에는 zookeeper, kafka 실행 파일 (.bat)이 들어있고config 폴더에는 zookeeper, kafka 설정 파일 (.properties)이 들어있다. 1-1) zookeeper 실행하기C:\kafka_2.13-3.9.0\bin\windows\zookeeper-server-start.bat C:\kaf..
1. Producer 가 메시지를 Kafka 로 전송하는 전체 구조 위 전체구조에서 빨간 파트를 A, 주황 파트를 B, 파란 파트를 C라고 했을 때 A. 메시지 생성 A -1. 프로듀서가 메시지를 생성한다. (Topic : "my_topic", Key : "A", Value : "Hello Kafka!")ProducerRecord record = new ProducerRecord("my_topic", "A", "Hello Kafka!");ProducerRecord record = new ProducerRecord("my_topic", 2, "A", "Hello Kafka!");//위 코드는 메시지를 Partition 2에 강제적으로 저장한다 ..
Kafka는 대규모 데이터 스트리밍을 처리하기 위한 오픈소스 분산 메시징 시스템이며 주요 용도로는 실시간 데이터 스트리밍, 로그 집계, 데이터 파이프라인에 사용된다. Kafka를 쉽게 설명하면 우편 서비스에 비유할 수 있다.편지를 보내는 사람은 Producer 이고 받는 사람은 Consumer,우체국은 Broker 이고 편지는 message 이다. ▶ 주요 용어 Topic : kafka는 Topic 이라는 곳에 데이터를 저장한다.(이메일 주소에 비유할 수 있다.) Partition : Topic을 분할하여 데이터를 저장하는 단위 Producer : kafka 에 메시지를 넣는 역할 Kafka : 메시지를 저장하는 역할 Consumer : Kafka로부터 메시지를 읽어오는 역할 Consumer ..
