SQL학습 및 DB설계 - Java Client for publishing and consuming messages from Apache Kafka

Java Client for publishing and consuming messages from Apache Kafka

I wanted to learn how to use Apache Kafka for publishing and consuming messages from Apache Kafka using Java client, so i followed these steps.

Download the Kafka binaries from Kafka download page
Unzip the kafka tar file by executing tar -xzf kafka_2.9.2-0.8.1.1.tgz. Then go to kafka directory by executing cd kafka_2.9.2-0.8.1.1
Next start the Zookeeper server by executing following command
```
bin/zookeeper-server-start.sh config/zookeeper.properties
```

Start the Kafka server by executing following command


bin/kafka-server-start.sh config/server.properties

Now your Zookeeper and Kafka server are ready and you can download the source code for sample project from here

This is how a Java Client that publishes messages to Kafka looks like, execute it couple of times to publish couple of messages

	
				package com.spnotes.kafka;
			
				import java.text.SimpleDateFormat;
			
				import java.util.Date;
			
				import java.util.Properties;
			
				import kafka.producer.KeyedMessage;
			
				import kafka.producer.ProducerConfig;
			
				/**
			
				* Created by user on 8/4/14.
			
				*/
			
				public class HelloKafkaProducer {
			
				final static String TOPIC = "javatest";
			
				public static void main(String[] argv){
			
				Properties properties = new Properties();
			
				properties.put("metadata.broker.list","localhost:9092");
			
				properties.put("serializer.class","kafka.serializer.StringEncoder");
			
				ProducerConfig producerConfig = new ProducerConfig(properties);
			
				kafka.javaapi.producer.Producer<String,String> producer = new kafka.javaapi.producer.Producer<String, String>(producerConfig);
			
				SimpleDateFormat sdf = new SimpleDateFormat();
			
				KeyedMessage<String, String> message =new KeyedMessage<String, String>(TOPIC,"Test message from java program " + sdf.format(new Date()));
			
				producer.send(message);
			
				producer.close();
			
				}
			
				}

view raw HelloKafkaProducer.java hosted with ❤ by GitHub

First thing that you have to do while developing a producer is connect to the Kafka server, for that you will set value of metadata.broker.list property to point to the port on which kafka server is listening (You can find value of port and host name from server.properties that you used in step 4. Once you have Producer object you can use it for publishing messages by creating object of kafka.producer.KeyedMessage, you will have to pass name of the topic and message as argument

This is how the Java client for consumer of messages from Kafka looks like, run it and it will start a thread that will keep listening to messages on topic and every time there is a message it will print it to console

	
				package com.spnotes.kafka;
			
				import java.io.UnsupportedEncodingException;
			
				import java.nio.ByteBuffer;
			
				import java.util.HashMap;
			
				import java.util.List;
			
				import java.util.Map;
			
				import java.util.Properties;
			
				import kafka.consumer.Consumer;
			
				import kafka.consumer.ConsumerConfig;
			
				import kafka.consumer.ConsumerIterator;
			
				import kafka.consumer.KafkaStream;
			
				import kafka.javaapi.consumer.ConsumerConnector;
			
				import kafka.javaapi.message.ByteBufferMessageSet;
			
				import kafka.message.MessageAndOffset;
			
				/**
			
				* Created by user on 8/4/14.
			
				*/
			
				public class HelloKafkaConsumer extends Thread {
			
				final static String clientId = "SimpleConsumerDemoClient";
			
				final static String TOPIC = "pythontest";
			
				ConsumerConnector consumerConnector;
			
				public static void main(String[] argv) throws UnsupportedEncodingException {
			
				HelloKafkaConsumer helloKafkaConsumer = new HelloKafkaConsumer();
			
				helloKafkaConsumer.start();
			
				}
			
				public HelloKafkaConsumer(){
			
				Properties properties = new Properties();
			
				properties.put("zookeeper.connect","localhost:2181");
			
				properties.put("group.id","test-group");
			
				ConsumerConfig consumerConfig = new ConsumerConfig(properties);
			
				consumerConnector = Consumer.createJavaConsumerConnector(consumerConfig);
			
				}
			
				@Override
			
				public void run() {
			
				Map<String, Integer> topicCountMap = new HashMap<String, Integer>();
			
				topicCountMap.put(TOPIC, new Integer(1));
			
				Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap = consumerConnector.createMessageStreams(topicCountMap);
			
				KafkaStream<byte[], byte[]> stream = consumerMap.get(TOPIC).get(0);
			
				ConsumerIterator<byte[], byte[]> it = stream.iterator();
			
				while(it.hasNext())
			
				System.out.println(new String(it.next().message()));
			
				}
			
				private static void printMessages(ByteBufferMessageSet messageSet) throws UnsupportedEncodingException {
			
				for(MessageAndOffset messageAndOffset: messageSet) {
			
				ByteBuffer payload = messageAndOffset.message().payload();
			
				byte[] bytes = new byte[payload.limit()];
			
				payload.get(bytes);
			
				System.out.println(new String(bytes, "UTF-8"));
			
				}
			
				}
			
				}

view raw HelloKafkaConsumer.java hosted with ❤ by GitHub

The HelloKafkaConsumer class extends Thread class. In the constructor of this class first i am creating Properties class with value of zookeeper.connect property equal to the port on which zookeeper server is listening on. In the constructor i am creating object of kafka.javaapi.consumer.ConsumerConnector
Once the ConsumerConnector is ready in the run() method i am passing it name of the topic on which i want to listen (You can pass multiple topic names here). Everytime there is a new message i am reading it and printing it to console.

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

번호	제목	글쓴이	날짜	조회 수
공지	오라클 기본 샘플 데이터베이스	졸리운_곰	2014.01.02	86984
공지	[SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE	가을의 곰을...	2013.02.10	79249
공지	[G_SQL] Sample Database	가을의 곰을...	2012.05.20	95987
13	[데이터 수집 및 전처리] 주식 전종목 어떻게 불러올까? 거래소 종목 불러오기	졸리운_곰	2023.12.09	1704
12	[데이터 수집 및 전처리] [Python/파이썬]네이버증권API 활용 - 회사명, 종목코드 받아오기	졸리운_곰	2023.12.08	1510
11	[데이터 수집 및 전처리] 네이버 금융(차트)에서 주가 갈무리(크롤링)하기	졸리운_곰	2023.12.08	1497
10	[데이터 수집 및 전처리] 네이버 증권에서 일봉, 주봉 데이터 가져오기	졸리운_곰	2023.12.08	1504
9	[데이터 수집 및 전처리] (놀라운) 한글 데이터 짱! AwesomeKorean_Data	졸리운_곰	2023.03.07	1200
8	[데이터 수집 및 전처리] Crawling, Scraping	졸리운_곰	2022.05.21	1477
7	[데이터분석][데이터수집 전처리] MS 엑셀(Excel)에서 UTF-8 로 된 csv 파일 가져오기	졸리운_곰	2021.09.30	1417
6	카프카 설치 시 가장 중요한 설정 4가지	졸리운_곰	2021.07.13	1932
5	Prometheus Query(PromQL) 기본 이해하기	졸리운_곰	2020.12.17	1416
4	[인프라 모니터링 오픈소스] Prometheus 를 알아보자	졸리운_곰	2020.12.17	1913
3	Prometheus + Grafana 대시보드	졸리운_곰	2020.12.17	2494
2	Grafana란?	졸리운_곰	2020.12.17	2166
1	Importing wikipedia dump to MySql	졸리운_곰	2020.10.04	2500

번호

제목

글쓴이

날짜

조회 수

공지

오라클 기본 샘플 데이터베이스

졸리운_곰

2014.01.02

86984

공지

[SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE

가을의 곰을...

2013.02.10

79249

공지

[G_SQL] Sample Database

가을의 곰을...

2012.05.20

95987

[데이터 수집 및 전처리] 주식 전종목 어떻게 불러올까? 거래소 종목 불러오기 file

졸리운_곰

2023.12.09

1704

[데이터 수집 및 전처리] [Python/파이썬]네이버증권API 활용 - 회사명, 종목코드 받아오기 file

졸리운_곰

2023.12.08

1510

[데이터 수집 및 전처리] 네이버 금융(차트)에서 주가 갈무리(크롤링)하기 file

졸리운_곰

2023.12.08

1497

[데이터 수집 및 전처리] 네이버 증권에서 일봉, 주봉 데이터 가져오기 file

졸리운_곰

2023.12.08

1504

[데이터 수집 및 전처리] (놀라운) 한글 데이터 짱! AwesomeKorean_Data file

졸리운_곰

2023.03.07

1200

[데이터 수집 및 전처리] Crawling, Scraping file

졸리운_곰

2022.05.21

1477

[데이터분석][데이터수집 전처리] MS 엑셀(Excel)에서 UTF-8 로 된 csv 파일 가져오기 file

졸리운_곰

2021.09.30

1417

카프카 설치 시 가장 중요한 설정 4가지

졸리운_곰

2021.07.13

1932

Prometheus Query(PromQL) 기본 이해하기 file

졸리운_곰

2020.12.17

1416

[인프라 모니터링 오픈소스] Prometheus 를 알아보자 file

졸리운_곰

2020.12.17

1913

Prometheus + Grafana 대시보드 file

졸리운_곰

2020.12.17

2494

Grafana란?

졸리운_곰

2020.12.17

2166

Importing wikipedia dump to MySql

졸리운_곰

2020.10.04

2500

big data (빅데이터) Java Client for publishing and consuming messages from Apache Kafka

Java Client for publishing and consuming messages from Apache Kafka

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

댓글 0

	package com.spnotes.kafka;

	import java.text.SimpleDateFormat;
	import java.util.Date;
	import java.util.Properties;

	import kafka.producer.KeyedMessage;
	import kafka.producer.ProducerConfig;

	/**
	* Created by user on 8/4/14.
	*/
	public class HelloKafkaProducer {
	final static String TOPIC = "javatest";


	public static void main(String[] argv){
	Properties properties = new Properties();
	properties.put("metadata.broker.list","localhost:9092");
	properties.put("serializer.class","kafka.serializer.StringEncoder");
	ProducerConfig producerConfig = new ProducerConfig(properties);
	kafka.javaapi.producer.Producer<String,String> producer = new kafka.javaapi.producer.Producer<String, String>(producerConfig);
	SimpleDateFormat sdf = new SimpleDateFormat();
	KeyedMessage<String, String> message =new KeyedMessage<String, String>(TOPIC,"Test message from java program " + sdf.format(new Date()));
	producer.send(message);
	producer.close();
	}
	}

	package com.spnotes.kafka;

	import java.io.UnsupportedEncodingException;
	import java.nio.ByteBuffer;
	import java.util.HashMap;
	import java.util.List;
	import java.util.Map;
	import java.util.Properties;

	import kafka.consumer.Consumer;
	import kafka.consumer.ConsumerConfig;
	import kafka.consumer.ConsumerIterator;
	import kafka.consumer.KafkaStream;
	import kafka.javaapi.consumer.ConsumerConnector;
	import kafka.javaapi.message.ByteBufferMessageSet;
	import kafka.message.MessageAndOffset;


	/**
	* Created by user on 8/4/14.
	*/
	public class HelloKafkaConsumer extends Thread {
	final static String clientId = "SimpleConsumerDemoClient";
	final static String TOPIC = "pythontest";
	ConsumerConnector consumerConnector;


	public static void main(String[] argv) throws UnsupportedEncodingException {
	HelloKafkaConsumer helloKafkaConsumer = new HelloKafkaConsumer();
	helloKafkaConsumer.start();
	}

	public HelloKafkaConsumer(){
	Properties properties = new Properties();
	properties.put("zookeeper.connect","localhost:2181");
	properties.put("group.id","test-group");
	ConsumerConfig consumerConfig = new ConsumerConfig(properties);
	consumerConnector = Consumer.createJavaConsumerConnector(consumerConfig);
	}

	@Override
	public void run() {
	Map<String, Integer> topicCountMap = new HashMap<String, Integer>();
	topicCountMap.put(TOPIC, new Integer(1));
	Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap = consumerConnector.createMessageStreams(topicCountMap);
	KafkaStream<byte[], byte[]> stream = consumerMap.get(TOPIC).get(0);
	ConsumerIterator<byte[], byte[]> it = stream.iterator();
	while(it.hasNext())
	System.out.println(new String(it.next().message()));

	}

	private static void printMessages(ByteBufferMessageSet messageSet) throws UnsupportedEncodingException {
	for(MessageAndOffset messageAndOffset: messageSet) {
	ByteBuffer payload = messageAndOffset.message().payload();
	byte[] bytes = new byte[payload.limit()];
	payload.get(bytes);
	System.out.println(new String(bytes, "UTF-8"));
	}
	}
	}

big data (빅데이터) Java Client for publishing and consuming messages from Apache Kafka

Java Client for publishing and consuming messages from Apache Kafka

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다. 어린이용이며, 설치가 필요없는 브라우저 게임입니다. https://s1004games.com

댓글 0

로그인

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com