1 实验目的
- 了解Kafka中的生产者、消费者、topic等基本概念;
- 熟悉Kafka Shell常用命令;
- 学习使用Kafka的Java API,编程实现Kafka常用功能;
2 实验环境
实验平台:基于实验一搭建的虚拟机Hadoop大数据实验平台上的Kafka集群;
编程语言:JAVA(推荐使用)、Python、C++等;
3 实验内容
- 使用Kafka Shell命令完成以下任务:
(1). 创建任意topic
(2). 创建向该topic发送数据的生产者
(3). 创建订阅该topic的消费者 - 使用Java API编程实现以下任务:
(1). 实现生产者程序,向指定topic发送数据
(2). 实现消费者程序,从(1)中指定的topic中订阅数据并将消费得到的数据存到本地文件中。 - 对以上两部分任务撰写实验报告,并提交实验代码。
4 准备工作
5 Kafka Shell命令
5.1 创建任意topic
5.2 创建向该topic发送数据的生产者
在cluster1上执行
注意,这里的cluster1:9092
如果写成localhost:9092
可能会出现错误,除非事先将localhost
的ip指向修改为了当前ip。
5.3 创建订阅该topic的消费者
在cluster2上执行
5.4 验证效果
在cluster1中输入内容,可以在cluster2中显示出来。
6 Java API
6.1 实现生产者程序,向指定topic发送数据
编写程序ghbProducer.java
打开WinSCP,将ghbProducer.java及实验数据复制到虚拟机cluster1的/home/hadoop路径下。
输入topic名称以及发送的行数。
6.2 实现消费者程序,从指定的topic中订阅数据并将消费得到的数据存到本地文件中。
编写程序ghbConsumer.java
打开WinSCP,将ghbConsumer.java复制到虚拟机cluster2的/home/hadoop路径下。
输入topic名称和保存文件的路径。
查看保存的文件
能上传下实验5参考下吗0.0
好的,已发布
感谢!