博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Linux安装Kafka
阅读量:5875 次
发布时间:2019-06-19

本文共 2268 字,大约阅读时间需要 7 分钟。

本文介绍Linux安装Kafka。

1.Kafka简介

Kafka也是开源与Apache开源基金会的项目,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统。

在百度百科是这样介绍的:

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。

Kafka官网地址为:,感兴趣的可以多多查看官网文档。

2.准备工作

2.1 安装环境

本文所安装的Kafka为2.10版本,Linux系统版本为CentOS 7.2,使用Zookeeper是Kafka自带的,安装目录为/usr/local/software/。

2.2 准备工具

1.Java

Kafka是依赖Java环境运行,所以需要在Linux系统内安装Java环境。

2.安装Kafka

步骤大致分为如下几步:

2.1 下载Kafka

wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz复制代码

2.2 解压Kafka

tar -zxvf kafka_2.10-0.10.2.1.tgz 复制代码

2.3 进入配置文件目录

cd /usr/local/software/kafka_2.10-0.10.2.1/config复制代码

2.4 修改配置文件server.properties,添加下面内容:

broker.id=0port=9092 #端口号host.name=172.30.0.9 #服务器IP地址,修改为自己的服务器IPlog.dirs=/usr/local/logs/kafka #日志存放路径,上面创建的目录zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181复制代码

2.5 编写启动脚本

vi kafkastart.sh复制代码
#启动zookeeper/usr/local/software/kafka_2.10-0.10.2.1/bin/zookeeper-server-start.sh /usr/local/software/kafka_2.10-0.10.2.1/config/zookeeper.properties &#等3秒后执行sleep 3 #启动kafka/usr/local/software/kafka_2.10-0.10.2.1/bin/kafka-server-start.sh /usr/local/software/kafka_2.10-0.10.2.1/config/server.properties &复制代码

2.6 编写关闭脚本

vi kafkastop.sh复制代码
#关闭zookeeper/usr/local/software/kafka_2.10-0.10.2.1/bin/zookeeper-server-stop.sh /usr/local/software/kafka_2.10-0.10.2.1/config/zookeeper.properties &#等3秒后执行sleep 3 #关闭kafka/usr/local/software/kafka_2.10-0.10.2.1/bin/kafka-server-stop.sh /usr/local/software/kafka_2.10-0.10.2.1/config/server.properties &复制代码

2.7 启动脚本,关闭脚本赋予权限

chmod 777 kafkastart.sh复制代码
chmod 777 kafkastop.sh复制代码

3.安装问题

安装Kafka过程中没有遇到太大的问题,一路输入就通过了。

4.可视化管理页面安装

kafka官网地址:,运行比较简单,只是一个可执行jar(KafkaOffsetMonitor-assembly-0.2.1.jar)。

4.1 编写启动脚本

java -Xms128M -Xmx128M -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=128m -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk localhost:2181 --port 8787 --refresh 10.seconds --retain 7.days 1>/usr/local/software/kafka-monitor/stdout.log 2>/usr/local/software/kafka-monitor/stderr.log &复制代码

5.总结

以上安装都是经过本人亲测可用的,安装过程还是比较简单。

转载地址:http://mdkix.baihongyu.com/

你可能感兴趣的文章
ubuntu 12.04 下面安装vmware workstation 8.0.4
查看>>
[原创]FineUI秘密花园(二十三) — 树控件概述
查看>>
【Java学习笔记】如何写一个简单的Web Service
查看>>
如何解决This system is not registered with RHN.
查看>>
Cocos2d-x学习笔记(两)Cocos2d-x总体框架
查看>>
拆解探索MagSafe电源接口结构和指示灯变颜色原理
查看>>
Android中EditText,Button等控件的设置
查看>>
lintcode:Remove Nth Node From End of Lis 删除链表中倒数第n个节点
查看>>
POJ 1915-Knight Moves (单向BFS && 双向BFS 比)
查看>>
java中在linux下利用jstack检测死锁
查看>>
linux编译安装LAMP
查看>>
php中的continue用法
查看>>
Android小游戏应用---撕破美女衣服游戏
查看>>
TextKit简单示例
查看>>
网格最短路径算法(Dijkstra & Fast Marching)(转)
查看>>
最短路径算法-Dijkstra算法的应用之单词转换(词梯问题)
查看>>
软链接和硬链接详解
查看>>
HTML5 video 视频标签 常用属性
查看>>
深入理解javascript对象系列第一篇——初识对象
查看>>
Redis_master-slave模式
查看>>