kafka | 八、Kafka之自定义拦截器

[toc]一、拦截器原理Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的,主要用于实现 clients 端的定制化控制逻辑。对于 producer 而言,interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会对消息做一些定制化需


kafka | 七、Kafka之消费者代码实践

[toc]本篇主题,围绕消费者的offset进行讨论和测试!一、消费者问题?Consumer 消费数据时的可靠性是很容易保证的,因为数据在 Kafka 中是持久化的,故不用担心数据丢失问题。由于 consumer 在消费过程中可能会出现断电宕机等故障,consumer 恢复后,需要从故障前的位置的继


kafka | 六、Kafka之生产者代码实践

[toc]本篇在windows下演示,不严谨测试,在Linux下操作一样!(虚拟机三台太卡,所以在windows下测试学习)一、前言前边我们知道了,kafka的架构运行原理,生产者,消费者以及topic主题之间的通信和确保数据的安全。当我们创建了一个主题topic,之前的做法是命令形式,进行发送数据


kafka | 五、Kafka架构原理(下篇)

[toc]一、Kafka 消费者1. 消费方式consumer 采用 pull(拉)模式从 broker 中读取数据。push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由 broker 决定的。它的目标是尽可能以最快速度传递消息,但是这样很容易造成 consumer 来不及处理消息,


kafka | 四、Kafka架构原理(上篇)

[toc]一、Kafka 工作流程及文件存储机制1. Kafka 工作流程Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该


kafka | 三、Kafka基本命令操作

[toc]本篇使用命令可到官网查询:http://kafka.apache.org/082/documentation.html#quickstart本篇中master、node1、node2位集群名称,映射的是对应的ip,如没有做名称和ip的映射,可以写对应的ip地址。一、topic主题命令操作1


kafka | 二、Kafka集群搭建

[toc]一、集群规划本篇只搭建kafka集群zookeeper搭建请移步:https://liudongdong.top/archives/zookeeper集群安装和配置解读环境环境说明备注server1192.168.158.200masterserver2192.168.158.201sla


kafka | 一、Kafka 概述

[toc]一、为什么要使用消息队列?如上图,如果用户填完信息和发送消息同步进行,等待注册结果,时间会被拉长!采用消息队列,注册信息异步到mq中,进行处理,时间会被压缩很大部分!那么使用消息队列有什么好处呢?解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。可恢复性系统的一部分