北京kafka消息队列原理,北京kafka消息队列的缺点,kafka消息队列数据结构

课程详情

2021-04-09

Kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。

KAFKA消息队列*实践培训

一、培训对象:

架构师

高级工程师

全栈工程师

后端工程师

开发工程师

从事架构设计、制定脚骨、使用或管理架构的人员，*括系统分析人员

项目经理、技术经理和质量*经理；

文档编写人员；

软件分析人员和设计人员；

应用程序专家

二、课程实施:

课程通过4种方式实施：

实践经验分享

大型实例案例分析

深入探讨

系统性理论知识梳理

三、课程安排:

第二天

Apache Kafka消息系统

什么是消息系统

异步接口设计的主要业务场景

异步消息队列的应用

同步与异步接口在解决不同业务场景时的选型

超大型应用系统中消息系统的应用场景深入解析

消息系统在应用服务构建时的应用场景

消息系统在数据体系构建时的应用场景

异步消息队列设计的核心性能调优4大原则

在不同的场景下选用不同调优策略

Apache Kafka的基本架构和概念

Kafka的设计目标

消息队列的分类

Kafka与同类系统的对比

Kafka的集群机制

Kafka的扩容机制

Kafka的消息队列机制

为什么Kafka的吞吐性能极高，其物理IO的设计机制

Kafka的容错机制

案例分析：通过一个超大型百万级并发微服务架构中Kafka规划案例解析，如何在应用系统架构中采用Kafka，Kafka所解决的核心关键问题

Kafka的架构深度解析

Kafka主要组件及其作用

AMQP协议

Apache Kafka在ZooKeeper上的存储结构

Producer-消息生产者的深入解析与应用场景

Consumer-消息消费者的深入解析与应用场景

Broker-Kafka服务器集群的实现，分析应用非功能性需求，定义吞吐定义Broker服务器数量，业务访问量的推算与集群服务器数量未来增长的预测方案，当前服务器集群规划

Topic-消息类别定义，如何依据应用特征设计Topic

Partition-定义消息分区，为什么需要定义消息分区

Replication副本数定义

Offset：消息偏移量的主要应用方法，使用Offset进行消息的检索与**性保障

Consumer Group：多Consumer的应用场景解析，及其在架构中的应用关键点

In-Sync Replicas

Zookeeper：集群管理与选举机制，Kafka与ZooKeeper集成的目标

Leaders and Follows

案例分析：通过一个超大型百万级并发微服务架构中Kafka规划案例解析，如何进行，Broker,Topic,Partition,Replication,ConsumerGroup等的设计过程

第三天/第四天

Apache Kafka的分布式集群构建与基本操作

Apache Kafka在ZooKeeper上的存储结构

ZooKeeper集群的架构解析

ZooKeeper分布式集群搭建

Broker的配置与搭建

Kakfa关键配置信息

创建ServerID

主节点的配置与搭建

子节点的配置与搭建

集群启动与集群验证

生产消息与消费消息

获取消息列表

删除Topic

案例实践：构建一个4台服务器的Kafka分布式集群，并完成Kafka基础操作

Kafka集群的容器化

在Docker中构建Kafka集群

Kafka的分布式集群进阶-百万级并发消息处理架构设计

Kafka集群的高可用设计

Kafka子节点下线

添加一个子节点到集群

Kafka主机宕机的处理

深入解释Kafka的消息组织原理

查看分区Topic的Offset

Topic的Partition与Replication设计

Topic的Partition扩容

Topic的Replication扩容

Consumer Group的设计

消息传输机制的设计

Consumer的再平衡

Log Compaction

消费怎么*不丢数据Offset怎么存

主节点关闭异常的处理

Kafka实现百万级并发消息系统的架构设计

典型案例分析：分析大型互联网出行类系统的消息系统应用案例，将整体串讲到基于Kafka的消息系统几大核心问题

一个大型的实例大数据实时流式处理案例实践-实时LBS位置数据分析-*括数据去噪，降维，通勤路线分析，通勤实践分析等实时分析过程

具备掌握Storm/Kafka大数据实时流式处理/异步消息队列应用系统的完整架构设计，具备项目的分析、开发、部署的全过程的能力，贯穿前面课程的主要内容，使大家熟悉一个完整实时流式、异步消息队列处理额大数据项目的分析、架构设计、开发、部署的全过程

第五天

Apache Kafka的应用开发实践-通过多个案例实践完成Kafka的关键代码实现

Kafka开发环境的构建

Kafka的API接口

Producer端代码编程模型

Consumer端代码编程模型

多主题的订阅代码编程模型

提取Offset

使用代码进行消息的遍历

发送消息到指定分区

指定分区的消息拉取

消息幂等的代码实现

Acks的代码实现

kafka rebalance的监听

Kafka多线程开发

Kafka的事务处理

Kafka线程处理

Kafka构建微服务解耦消息通知架构

微服务解耦消息通知架构的接口设计

对Kafka应用的改造使其能够进行解耦处理

微服务消息发送方代码实现

微服务消息接收方代码实现

多实例微服务消息接收方设计与代码实现

多微服务消息接收方代码实现

极限并发下Redis替换Kafka的解决方案实现

替换Kafka时避免微服务调用端代码的修改

案例实践：对一个大型微服务系统的解耦架构进行解析，实现微服务解耦消息通知架构的代码，通过该案例代码完成微服务解耦框架的代码实现

Kafka性能测试设计

Kafka性能工具的选型

Kafka性能测试的环境设计

Kafka性能测试的基准测试设计

Kafka性能测试的峰值测试设计

Kafka性能测试的压力测试设计

Kafka性能测试的疲劳测试设计

案例实践：构建一个性能测试环境，开展对Kafka多角度的性能测试

Kafka构建极高并发日志处理系统架构设计

日志处理系统的应用场景

日志处理系统的核心架构解析

Kafka在日志处理系统中的设计

Kafka构建日志处理系统的存储设计

Kafka构建日志处理系统的

第六天

Apache Kafka与Storm集成案例实践?

Storm的运行机制和部署

Storm的基本概念和编程模型

Storm开发案例

Maven pom的配置

版本冲突的解决

Spout接入Kakfa消息

编写kafka bolt进行消息处理SenqueceBolt

Kafka Topic的处理

kafka提交topology到storm

实时处理应用JAR生成与调度

Storm UI的实时监控

案例实践：通过Kafka集群集成Storm，实现流式数据的实时分析

Apache Kafka与HBase集成案例实践

为什么要集成Kafka与HBase

HBase的运行机制和部署

HBase的基本概念和编程模型

Kafka消息在HBase中的存储模型的设计

Maven pom的配置

版本冲突的解决

Kafka到HBase连接编程模型

Kafka消费消息到HBase编程模型

提取Kafka消息Offset，实现到HBase的顺序读

转换消息成为DF

案例实践：通过Kafka集群集成HBase，实现Kafka与HBase的集成框架代码

上一篇：北京时间序列模型与实战培训下一篇：北京大数据平台的管理优化培训

北京KAFKA消息队列*实践培训

课程详情

推荐课程

北京IT认证培训中心