2016 - 2024

感恩一路有你

kafka多个生产者同时生产 如何基于kafka来实现一个全功能的关系型数据库?

浏览量:1334 时间:2021-03-12 08:33:20 作者:admin

如何基于kafka来实现一个全功能的关系型数据库?

以下是我对你的回答,拒绝复制和粘贴。

首先,Kafka是一个分布式消息中间件,主要用于消费者和生产者的场景。这是一种发布-订阅关系。

关系数据库是一个数据存储系统,主要用于存储关系数据。

基于Kafka,无法实现全功能关系数据库。卡夫卡本身与数据库没有对应关系,它们存储的数据库也没有对应关系。

如果我们要把这两件事联系起来,我们通常会把数据库的信息读出来放在卡夫卡中,也就是消息生产者;而从卡夫卡获取数据的客户端或终端就是消费消息,也就是消费者。当然,您可以读取来自卡夫卡的消息,并在处理后将其存储在数据库中。您应该知道Kafka是一个中间件,它的主要功能不是像数据库那样存储数据。

建议您首先明确需求,并确定您的问题是否满足需求。

日志采集系统flume和kafka有什么区别及联系?

flume和Kafka的一些功能是相同的,但总的来说,它们是完全不同的;它们的场景是不同的,但它们可以一起使用。

简而言之,flume是一个分布式日志收集系统,它从各种服务器收集日志并将其传输到指定的位置,如HDFS。

Kafka是一个分布式消息中间件,有自己的存储,提供推拉数据访问功能。

整个过程如下:

登录服务器<--flume-->kafka-->hdfs-->离线计算

登录服务器<--flume-->kafka-->storm

希望我的回答能对您有所帮助

如何使用消息队列解决分布式事务?

有两种选择。

Scheme 1 Local message transaction table

生产者需要添加一个事务消息表。具体步骤如下:[1。生产者执行业务逻辑并将事务记录插入到消息表中。这两个操作在一个本地事务中

2。启动后台线程定期轮询消息表并将消息发送到消息队列

3。删除消息表中的消息,直到发送成功。

方案2需要消息队列支持,业务端提供回溯接口

1。生产端将准备好的消息发送到消息队列

2。在本地事务中,业务逻辑

3。根据执行结果确认或取消准备好的消息

4。消息队列将确保准备好的消息被确认或取消,并且消息队列将不断地向生产端请求执行结果,这要求生产端提供类似的回调函数。

在方案2中,消息队列取代了方案1中的消息表和后台线程轮询功能,但并非所有消息队列都支持此功能。支持Rocketmq。

方案1的开发工作量大,外部依赖性小

方案2的开发工作量小,但依赖于特定的消息队列。

!2011,卡夫卡被捐赠给了Apache基金会,而拉夫的论文则是在2013年由斯坦福大学出版的一个潜在的共识算法中找到的,卡夫卡是在RAFT之前出生的。当1/3节点不可用时,服务不可用。Kafka中维护的ISR(in-sync replica,同步副本)可以提供服务,即使副本不可用,只剩下领头羊

3:更大的数据吞吐量。木筏适用于强稠度

kafka多个生产者同时生产 kafka生产者数据阻塞 kafka客户端连接数

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。