`
jeast
  • 浏览: 70473 次
  • 性别: Icon_minigender_1
  • 来自: 厦门
社区版块
存档分类
最新评论

淘宝分布式消息中间件:Metamorphosis

阅读更多

Metamorphosis是一个高性能、高可用、可扩展的分布式消息中间件,由淘宝通用产品-消息中间件团队开发,思路起源于LinkedIn的Kafka,但并不是Kafka的一个Copy。具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日志数据传输等场景,目前在淘宝和支付宝有着广泛的应用。

特征

  • 生产者、服务器和消费者都可分布
  • 消息存储顺序写
  • 性能极高,吞吐量大
  • 支持消息顺序
  • 支持本地和XA事务
  • 客户端pull,随机读,利用sendfile系统调用,zero-copy ,批量拉数据
  • 支持消费端事务
  • 支持消息广播模式
  • 支持异步发送消息
  • 支持http协议
  • 支持消息重试和recover
  • 数据迁移、扩容对用户透明
  • 消费状态保存在客户端
  • 支持同步和异步复制两种HA
  • 支持group commit
  • 更多……

总体结构

 

内部结构

 

Broker增加或减少时

当broker server增加或减少时,client会重新进行负载均衡。Broker减少的瞬间,在负载均衡之前,已经发送到减少的那台broker但未到达服务器时,客户端将会捕获到发送异常,由业务决定如何处理,负载均衡之后将正常发送到其他服务器上。

  • 大小: 52.3 KB
  • 大小: 136.7 KB
分享到:
评论

相关推荐

    支付宝内部架构剖析?

    Metamorphosis (MetaQ) 是一个高性能、高可用、可扩展的分布式消息中间件,类似于LinkedIn的Kafka,具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用 于大吞吐量、顺序消息、广播和日志数据传输等场景,...

    淘宝消息队列metamorphosis使用

    淘宝消息队列metamorphosis使用,下载java项目后查看readme.txt文本配置zookeeper,metaq后在测试代码修改下自己的配置即可执行demo,可以通过生产者生产消息,消费者消费消息

    kafka学习文档

    关亍 kafka 的基本知识,分布式的基础:《分布式消息系统 Kafka 刜步》 kafka 的分布式搭建,quick start:《kafka 分布式环境搭建》 关亍 kafka 的实现细节,返主要就是讲 design 的部分:《细节上》、《细节下》 ...

    支付宝之所以牛逼的原因:来看内部架构剖析

    Metamorphosis(MetaQ)是一个高性能、高可用、可扩展的分布式消息中间件,类似于LinkedIn的Kafka,具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日志数据传输等场景,在...

    metaq消息中间件服务端、客户端资源汇集

    Metamorphosis是淘宝开源的一个Java消息中间件,他类似apache-kafka,但不是一个简单的山寨拷贝,而是做了很多改进和优化,项目的主页在淘蝌蚪上。服务端、客户端、javadoc都包含在内。

    Metamorphosis, 一种高可用高性能的分布式.zip

    Metamorphosis, 一种高可用高性能的分布式 #新闻MetaQ 1.4.6.2 发布。更新日志MetaQ 1.4.6.1 发布。更新日志MetaQ 1.4.5.1 发布。更新日志MetaQ 1.4.5发布。更新日志meta: 一个用于的ruby 客户端。 源代码

    Metamorphosis

    JGoodies ::Java User Interface Design-->Application -->Metamorphosis

    zookeeper-3.4.5,metamorphosis-server-wrapper

    zookeeper-3.4.5,metamorphosis-server-wrapper工具包,需要的可以下载

    metamorphosis(metaq)

    metamorphosis(metaq) 服务端1.4.3版本 包括客户端 发送一个序列化对象

    Metamorphosis介绍.pptx

    Metamorphosis介绍

    Metaq详细手册.docx

    Memorphosis是一个消息中间件,它是linkedin开源MQ——kafka的Java版本,针对淘宝内部应用做了定制和优化。Metamorphosis的设计原则 • 消息都是持久的,保存在磁盘 • 吞吐量第一 • 消费状态保存在客户端 • ...

    morpher_source.tar.gz_Metamorphosis

    File from feature-based image metamorphosis

    Big.Data.MBA.Driving.Business.Strategies.with.Data.Science.11191811

    Integrate big data into ...Chapter 12: Metamorphosis Exercise Part IV: Building Cross-Organizational Support Chapter 13: Power of Envisioning Chapter 14: Organizational Ramifications Chapter 15: Stories

    Memorphosis详细手册

    Memorphosis是一个消息中间件,它是linkedin开源MQ——kafka的Java版本,针对淘宝内部应用做了定制和优化。Metamorphosis的设计原则

    Next-Word-Prediction-with-NLP-and-Deep-Learning:使用LSTM设计单词预测系统

    NLP和深度学习的下一个单词预测使用LSTM设计单词预测系统查看本文以获取代码的完整细分-https: metamorphosis_clean包含已清理的数据。 Next Word Prediction-1.ipynb包含模型设计和所涉及的训练步骤。 Predictions-...

    Metamorphosis:在我们中间

    变态在Us Mod中,它将Imposotrs转换为Metamorphs。变形可以做什么? 甲基异形体可以具有其他任何非甲基异形体播放器的外观。怎么做? 通过接触其他玩家,Methamorph会自动收集其DNA样本。 利用他们的DNA,他们可以对...

    Metamorphosis:终极光标转换器

    变态终极光标转换器为什么经过几项研究,我得出的结论是,它不存在一个健壮的工具来执行不同平台格式之间的游标转换。 因此,受和启发,我决定创建一个非常酷的游戏。... 自动纠正懒惰作者的错误。...

    Metamorphosis-master(metaqueue)详细手册

    metaqueue详细手册,包括配置及安装还有原理介绍等。

    Metamorphosis.txt

    One morning, when Gregor Samsa woke from troubled dreams, he found himself transformed in his bed into a horrible vermin. He lay on his armour-like back, and if he lifted his head a little he could ...

    Amphibian metamorphosis. From morphology to molecular biology

    Amphibian metamorphosis. From morphology to molecular biology Molecular metamorphosis Amphibian metamorphosis. From morphology to molecular biology (1999). Yun-Bo Shi. Wiley-Liss, £54.95, hardback...

Global site tag (gtag.js) - Google Analytics