Kane Xie


  • 首页

  • 标签

  • 归档

  • 搜索

Cloudera Manager配置

发表于 2016-09-07 | | 阅读次数:
  • 登录http://<cm-server>:7180/cmf/login,用户名/密码:admin/admin。由于cm-server的启动需要花点时间,这里可能要等待一会才能访问。

阅读全文 »

影响单次poll返回最大数据量的几个因素

发表于 2016-08-25 | | 阅读次数:

timeout

单次poll最大等待时间,consumer.poll(1000)意味着在缓存中的数据被消费完之后,consumer会到broker中拉取数据,最多等待1000毫秒。很明显,timeout越大,单次poll返回的数据就越多。但前提是有足够多的数据可供消费,如果在1000毫秒内,consumer已经拿完所有能拿的数据,就会立即返回。

阅读全文 »

log4j warnning

发表于 2016-08-23 | | 阅读次数:
1
2
log4j:WARN Continuable parsing error 39 and column 23
log4j:WARN The content of element type "log4j:configuration" must match "(renderer*,appender*,plugin*,(category|logger)*,root?,(categoryFactory|loggerFactory)?)".
阅读全文 »

加倍下注法Martingale测试

发表于 2016-08-17 | | 阅读次数:

Martingale大致意思是

地下庄家开了一个赌局:猜硬币的正反。假设你下注1元,如果猜中,你可以赢1元,如果猜错,你要输1元。
那有人想出来一个必胜法,先赌2元,赢了就收手。如果输了就赌4元。如果再输就赌8元,再输就赌16元,如此继续。这是必胜的赌博策略。

问,这个真的是赌博的必胜法吗?

阅读全文 »

Kafka REST Proxy Content Types

发表于 2016-08-09 | | 阅读次数:

Kafka REST proxy的request和response的content type包含了数据的三种属性:序列化格式(比如json),API版本(比如v1)和内嵌格式(比如binary)。目前序列化格式只有json,API版本只有v1。

内嵌格式是指produce或者consume的数据的格式,这些数据本身是被内嵌在request或者response中。举个例子,你可以在json序列化的request中嵌入binary格式的数据,数据必须是base64编码的字符串。如果数据本身就是JSON,那么你可以以json格式直接嵌入。

阅读全文 »

Kafka REST Proxy主要功能

发表于 2016-08-08 | | 阅读次数:

Kafka REST Proxy的最终目标肯定是实现所有Java Client和命令行工具所有的功能,但目前只开发了或者说只开放了部分。

Metadata


大部分关于brokers,topics,partitions和config的metadata都能通过GET请求获取

阅读全文 »

Kafka REST Proxy快速入门

发表于 2016-08-07 | | 阅读次数:

Kafka REST Proxy是Confluent的一个组件,它提供了访问Kafka集群的RESTful接口。对于一些暂不支持Kafka的平台或编程语言来说,可以使用Kafka REST Proxy来发送和消费消息,查看集群状态和执行集群管理命令。

安装

  • 要求Java版本 >= 1.7

  • 下载Confluent Platform安装包并解压

阅读全文 »

Kafka机架感知

发表于 2016-08-05 | | 阅读次数:

从狭义字面上理解,机架感知的意思是Kafka会把partition的各个replicas分散到不同的机架上,以提高机架故障时的数据安全性。假如所有replicas(包括leader)都在一个机架上,那么当这个机架发生故障时,所有这个机架上的server都不能提供服务,就会发生数据丢失,而多个机架同时发生故障的概率则要小得多。

阅读全文 »

在Kafka生产中使用SASL

发表于 2016-07-31 | | 阅读次数:

在之前一篇文章中介绍了Kakfa0.10中提供的SASL/PLAIN安全认证机制,这种认证使用起来非常简单,但如果直接应用到生产环境中,就不够严谨了。但好在Kafka提供了接口可以让我们对其进行优化和增强。

阅读全文 »

ScheduledExecutorService.scheduleAtFixedRate精确性

发表于 2016-07-26 | | 阅读次数:

先说结论,ScheduledExecutorService.scheduleAtFixedRate只能保证执行的频率,并不能精确保证两次执行的时间间隔。

阅读全文 »
1…345…8
Kane Xie

Kane Xie

不吃早餐才是一件很嘻哈的事

74 日志
29 标签
GitHub E-Mail
© 2015 — 2019 Kane Xie
蚂蚁金服大量职位内推,请将简历投递至kane.xiejing@qq.com,欢迎你的加入!