当前位置: 首页 > news >正文

Kafka资源配置估算

①生产者峰值生产速率 R = 高峰系数f × ( 每天产生的数据条数B / 86400 ) × 单条数据大小C

其中,f 视观测情况而定,一般取10~20中间的一个数

           C 的单位是bit,R的单位最终需要转换为MB/s

②估算的服务器台数M = 2 × ( 生产者峰值生产速率R × 副本数r / 100 )+ 1,结果需要向上取整,最终结果是一个奇数

③磁盘选择,机械硬盘即可

磁盘大小DC最小值 = 每天消息总条数B × 单条数据大小C × 副本数r × 保存天数d / 系数m

其中,保存天数d默认取7,系数一般取0.5~1之间的一个小数,最终结果向上取整

④CPU的选择
IO线程数 = CPU总线程数k × 50% ≈ Max( 各个Topic的Partition数量 )

副本拉取线程数Tr = CPU总线程数k × (1 - 50%) × 1/4

数据传输线程数Tt = 副本拉取线程数Tr × j,其中j一般取1或者2即可

其他维护线程数Tm = 固定值(4 ~ 8)

所以选择CPU核数至少需要32核

⑤网络带宽

一般选择千兆网即可

相关文章:

  • 优秀的吉祥物设计网站/关键词优化软件哪家好
  • 中国做的比较好的网站设计公司有哪些/深圳关键词快速排名
  • 网站开发公司报价单模板/免费网站软件推荐
  • 聊城做网站公司信息/知乎关键词搜索
  • 给别人做网站如何收费/官网seo哪家公司好
  • 徐州seo顾问/现在学seo课程多少钱
  • Cookie 和 Session 的工作流程
  • dpdk编译
  • ssm药店药品进销存管理系统idea maven mysql
  • (GCC)STM32进阶详解之栈回溯
  • python-面向对象
  • 字符串位置的查询 - 指针
  • 【C++】STL——priority_queue的介绍和使用及模拟实现
  • NeurIPS'22 | APG:面向CTR预估的自适应参数生成网络
  • 【python绘制地图——folium实用功能进阶】
  • HTTPS协议的密钥交换流程
  • 钱为什么会贬值?
  • 2022年债券估值工具和方法