SheepDev

基础设施估算

保存 30 天日志需要多少空间?

使用工具

日志盘快满,要估三十天容量。每行很短忽略事件增长,只看未压缩量也可能高估。应拆事件数、单条字节、保留天数、压缩后比例和总存储副本。

从每日十万条、每条 500byte 开始

此界面区间为一天,无压缩、总一份
events per day: 100000
bytes per event: 500
days: 30
compression ratio: 1
stored copies: 1

结果 1,500,000,000byte,每日五千万乘三十,为 1.5GB 或约 1.397GiB。不要把 GiB 数字当 GB。

当前公开配置中每区间事件数按每日。每秒百条先换 100×86,400=8,640,000 条/日,直接填百就误成每日百条。先统一统计间隔。

压缩比 0.5 表示保存原一半

改 0.5 得 750,000,000byte,0.25 得 375,000,000。字段为压后/压前倍率,不是填 50 的百分比。1 无削减,减少 25% 应剩 0.75 非 0.25。

比例依赖内容方式,重复记录与含已压缩加密数据不应假定同率。无代表实测就比较 1、0.5 等情景,别称已测。工具不上传日志测压缩。

副本数是总存储份数

0.5 压缩、总两份即 1,500,000,000byte。主一份加副一份填二;若服务 replica=1 仅指额外一份,直接抄一会少算。

先定是否含备份、异地。倍率假设同大小,保留或压缩不同的目的地宜分别算再合。份数增加不证明备份可恢复。

每条 500byte 包含什么

若保存时间、级别、请求 ID、JSON 键分隔符,均应含平均大小。可见字符不等 UTF-8 字节,中文日文表情尤其如此,可用字符字节计数核对短例。

一行不总等一事件,堆栈多行或采集器合并。计数单位与平均尺寸单位须相同,用样本总字节除对应事件数可明确平均基准。

同每日模型下九十天才是三倍

同条件九十日 4,500,000,000byte,固定每日模型保留三倍容量三倍。若事件增长需改日假设,新功能日志级别也可改单条大小。

故障突增使长期平均不能说明峰值,应分正常增长情景并看实存储。工具不预测峰值也不读取历史分析趋势。

日志正文不等搜索系统磁盘量

索引、元数据、工作空间、文件系统余量不自动含在基础正文估计。产品不同,不能凭空统一倍率称实测,应参考官方与代表测量另记附加量。

到期与实际释放空间不一定同步,稳态模型不模拟删除延迟或切换峰值。别直接把结果当磁盘上限,应明确包含排除范围。

区分日常平均与故障期间增长

每天十万与每秒十万完全不同。此画面按日,持续每秒 100 件应乘 86400,得日 864 万。但把某一秒峰值延伸全天是假设持续峰值。应区分平均、繁忙日和故障日,计算不会把假设变成实测。

故障不仅增加频率,堆栈也可能使单条变长。件数和平均大小都翻倍会变四倍,而非仅两倍。记录改变了哪些变量才能解释增长。画面不自动保存场景历史,需要比较时应主动保留条件与结果。

保留期还应考虑后续调查需要。删关键字段可能无法追踪事件,容量足够也不证明应保存不必要秘密或正文。工具只呈现件数、大小、天数的容量后果,不决定采集策略、权限或保留义务。

参考资料

使用工具

指南 →