milvus资源评估问题

[bhxiaoxinba]

10M数据量维度768，原数据大小29G左右，但是https://milvus.io/tools/sizing评估结果存储为什么是2.6T这么大？minio存储1200G？
请问下是怎么计算的？

[yhmo]

占用存储空间的主要因素：

1. 消息机制，pulsar/kafka以及standalone的本地消息队列，相当于传统数据库的WAL(write ahead log)，你插入10兆数据，消息队列中就会存储10兆，然后datanode从消息队列中消费之后又会把10兆数据持久化到存储系统里。这里至少翻倍。消息流系统自己的存储机制有可能会把这个数值放大。
2. datanode把存储到存储系统后，由于segment合并机制的存在，A+B=C，在一段时间里，A，B，C三者可能同时存在
3. indexnode给segment建好索引后，索引文件也会存储在存储系统，不同的索引类型大小不一样，比如IVF_FLAT/HNSW索引数据和原始数据量基本想当，IVF_PQ/IVF_SQ8大约相当于原始数据量的25% ～ 30%

不同的场景所消耗的内存和磁盘也不同。都是1亿数据的情况下，你每秒插入100条数据，和每秒插入1万条数据，内部产生的合并行为也会不一样。pulsar/kafka/minio这些作为分布式部署时，也会有自己的多副本机制。
所以，sizingtool是根据经验值做了一个比例换算，对于不同的数据量和索引类型，磁盘用量乘以一个较大的系数，这个系数会很大。你如果觉得多了，自己可以缩一缩，缩到无法运行时再自己扩一扩，但是一个"刚好够"的资源状态有可能会在你场景变化时崩掉。