数据库存储需求和大量数字数据的管理
|
我正在尝试弄清楚如何管理和提供大量数字数据。不确定SQL数据库是正确的方法。方案如下:
每小时收集10000组时间序列数据
每套5个浮点值
收集了大约5000个小时的数据
这样一来,我总共获得了约2.5亿个价值。我需要通过集合ID和时间来查询这组数据。如果可能的话,还可以根据其中一个或两个值进行过滤。我也在不断添加这些数据。
这似乎是很多数据。假设每个值4个字节,即1TB。我不知道SQL数据库的通用“开销乘数”是什么。假设它是2,那么就是2TB磁盘空间。
有什么好的方法来处理这些数据?我可以看到一些选项:
具有ID,时间索引的单个PostgreSQL表
单个SQLite表-这似乎太慢了
每套一个SQLite文件-在这种情况下,很多.sqlite文件
像MongoDB一样?甚至不知道这将如何工作...
感谢那些曾经做过这些的人的评论。
没有找到相关结果
已邀请:
1 个回复
惜堡沁戚