无法为分区表上的复合浮点列分配内存-Java 学习之路

我的hdb中有一个分区表，其中包含一个包含大型浮点列表的列（每个元素最多400个浮点数） . 例如，每个元素看起来像

(100.0 1.0 ...)

当尝试从行数特别多的日子中选择此列时，我会收到错误消息

'./2015.02.07/table/column# Cannot allocate memory

同样的错误来自如下查询：

select column[;0] from table where date=2015.02.07

即使在行数较少的日子，此查询也会返回列中每个元素的第一个值 .

有没有办法在select中流式传输此列，以减少将整个列保留在内存中一天的内存需求？

EDIT

.Q.ind在大日子里失败并出现同样的错误 .

即鉴于我可以使用2015.02.01而不是2015.02.02：

.Q.ind[select from table where date=2015.02.01;enlist 1]

很好，但是

.Q.ind[select from table where date=2015.02.02;enlist 1]

失败了

{0!$[#.Q.pm;p3;(?).]@[x;0;p1[;y;z]]}
'./2015.02.10/table/column2#: Cannot allocate memory
@
.[?]
(+`time`sym`column1`column2!`:./2015.02.02/table;();0b;())

我应该注意到我使用的是免费的32位版本

3 回答

1
我认为这只是自由32位内存限制的组合，事实上你的行数可能很大，而且（不可避免地）在从列中检索数据时必须将某些内容完全拉入内存这一事实，无论是列本身完全被拉入（在非嵌套的情况下）或者它的嵌套索引列被完全拉入 .

另一件需要考虑的事情是kdb使用二次幂（伙伴）内存分配 . 即使今天的表只包含比昨天多一行，每列的内存需求可能会翻倍 . 举一个简单的例子：

在免费的32位版本（Windows）中，您可以创建这么多浮点数，它只使用~1.07g的内存
```
q)\ts 134217726?1.0
3093 1073741952
```
但是，尝试生成一个额外的浮点数并达到内存限制
```
q)\ts 134217727?1.0
wsfull
```
因此，如果你接近两个可分配权力的边界，那么即使在一天和下一天之间的差异中的少量行也是非常重要的 .

--DISCLAIMER--以下是hacky，仅用于调试！

您实际上可以手动尝试从嵌套列表中访问数据，但无论如何您仍可能遇到内存问题 .

创建一个嵌套表并展开它
```
q)tab:([] col1:(101 102 103f;104 105f;106 107 108 109 110f;111 112f))
q)tab
col1
--------------------
101 102 103f
104 105f
106 107 108 109 110f
111 112f
q)
q)`:test/ set tab
`:test/
```
您可以尝试从嵌套索引文件中读取索引
```
q)2_first (enlist "j";enlist 8)1:`:test/col1
3 5 10 12
```
因此，拆分完整的浮点列表（col1＃文件）的索引是索引3，索引5,10等

说我想要前3行
```
q)myrows:3#2_first (enlist "j";enlist 8)1:`:test/col1
q)myrows
3 5 10
```
然后我知道我需要col1＃文件中的前10个浮点数，需要将它们拆分为索引3和5.然后我可以部分读取col1＃文件并正确拆分
```
q)(0,-1_myrows) cut raze (enlist "f";enlist 8)1:(`$":test/col1#";0;8*last myrows)
101 102 103f
104 105f
106 107 108 109 110f
```
但这正是KDB无论如何都要做的事情，所以我怀疑你甚至在首先阅读嵌套索引文件时仍然会遇到麻烦 .

检查这个debug / hack，看看你是否可以部分阅读 . 但显然这不是一个长期的解决方案！
回复于 2018-12-14T16:29:00+00:00
0

嵌套列以通常的方式查询很困难，因为 # 文件也需要加载到内存中（即使使用 [;0] ）

您最好的选择是选择映射日期分区，然后在块中选择块，例如一次一百万行（或者根据嵌套浮动的大小，任何合理的行） .

如果可以牺牲一些小数精度，也许还可以考虑32位浮点数 .

EDIT

所以评论后我想最好的方法是每次使用 .Q.ind 将每个分区分成多行

回复于 2018-12-14T16:29:00+00:00
1
只是为了给我2美分，我有一个类似的错误，但有64位实例 .
- 我怀疑内存需要拆分，因为它运行了将近一年 .
- 弹出实例解决了问题，并释放了大量虚拟内存
回复于 2018-12-14T16:29:00+00:00

无法为分区表上的复合浮点列分配内存

3 回答

相关问题