在我们的apache点燃集群的稳定性测试期间,我们得到了一个与内存相关的问题,其中使用的内存堆空间增加到100%并且没有像我们预期的那样下降 . 这就是我们做的:

创建了一个带有驱逐策略的缓存到FifoEvictionPolicy(最大值:10000,batchSize:100)20个同时执行以下场景的线程,持续几个小时:向缓存添加一个唯一条目,然后获取值以验证该值它被添加了 . 此方案在测试期间创建了大约230万个条目 .

我们的期望是由于我们的驱逐政策非常有限,最多10000个条目,记忆应该稳定下来 . 但是,内存一直保持上升,直到达到最大堆大小 . 请参阅附加的内存图:

enter image description here

我们的问题是:为什么条目使用的内存仍然被分配,即使驱逐完成了?

添加到这一点的一件事是,我们执行了相同的测试,但在删除之后我们添加了它 . 内存现在稳定了:

enter image description here

使用测试用例和评论进行更新 .

下面你会发现一个简单的junit测试来证明内存泄漏 . @a_gura似乎是正确的 - 如果我们禁用ExpiryPolicy的东西按预期工作 . 但是如果我们启用ExpiryPolicy,堆似乎会在ExpiryPolicy持续时间内填满 . 测试用例:

public class IgniteTest {
  String cacheName = "my_cache";
  @Test
  public void test() throws InterruptedException {    
    IgniteConfiguration configuration = new IgniteConfiguration();
    Ignite ignite = Ignition.start(configuration);
    //create a large string to use as test value. 
    StringBuilder testValue = new StringBuilder();
    for (int i = 0; i < 10*1024; i ++) {
      testValue.append("a");
    }    
    CacheConfiguration cacheCfg = new CacheConfiguration();
    cacheCfg.setName(cacheName);
    cacheCfg.setEvictionPolicy(new FifoEvictionPolicy<>(10_000, 100));
    Duration duration = new Duration(TimeUnit.HOURS, 12);    
   cacheCfg.setExpiryPolicyFactory(CreatedExpiryPolicy.factoryOf(duration));
    cacheCfg.setCacheMode(CacheMode.LOCAL);
    cacheCfg.setBackups(0);
    Cache<Object, Object> cache = ignite.getOrCreateCache(cacheCfg);
    String lastKey = "";
    for (int i = 0; i < 10_000_101; i++){
      String key = "key#"+i;
      String value = testValue + "value#"+i;
      log.trace("storing {} {}", key, value);
      if (i % 1_000 == 0) {
        log.debug("storing {}", key);
      }
      cache.put(key, value);
      lastKey = key;
      Thread.sleep(1);
    }
    String verifyKey = "key#1";
    Assert.assertThat("first key should be evicted", cache.containsKey(verifyKey), CoreMatchers.is(false));    
    Assert.assertThat("last key should NOT be evicted", cache.containsKey(lastKey), CoreMatchers.is(true));    
    ignite.destroyCache(cacheName);    
  }
}