问题:中车发现给定JVM内存为200GB,实际使用量为250GB
复现:尝试在192.168.10.66机器上复现,复现结果是给定JVM内存为100GB,实际使用量为109GB,现对该场景进行分析
已知:总内存 = java heap + no heap(meta space+code cache 等) + 虚拟机进程本身 + 虚拟机栈(线程栈)*线程数 + native heap(一般说的堆外内存)
分析方法:在项目中添加-XX:NativeMemoryTracking=detail
JVM参数重启项目,使用命令jcmd pid VM.native_memory detail
查看到的内存分布如下
Total: reserved=109GB, committed=108GB
- Java Heap (reserved=100GB, committed=100GB)
(mmap: reserved=100GB, committed=100GB)
- Thread (reserved=1GB, committed=1GB)
(thread #924)
(stack: reserved=1GB, committed=1GB)
- GC (reserved=4GB, committed=4GB)
(mmap: reserved=4GB, committed=4GB)
- Internal (reserved=4GB, committed=4GB)
(malloc=4GB #17087)
可以看到堆外内存实际占用为4GB,Jprofiler看到的40MB只包含了meta space 和 code space,对我们的分析构成了严重误导!
验证方法:为了验证确实是堆外内存导致内存暴涨,我们调整-XX:MaxDirectMemorySize=2G,也就是限制堆外内存最大使用2G,发现内存使用确实下降,但是读写速度有很大的降低(30倍左右),证明IoTDB确实使用了超过2G的堆外内存,如果对堆外内存限制,则性能会有损失,下面是读最大时间的性能截图:
不限制:
限制为2G:
下一步计划:通过加大读写压力使得IoTDB占用内存进一步升高,再次查看堆外内存使用情况,证明堆外内存与读写压力正相关