背景
Java原生的HashMap受限于Java对象限制,对key和value都必须抽象封装为一个类,其实现为开地址法哈希+红黑树,hash槽中的节点为Node,需要存储左右孩子节点等信息,连同其引用一个Node占用内存为32字节。综上,每存储一个键值对就需要额外48字节的对象头及指针,内存空间开销大。
目标
调研开源的基于堆外内存或内存buffer的Java hashmap实现,避免对象头及指针的额外内存开销
实现
https://github.com/cfelde/BinaryOffheapHashMap/blob/master/README.md
实现原理
使用堆外内存+闭地址法散列,将key和value都序列化为二进制数组,利用unsafe模块直接申请堆外内存存储,每次插入需要序列化,每次查询需要反序列化,由于存储的内容为序列化的二进制数组,不包含指针和对象头,避免了额外的内存开销
实验
实验场景
基于海量时间序列元数据场景,测试在内存ID表中两者的性能
每时间序列标识长度为200字节,共有1000万时间序列,其中有10万个device,每个device下有100个measurement,其中measurement占用20字节
数据结构为:Map<DeviceID, Map<String, SchemaEntry>>
其中map分别使用java原生HashMap及基于堆外内存的map实现
实验目标
堆外内存map与java原生HashMap在以下方面的性能:
- 插入性能(put)
- 查询性能(get)
- 内存占用
实验结果
插入性能(put)
原生HashMap | 堆外内存hashMap |
---|---|
594_212 record / s | 696_427 record / s |