PR#2689周测测试报告
测试目标
PR#2689 7064536比master a2b704d性能无下降。
PR#2689解决的问题:
Fixes the issue #2689 Describe the bug
LRULinkedHashMap.java.LinkedHashMap is used incorrectly.To make LinkedHashMap an LRU cache, a true boolean should be provided for the param accessOrder of the constructor.
测试结果分析
- 结果对比中,PR#2689与master读写性能差不多。
见测试结果(虽然查询耗时PR#2689/master,有4.63这样的比值,但是单位是ms,可忽略)。
测试环境
机器环境
IP | 192.168.10.44 |
cpu | 2路12核超线程,共48颗cpu核心 |
内存 | 384GB |
服务器型号 | Dell PowerEdge R730 |
磁盘 | 6块4T raid5 |
测试版本
Commit ID | |
PR#2689 | 7064536eaeb3948e020e1a5ead41fa4fefb5cfb1 |
master | a2b704d864334dafdc882254c411b9c6ab9c52b0 |
测试工具
Benchmark: 11832d0b4b762bc9fe1f6fbb63fd08c49bfd2a54
本地测试。
测试结果
数据库参数默认
iotdb 启动参数-Xms2048M -Xmx8192M
执行步骤
- benchmark乱序写入
- iotdb执行flush
- 定义Query函数
for循环24次执行24类查询
停库/root清缓存/启库
第i个查询,执行第1次测试结果,记录AVG。
第i个查询,执行第2次测试结果,记录AVG。
- 调用Query函数 乱序数据,执行完成,保存数据库data/logs。
顺序数据,重复1-4步骤。
乱序第1次测试结果
Q8:pr#2689略慢,单位为ms。可忽略。
第1次/乱序 | master-a2b704d | pr#2689-7064536 | pr#2689/master |
吞吐 | 13181229.97 | 13687590.16 | 1.04 |
INGESTION | 33.59 | 33.9 | 1.01 |
Q1 | 1093.57 | 1064.77 | 0.97 |
Q21 | 1028.14 | 1074.12 | 1.04 |
Q22 | 2310.26 | 2351.88 | 1.02 |
Q23 | 13823.19 | 13970.56 | 1.01 |
Q31 | 1045.57 | 1016.39 | 0.97 |
Q32 | 2414.16 | 2358.65 | 0.98 |
Q33 | 13937.37 | 14345.58 | 1.03 |
Q4a1 | 1040.16 | 1035.23 | 1.00 |
Q4a2 | 1138.58 | 1174.05 | 1.03 |
Q4a3 | 13062.27 | 13195.91 | 1.01 |
Q4b1 | 1021.23 | 1069.28 | 1.05 |
Q4b2 | 1164.04 | 1197.88 | 1.03 |
Q4b3 | 83.1 | 69.54 | 0.84 |
Q5 | 14195.01 | 14276.62 | 1.01 |
Q61 | 2934.4 | 2992.88 | 1.02 |
Q62 | 3212.56 | 3188.87 | 0.99 |
Q63 | 14031.96 | 14331.57 | 1.02 |
Q71 | 13514.75 | 13720.17 | 1.02 |
Q72 | 12484.62 | 12704.21 | 1.02 |
Q73 | 12872.5 | 13076.1 | 1.02 |
Q74 | 12356.78 | 12767.6 | 1.03 |
Q8 | 30.14 | 34.27 | 1.14 |
Q9 | 1031.73 | 1058.82 | 1.03 |
Q10 | 1024.85 | 1049.21 | 1.02 |
乱序第2次查询结果
单位为ms,小值,性能可忽略。
第2次/乱序 | master-a2b704d | pr#2689-7064536 | pr#2689/master |
Q1 | 34.42 | 42.87 | 1.25 |
Q21 | 50.66 | 41.8 | 0.83 |
Q22 | 156.62 | 121.33 | 0.77 |
Q23 | 886.83 | 968.31 | 1.09 |
Q31 | 32.72 | 35.42 | 1.08 |
Q32 | 126.78 | 102.17 | 0.81 |
Q33 | 1026.84 | 942.26 | 0.92 |
Q4a1 | 32.89 | 31.53 | 0.96 |
Q4a2 | 65.01 | 38.82 | 0.60 |
Q4a3 | 590.84 | 569.89 | 0.96 |
Q4b1 | 35.7 | 33.01 | 0.92 |
Q4b2 | 35.51 | 42.43 | 1.19 |
Q4b3 | 13.93 | 15.3 | 1.10 |
Q5 | 1144.6 | 1124.11 | 0.98 |
Q61 | 113.4 | 102.93 | 0.91 |
Q62 | 145.49 | 136.59 | 0.94 |
Q63 | 1216.26 | 1242.81 | 1.02 |
Q71 | 704.65 | 629.24 | 0.89 |
Q72 | 548.81 | 560.65 | 1.02 |
Q73 | 637.1 | 554.14 | 0.87 |
Q74 | 540.26 | 586.14 | 1.08 |
Q8 | 6.66 | 7.75 | 1.16 |
Q9 | 34.5 | 52.85 | 1.53 |
Q10 | 31.23 | 49.16 | 1.57 |
顺序第1次测试结果
第1次/顺序 | master-a2b704d | pr#2689-7064536 | pr#2689/master |
吞吐 | 30359893.42 | 30976041.4 | 1.02 |
INGESTION | 14.87 | 14.61 | 0.98 |
Q1 | 67.87 | 84.77 | 1.25 |
Q21 | 83.11 | 98.42 | 1.18 |
Q22 | 196.42 | 187.79 | 0.96 |
Q23 | 5089.89 | 5160.38 | 1.01 |
Q31 | 110.76 | 78.35 | 0.71 |
Q32 | 197.94 | 214.02 | 1.08 |
Q33 | 5490.63 | 5328.37 | 0.97 |
Q4a1 | 71.09 | 73.92 | 1.04 |
Q4a2 | 108.05 | 116.15 | 1.07 |
Q4a3 | 992.87 | 1000.16 | 1.01 |
Q4b1 | 72.98 | 76.44 | 1.05 |
Q4b2 | 70.53 | 71.55 | 1.01 |
Q4b3 | 50.74 | 50.34 | 0.99 |
Q5 | 5036.16 | 4865.72 | 0.97 |
Q61 | 202.17 | 191.41 | 0.95 |
Q62 | 264.84 | 250.34 | 0.95 |
Q63 | 4825.17 | 5050.61 | 1.05 |
Q71 | 4698.93 | 4899.9 | 1.04 |
Q72 | 4175.01 | 4338.62 | 1.04 |
Q73 | 2793.84 | 2835.96 | 1.02 |
Q74 | 922.79 | 1048.36 | 1.14 |
Q8 | 22.42 | 22.23 | 0.99 |
Q9 | 79.17 | 79.21 | 1.00 |
Q10 | 91.85 | 77.87 | 0.85 |
顺序第2次查询结果
第2次/顺序 | master-a2b704d | pr#2689-7064536 | pr#2689/master |
Q1 | 11.06 | 11.14 | 1.01 |
Q21 | 26.65 | 10.95 | 0.41 |
Q22 | 47.47 | 56.1 | 1.18 |
Q23 | 387.86 | 429.69 | 1.11 |
Q31 | 10.58 | 13.06 | 1.23 |
Q32 | 64.92 | 67.86 | 1.05 |
Q33 | 601.16 | 570.59 | 0.95 |
Q4a1 | 11.91 | 9.3 | 0.78 |
Q4a2 | 22.51 | 39.36 | 1.75 |
Q4a3 | 15.1 | 15.33 | 1.02 |
Q4b1 | 10.66 | 26.28 | 2.47 |
Q4b2 | 44.29 | 10.32 | 0.23 |
Q4b3 | 15.62 | 14.94 | 0.96 |
Q5 | 255.84 | 223.6 | 0.87 |
Q61 | 40.49 | 42.81 | 1.06 |
Q62 | 20.46 | 45.2 | 2.21 |
Q63 | 322.8 | 271.69 | 0.84 |
Q71 | 182.14 | 144.32 | 0.79 |
Q72 | 107.33 | 97.62 | 0.91 |
Q73 | 55.69 | 62.89 | 1.13 |
Q74 | 14.13 | 14.74 | 1.04 |
Q8 | 6.84 | 8.74 | 1.28 |
Q9 | 43.91 | 10.34 | 0.24 |
Q10 | 10.14 | 46.97 | 4.63 |
数据库MAX_HEAP_SIZE="32G"/ HEAP_NEWSIZE="32G"
数据库启动参数-Xms32G -Xmx32G
使用默认参数生成的顺序、乱序数据。
清缓存,启动数据库,乱序数据,顺序执行24类查询,再顺序执行24类查询,记录第2次的测试结果。
清缓存,启动数据库,顺序数据,顺序执行24类查询,再顺序执行24类查询,记录第2次的测试结果。
乱序查询结果
乱序 | master-a2b704d | pr#2689-7064536 | pr#2689/master |
Q1 | 35.97 | 32.08 | 0.89 |
Q21 | 36.96 | 34.93 | 0.95 |
Q22 | 110.32 | 108.54 | 0.98 |
Q23 | 922.02 | 1121.19 | 1.22 |
Q31 | 30.99 | 25.53 | 0.82 |
Q32 | 99.04 | 96.73 | 0.98 |
Q33 | 1165.17 | 1187.54 | 1.02 |
Q4a1 | 25.47 | 32.01 | 1.26 |
Q4a2 | 32.68 | 44.11 | 1.35 |
Q4a3 | 596.92 | 574.97 | 0.96 |
Q4b1 | 29.21 | 31.42 | 1.08 |
Q4b2 | 35.12 | 38.01 | 1.08 |
Q4b3 | 13.57 | 15.63 | 1.15 |
Q5 | 1246.59 | 1232.06 | 0.99 |
Q61 | 83.3 | 85.33 | 1.02 |
Q62 | 121.94 | 106.61 | 0.87 |
Q63 | 1283.82 | 1212.05 | 0.94 |
Q71 | 652.78 | 661.78 | 1.01 |
Q72 | 592.82 | 579.97 | 0.98 |
Q73 | 622.33 | 609.19 | 0.98 |
Q74 | 610.58 | 613.99 | 1.01 |
Q8 | 7 | 6.2 | 0.89 |
Q9 | 30.9 | 32.98 | 1.07 |
Q10 | 28.27 | 33.01 | 1.17 |
顺序查询结果
顺序 | master-a2b704d | pr#2689-7064536 | pr#2689/master |
Q1 | 6.56 | 7.95 | 1.21 |
Q21 | 8.18 | 8.9 | 1.09 |
Q22 | 52.28 | 51.35 | 0.98 |
Q23 | 394.82 | 485.81 | 1.23 |
Q31 | 8.43 | 7.79 | 0.92 |
Q32 | 48.31 | 37.88 | 0.78 |
Q33 | 595.78 | 535.46 | 0.90 |
Q4a1 | 7.18 | 7.42 | 1.03 |
Q4a2 | 7.95 | 8.53 | 1.07 |
Q4a3 | 14.14 | 13.69 | 0.97 |
Q4b1 | 6.37 | 7.72 | 1.21 |
Q4b2 | 7.77 | 7.51 | 0.97 |
Q4b3 | 14.72 | 11.51 | 0.78 |
Q5 | 180.92 | 217.52 | 1.20 |
Q61 | 14.62 | 15.67 | 1.07 |
Q62 | 17.58 | 20.39 | 1.16 |
Q63 | 302.89 | 229.57 | 0.76 |
Q71 | 176.88 | 153.73 | 0.87 |
Q72 | 72.9 | 91.55 | 1.26 |
Q73 | 47.99 | 43.14 | 0.90 |
Q74 | 11.74 | 11.31 | 0.96 |
Q8 | 6.93 | 6.04 | 0.87 |
Q9 | 7.07 | 7.77 | 1.10 |
Q10 | 8.69 | 8.61 | 0.99 |
Benchmark参数配置
写入
IS_CLIENT_BIND: true
CLIENT_NUMBER: 10
GROUP_NUMBER: 10
DEVICE_NUMBER: 50
SENSOR_NUMBER: 500
BATCH_SIZE: 100
LOOP: 10000
POINT_STEP: 5000
QUERY_INTERVAL: 250000
乱序
IS_OVERFLOW: true
OVERFLOW_MODE: 0
OVERFLOW_RATIO: 0.5
顺序
IS_OVERFLOW=false
查询
IS_CLIENT_BIND: true
CLIENT_NUMBER: 10
GROUP_NUMBER: 10
DEVICE_NUMBER: 50
SENSOR_NUMBER: 500
BATCH_SIZE: 100
LOOP: 10