PR#2689周测测试报告

测试目标

PR#2689 7064536比master a2b704d性能无下降。
PR#2689解决的问题：
Fixes the issue #2689 Describe the bug
LRULinkedHashMap.java.LinkedHashMap is used incorrectly.To make LinkedHashMap an LRU cache, a true boolean should be provided for the param accessOrder of the constructor.

测试结果分析

  1. 结果对比中，PR#2689与master读写性能差不多。

见测试结果（虽然查询耗时PR#2689/master，有4.63这样的比值，但是单位是ms，可忽略）。

测试环境

机器环境

IP

192.168.10.44

cpu

2路12核超线程，共48颗cpu核心

内存

384GB

服务器型号

Dell PowerEdge R730

磁盘

6块4T raid5

测试版本


Commit ID

PR#2689

7064536eaeb3948e020e1a5ead41fa4fefb5cfb1

master

a2b704d864334dafdc882254c411b9c6ab9c52b0


测试工具

Benchmark： 11832d0b4b762bc9fe1f6fbb63fd08c49bfd2a54
本地测试。

测试结果

数据库参数默认

iotdb 启动参数-Xms2048M -Xmx8192M

执行步骤

  1. benchmark乱序写入
  2. iotdb执行flush
  3. 定义Query函数

for循环24次执行24类查询
停库/root清缓存/启库
第i个查询，执行第1次测试结果，记录AVG。
第i个查询，执行第2次测试结果，记录AVG。

  1. 调用Query函数 乱序数据，执行完成，保存数据库data/logs。

顺序数据，重复1-4步骤。

乱序第1次测试结果

Q8：pr#2689略慢，单位为ms。可忽略。

第1次/乱序

master-a2b704d

pr#2689-7064536

pr#2689/master

吞吐

13181229.97

13687590.16

1.04

INGESTION

33.59

33.9

1.01

Q1

1093.57

1064.77

0.97

Q21

1028.14

1074.12

1.04

Q22

2310.26

2351.88

1.02

Q23

13823.19

13970.56

1.01

Q31

1045.57

1016.39

0.97

Q32

2414.16

2358.65

0.98

Q33

13937.37

14345.58

1.03

Q4a1

1040.16

1035.23

1.00

Q4a2

1138.58

1174.05

1.03

Q4a3

13062.27

13195.91

1.01

Q4b1

1021.23

1069.28

1.05

Q4b2

1164.04

1197.88

1.03

Q4b3

83.1

69.54

0.84

Q5

14195.01

14276.62

1.01

Q61

2934.4

2992.88

1.02

Q62

3212.56

3188.87

0.99

Q63

14031.96

14331.57

1.02

Q71

13514.75

13720.17

1.02

Q72

12484.62

12704.21

1.02

Q73

12872.5

13076.1

1.02

Q74

12356.78

12767.6

1.03

Q8

30.14

34.27

1.14

Q9

1031.73

1058.82

1.03

Q10

1024.85

1049.21

1.02


乱序第2次查询结果

单位为ms，小值，性能可忽略。

第2次/乱序

master-a2b704d

pr#2689-7064536

pr#2689/master

Q1

34.42

42.87

1.25

Q21

50.66

41.8

0.83

Q22

156.62

121.33

0.77

Q23

886.83

968.31

1.09

Q31

32.72

35.42

1.08

Q32

126.78

102.17

0.81

Q33

1026.84

942.26

0.92

Q4a1

32.89

31.53

0.96

Q4a2

65.01

38.82

0.60

Q4a3

590.84

569.89

0.96

Q4b1

35.7

33.01

0.92

Q4b2

35.51

42.43

1.19

Q4b3

13.93

15.3

1.10

Q5

1144.6

1124.11

0.98

Q61

113.4

102.93

0.91

Q62

145.49

136.59

0.94

Q63

1216.26

1242.81

1.02

Q71

704.65

629.24

0.89

Q72

548.81

560.65

1.02

Q73

637.1

554.14

0.87

Q74

540.26

586.14

1.08

Q8

6.66

7.75

1.16

Q9

34.5

52.85

1.53

Q10

31.23

49.16

1.57


顺序第1次测试结果

第1次/顺序

master-a2b704d

pr#2689-7064536

pr#2689/master

吞吐

30359893.42

30976041.4

1.02

INGESTION

14.87

14.61

0.98

Q1

67.87

84.77

1.25

Q21

83.11

98.42

1.18

Q22

196.42

187.79

0.96

Q23

5089.89

5160.38

1.01

Q31

110.76

78.35

0.71

Q32

197.94

214.02

1.08

Q33

5490.63

5328.37

0.97

Q4a1

71.09

73.92

1.04

Q4a2

108.05

116.15

1.07

Q4a3

992.87

1000.16

1.01

Q4b1

72.98

76.44

1.05

Q4b2

70.53

71.55

1.01

Q4b3

50.74

50.34

0.99

Q5

5036.16

4865.72

0.97

Q61

202.17

191.41

0.95

Q62

264.84

250.34

0.95

Q63

4825.17

5050.61

1.05

Q71

4698.93

4899.9

1.04

Q72

4175.01

4338.62

1.04

Q73

2793.84

2835.96

1.02

Q74

922.79

1048.36

1.14

Q8

22.42

22.23

0.99

Q9

79.17

79.21

1.00

Q10

91.85

77.87

0.85


顺序第2次查询结果

第2次/顺序

master-a2b704d

pr#2689-7064536

pr#2689/master

Q1

11.06

11.14

1.01

Q21

26.65

10.95

0.41

Q22

47.47

56.1

1.18

Q23

387.86

429.69

1.11

Q31

10.58

13.06

1.23

Q32

64.92

67.86

1.05

Q33

601.16

570.59

0.95

Q4a1

11.91

9.3

0.78

Q4a2

22.51

39.36

1.75

Q4a3

15.1

15.33

1.02

Q4b1

10.66

26.28

2.47

Q4b2

44.29

10.32

0.23

Q4b3

15.62

14.94

0.96

Q5

255.84

223.6

0.87

Q61

40.49

42.81

1.06

Q62

20.46

45.2

2.21

Q63

322.8

271.69

0.84

Q71

182.14

144.32

0.79

Q72

107.33

97.62

0.91

Q73

55.69

62.89

1.13

Q74

14.13

14.74

1.04

Q8

6.84

8.74

1.28

Q9

43.91

10.34

0.24

Q10

10.14

46.97

4.63


数据库MAX_HEAP_SIZE="32G"/ HEAP_NEWSIZE="32G"

数据库启动参数-Xms32G -Xmx32G
使用默认参数生成的顺序、乱序数据。
清缓存，启动数据库，乱序数据，顺序执行24类查询，再顺序执行24类查询，记录第2次的测试结果。
清缓存，启动数据库，顺序数据，顺序执行24类查询，再顺序执行24类查询，记录第2次的测试结果。

乱序查询结果

乱序

master-a2b704d

pr#2689-7064536

pr#2689/master

Q1

35.97

32.08

0.89

Q21

36.96

34.93

0.95

Q22

110.32

108.54

0.98

Q23

922.02

1121.19

1.22

Q31

30.99

25.53

0.82

Q32

99.04

96.73

0.98

Q33

1165.17

1187.54

1.02

Q4a1

25.47

32.01

1.26

Q4a2

32.68

44.11

1.35

Q4a3

596.92

574.97

0.96

Q4b1

29.21

31.42

1.08

Q4b2

35.12

38.01

1.08

Q4b3

13.57

15.63

1.15

Q5

1246.59

1232.06

0.99

Q61

83.3

85.33

1.02

Q62

121.94

106.61

0.87

Q63

1283.82

1212.05

0.94

Q71

652.78

661.78

1.01

Q72

592.82

579.97

0.98

Q73

622.33

609.19

0.98

Q74

610.58

613.99

1.01

Q8

7

6.2

0.89

Q9

30.9

32.98

1.07

Q10

28.27

33.01

1.17


顺序查询结果

顺序

master-a2b704d

pr#2689-7064536

pr#2689/master

Q1

6.56

7.95

1.21

Q21

8.18

8.9

1.09

Q22

52.28

51.35

0.98

Q23

394.82

485.81

1.23

Q31

8.43

7.79

0.92

Q32

48.31

37.88

0.78

Q33

595.78

535.46

0.90

Q4a1

7.18

7.42

1.03

Q4a2

7.95

8.53

1.07

Q4a3

14.14

13.69

0.97

Q4b1

6.37

7.72

1.21

Q4b2

7.77

7.51

0.97

Q4b3

14.72

11.51

0.78

Q5

180.92

217.52

1.20

Q61

14.62

15.67

1.07

Q62

17.58

20.39

1.16

Q63

302.89

229.57

0.76

Q71

176.88

153.73

0.87

Q72

72.9

91.55

1.26

Q73

47.99

43.14

0.90

Q74

11.74

11.31

0.96

Q8

6.93

6.04

0.87

Q9

7.07

7.77

1.10

Q10

8.69

8.61

0.99


Benchmark参数配置

写入

IS_CLIENT_BIND: true
CLIENT_NUMBER: 10
GROUP_NUMBER: 10
DEVICE_NUMBER: 50
SENSOR_NUMBER: 500
BATCH_SIZE: 100
LOOP: 10000
POINT_STEP: 5000
QUERY_INTERVAL: 250000
乱序
IS_OVERFLOW: true
OVERFLOW_MODE: 0
OVERFLOW_RATIO: 0.5
顺序
IS_OVERFLOW=false

查询

IS_CLIENT_BIND: true
CLIENT_NUMBER: 10
GROUP_NUMBER: 10
DEVICE_NUMBER: 50
SENSOR_NUMBER: 500
BATCH_SIZE: 100
LOOP: 10

  • No labels