Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

之前IoTDB用户在11月初的时候发现分布式在开启时间分区后,性能出现严重下降。用户测试的时候使用了flink进行写入。

关闭时间分区时:

开启时间分区时:

 

用户使用三节点一副本IoTDB集群,IoTDB 0.12.2版本,可以看到开启时间分区前后,性能下降比较严重。


问题排查

针对这个现象,我们希望能够给新版本提供一些参考经验,因此我们直接在master branch上进行了一些测试。

我们首先对单机模式的IoTDB开启时间分区进行测试,在排除单机IoTDB的影响下,后对分布式模式进行测试。

测试环境

  • 8 Core

  • 20G memory

  • 10000 Mb/s

  • Ubuntu 20.04.2

benchmark参数

  • CLIENT_NUMBER=5

  • GROUP_NUMBER=8

  • DEVICE_NUMBER=400

  • SENSOR_NUMBER=100

  • BATCH_SIZE=100

  • POINT_STEP=100000

  • LOOP=10000

  • OPERATION_PROPORTION=1:0:0:0:0:0:0:0:0:0:0

  • DB_SWITCH=IoTDB-012-SESSION_BY_TABLET


问题结论

目前单机下的WAL存在问题,需要通过后续的WAL重构来解决,对于分布式的性能下降,百分之10左右的性能下降符合预期。