...
传感器数 | 设备数 | 64 | 128 | 256(默认) | 512 | 1024 | 文件数 | ||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
大小 | 原始查询 | 聚合查询 | 大小 | 原始查询 | 聚合查询 | 大小 | 原始查询 | 聚合查询 | 大小 | 原始查询 | 聚合查询 | 大小 | 原始查询 | 聚合查询 | |||
10 | 1 | 102 | 3.13 | 1.9 | 102 | 2.29 | 1.34 | 102 | 3.13 | 2.69 | 102 | 3.4 | 1.78 | 102 | 2.62 | 1.44 | 100 |
10 | 1000 | 54176 | 17.32 | 6.81 | 53951 | 16.52 | 6.87 | 53832 | 16.9 | 7.99 | 53772 | 16.7 | 9.18 | 53716 | 15.96 | 8.26 | 100 |
10 | 10000 | 551642 | 34.26 | 20.49 | 549300 | 31.76 | 21.25 | 548095 | 31.72 | 18.31 | 547478 | 33.95 | 20.3 | 547169 | 32.27 | 19.26 | 100 |
10 | 100000 | 5617377 | 118.1 | 50.7 | 5593480 | 117.3 | 50.9 | 5580851 | 100.1 | 49.3 | 5574575 | 109.2 | 50.6 | 5571449 | 100.3 | 46.6 | 10 |
10 | 1000000 | 57189153 | 637 | 162 | 56941946 | 498 | 173 | 56811965 | 618 | 183 | 56747338 | 409 | 129 | 56715083 | 457 | 121 | 1 |
500 | 1 | 592 | 5.1 | 3.34 | 517 | 5.29 | 3.22 | 479 | 5.24 | 3.37 | 461 | 6.77 | 3.8 | 461 | 5.49 | 3.1 | 100 |
500 | 1000 | 567086 | 53.6 | 27.8 | 491861 | 48.8 | 26.4 | 453742 | 43.6 | 23.4 | 435682 | 46.1 | 25.6 | 435626 | 42.6 | 22.6 | 10 |
500 | 10000 | 5680719 | 177.5 | 83.5 | 4928377 | 139 | 80 | 4547172 | 141 | 79 | 4366555 | 140 | 76 | 4366246 | 155 | 93 | 2 |
500 | 20000 | 11372629 | 360 | 130 | 9867943 | 287 | 142 | 9105435 | 306 | 133 | 8744207 | 262 | 152 | 8743579 | 252 | 148 | 1 |
10,0000 | 1 | 111416 | 21.34 | 12.03 | 94548 | 20.11 | 13.98 | 86219 | 19.92 | 12.31 | 82088 | 20.63 | 12.3 | 80040 | 20.87 | 11.45 | 100 |
10,0000 | 100 | 11138809 | 323 | 211 | 9451954 | 290 | 195 | 8619054 | 333 | 192 | 8205954 | 251 | 185 | 8001154 | 256 | 160 | 1 |
(
...
VIII) B+ Tree 的最佳配置
Jira | ||||||||||
---|---|---|---|---|---|---|---|---|---|---|
|
...
以10传感器、1000000设备场景下的索引文件大小为例,如图所示:
(
...
IX) Hash 结构的 TsFileMetadata 的最佳配置
Jira | ||||||
---|---|---|---|---|---|---|
|
...
注意:此配置项并不意味着 bucket 中实际承装的最多的 entry 个数。
传感器数 | 设备数 | 64 | 128 | 256(默认)256 | 512 | 1024 | 文件数 | ||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
大小 | 原始查询 | 聚合查询 | 大小 | 原始查询 | 聚合查询 | 大小 | 原始查询 | 聚合查询 | 大小 | 原始查询 | 聚合查询 | 大小 | 原始查询 | 聚合查询 | |||
10 | 1 | 323 | 2.38 | 0.8 | 323 | 3.24 | 1.43 | 323 | 2.68 | 1.61 | 323 | 3.59 | 2.09 | 323 | 2.88 | 1.24 | 100 |
10 | 1000 | 358554 | 21.49 | 13.01 | 354467 | 21 | 12.4 | 322415 | 20.3 | 14.41 | 321055 | 21.42 | 13.81 | 299216 | 20.83 | 13.1 | 100 |
10 | 10000 | 3690057 | 43.84 | 36.18 | 3859716 | 45.06 | 37.32 | 3831173 | 42.67 | 37.71 | 3192012 | 41 | 32.97 | 31376223137622 | 40.9 | 33.8 | 100 |
10 | 100000 | 42029427 | 51.9 | 44.8 | 37094251 | 51.1 | 34.1 | 39810357 | 55.2 | 42.8 | 35431664 | 49.8 | 37.6 | 33074163 | 44.9 | 36.5 | 10 |
10 | 1000000 | 467325307 | 265 | 131 | 445059682 | 231 | 108 | 360181380 | 247 | 139 | 359116142 | 203 | 117 | 344193693 | 227 | 116 | 1 |
500 | 1 | 15370 | 6.01 | 4.01 | 15030 | 8.06 | 3.92 | 14862 | 7.93 | 4.31 | 14804 | 9.4 | 4.44 | 14804 | 7.73 | 4.69 | 100 |
500 | 1000 | 22453638 | 54.8 | 37.2 | 1838146118381461 | 42.7 | 28.8 | 17340676 | 44.4 | 31.4 | 16831660 | 47.5 | 36.5 | 16258755 | 46.9 | 33 | 10 |
500 | 10000 | 295537667 | 128 | 93 | 202805838 | 126 | 78 | 196892734 | 155 | 82.5 | 175055958 | 143 | 77 | 171447421 | 129 | 70 | 2 |
500 | 20000 | 612012806 | 298 | 165 | 471700306 | 260 | 126 | 382095722 | 243 | 140 | 393160417 | 239 | 170 | 348939968 | 259 | 137 | 1 |
10,0000 | 1 | 4085496 | 44.01 | 35.76 | 3361582 | 44.19 | 35.09 | 3334603 | 46.76 | 38.2 | 3330193 | 40.5 | 33.65 | 3284622 | 42.96 | 33.44 | 100 |
10,0000 | 100 | 484356557 | 290 | 139 | 422794057 | 253 | 162 | 380728518 | 237 | 173 | 391851774 | 225 | 189 | 348139157 | 241 | 158 | 1 |
综合(VIII)(IX)两个实验:
对于 B+ 树和 Hash 结构索引在不同场景和不同配置下,原始数据查询耗时:
传感器数 | 设备数 | Hash 结构 | B+ 树 | 时间差 | ||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
64 | 128 | 256 | 512 | 1024 | 最优配置耗时 | 64 | 128 | 256 | 512 | 1024 | 最优配置耗时 | |||
10 | 1 | 2.38 | 3.24 | 2.68 | 3.59 | 2.88 | 2.38 | 2.65 | 4.3 | 2.85 | 2.35 | 3.14 | 2.35 | 1.26% |
10 | 1000 | 21.49 | 21 | 20.3 | 21.42 | 20.83 | 20.3 | 15.35 | 15.38 | 15.62 | 16.4 | 17.17 | 15.35 | 24.38% |
10 | 10000 | 43.84 | 45.06 | 42.67 | 41 | 40.9 | 40.9 | 25.67 | 26.08 | 23.46 | 23.1 | 24.11 | 23.1 | 43.52% |
10 | 100000 | 51.9 | 51.1 | 55.2 | 49.8 | 44.9 | 44.9 | 78 | 65.4 | 57.5 | 54.9 | 59.8 | 54.9 | -22.27% |
10 | 1000000 | 265 | 231 | 247 | 203 | 227 | 203 | 327 | 361 | 293 | 226 | 252 | 226 | -11.33% |
500 | 1 | 6.01 | 8.06 | 7.93 | 9.4 | 7.73 | 6.01 | 4.61 | 4.93 | 4.56 | 4.57 | 8.71 | 4.56 | 24.13% |
500 | 1000 | 54.8 | 42.7 | 44.4 | 47.5 | 46.9 | 42.7 | 42.7 | 44.7 | 43.9 | 39.3 | 39.7 | 39.3 | 7.96% |
500 | 10000 | 128 | 126 | 155 | 143 | 129 | 126 | 155.5 | 170.5 | 151.5 | 152 | 131.5 | 131.5 | -4.37% |
500 | 20000 | 298 | 260 | 243 | 239 | 259 | 239 | 261 | 272 | 248 | 232 | 233 | 232 | 2.93% |
100,000 | 1 | 44.01 | 44.19 | 46.76 | 40.5 | 42.96 | 40.5 | 21.04 | 19.43 | 20.64 | 17.43 | 20.9 | 17.43 | 56.96% |
100,000 | 100 | 290 | 253 | 237 | 225 | 241 | 225 | 339 | 289 | 310 | 303 | 290 | 289 | -28.44% |
聚合查询耗时:
传感器数 | 设备数 | Hash 结构 | B+ 树 | 时间差 | ||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
64 | 128 | 256 | 512 | 1024 | 最优配置耗时 | 64 | 128 | 256 | 512 | 1024 | 最优配置耗时 | |||
10 | 1 | 0.8 | 1.43 | 1.61 | 2.09 | 1.24 | 0.8 | 1.12 | 2.73 | 2.27 | 1.74 | 2 | 1.12 | -40.00% |
10 | 1000 | 13.01 | 12.4 | 14.41 | 13.81 | 13.1 | 12.4 | 6.15 | 7.41 | 7.78 | 7.05 | 7.85 | 6.15 | 50.40% |
10 | 10000 | 36.18 | 37.32 | 37.71 | 32.97 | 33.8 | 32.97 | 15.81 | 19.44 | 14.97 | 15.4 | 17.16 | 14.97 | 54.60% |
10 | 100000 | 44.8 | 34.1 | 42.8 | 37.6 | 36.5 | 34.1 | 43.6 | 46.7 | 43 | 40.4 | 44.3 | 40.4 | -18.48% |
10 | 1000000 | 131 | 108 | 139 | 117 | 116 | 108 | 173 | 153 | 176 | 206 | 162 | 153 | -41.67% |
500 | 1 | 4.01 | 3.92 | 4.31 | 4.44 | 4.69 | 3.92 | 3.38 | 3.77 | 3.19 | 2.72 | 2.93 | 2.72 | 30.61% |
500 | 1000 | 37.2 | 28.8 | 31.4 | 36.5 | 33 | 28.8 | 26.3 | 25.7 | 24.7 | 20.3 | 19.4 | 19.4 | 32.64% |
500 | 10000 | 93 | 78 | 82.5 | 77 | 70 | 70 | 98 | 88 | 112 | 89 | 87.5 | 87.5 | -25.00% |
500 | 20000 | 165 | 126 | 140 | 170 | 137 | 126 | 155 | 148 | 125 | 131 | 131 | 125 | 0.79% |
100,000 | 1 | 35.76 | 35.09 | 38.2 | 33.65 | 33.44 | 33.44 | 13.17 | 13.01 | 14.93 | 10.61 | 14.31 | 10.61 | 68.27% |
100,000 | 100 | 139 | 162 | 173 | 189 | 158 | 139 | 275 | 240 | 149 | 231 | 174 | 149 | -7.19% |
如图所示: