Page History

字节数（bytes）

原字节

（V2）

含义

(Meaning)

改动

改动后字节

(V3 difference)
MAGIC_STRING		6	5473 4669 6c65	TsFile

5473 4669 6c65


VERSION_NUMBER		6	3030 3030 3032

版本号000002版本号改成0000033030 3030 3033

version: 000002

version: 000003

Chunk Header

1

Chunk Header

01

chunk header marker

放入Chunk Header中，改名为chunk type，若为00则表示chunk内只有一个page，不包含statistics

Move to Chunk Header，rename to chunk type，05 means there is only one Page in a chunk without statistics

4

01

00 0000 03

string长度为3

int

改成

-> varInt

03

3

73 2e33

s.3

73 2e33


4	0000 0053

chunk的大小是83字节

Size of Chunk is 83 bytes

int

改成

-> varInt

53

2

0003

数据类型是float

Datatype is float

short

改成

-> byte

03

4

0000 0001

chunk内page的个数删除

	Number of pages in chunk	remove this field
2	0001

Snappy压缩方法

Compression is Snappy

short 改成 byte

01

2

0006

GORILLA编码

Encoding is GORILLA

short 改成 byte

06

Page Header

4

0000 0020

解压后page data大小删除？待讨论，如果删除，可能会导致解压时，多一次内存拷贝，建议保留，int 改成 varInt20

Uncompressed size of page data
4	0000 001b

解压前page data大小

Compressed size of page data

int

改成

-> varInt

1b

Page Statistics

8

0000 0000 0000 0001

页中有1个点

count

long

改成

-> varInt

01

8

0000 0000 0000 0001

start_time

0000 0000 0000 0001


8	0000 0000 0000 0001	end_time

可以考虑改成与开始时间的delta值，用varInt存储（待讨论）

4

0000 0000 0000 0001

4000 0000

min_value

4000 0000

(bool, text do not has this field)
4	4000 0000	max_value

4000 0000

(bool, text do not has this field)
4	4000 0000	first_value

4000 0000


4	4000 0000	last_value

4000 0000


8	4000 0000 0000 0000	sum

(bool, text do not has this field)

bool值需要支持sum，int、bool改成long类型

4000 0000 0000 0000


Page Data		27	2004 1800 0d01 047f ff09 0138 0000 0000 0000 0001 0000 0040 c447 f8

27字节的数据

27 bytes of data

数据里的int类型，以及string前面的

2004 1800 0d01 047f
ff09 0138 0000 0000
0000 0001 0000 0040
c447 f8

Chunk Group Footer

1

00

marker

00

move to chunk group header
4	0000 0010

设备名长度

size of deviceId

int

改成

→ varInt

10

16	726f 6f74 2e74 7572 6269 6e65 312e 6431

设备名字

deviceId
8

726f 6f74 2e74 7572 6269 6e65 312e 6431

0000 0000 0000 0069

chunk group data size

删除

remove
4	0000 0001	chunk number

删除

remove

MemTable Version

1

03

MemTable version marker

03

remove
8	00 0000 0000 0000 65

版本是10100 0000 0000 0000 65Metadatat Marker02开始进入元数据区02

memtable version is 101

remove

Metadata Marker

1

02

the following is metadata

ChunkMetadata(N个)

4

ChunkMetadata

0000 0003

sensor名长度

remove

删除

4

732e 33

s.1

删除

remove
8	00 0000 0000 0000 0c	该chunk的offset在12

00 0000 0000 0000 0c


2	0003

数据类型为float

data type is float

remove

删除

Chunk Statistics

8

0000 0000 0000 0001

chunk中有1个点

long

改成

-> varInt

01

8

0000 0000 0000 0001

start_time

0000 0000 0000 0001


8	0000 0000 0000 0001	end_time

可以考虑改成与开始时间的delta值，用varInt存储（待讨论）0000 0000 0000 0001


4	4000 0000	min_value

4000 0000


4	4000 0000	max_value

4000 0000


4	4000 0000	first_value

4000 0000


4	4000 0000	last_value

4000 0000


8	4000 0000 0000 0000	sum

4000 0000 0000 0000

TimeSeries Metadata(N个)

1

新增 timeseries metadata type，若为00则表示不包含statistics

01

4

00 0000 03

sensor名长度

int 改成 varInt

03

3

73 2e33

s.1

73 2e33


2	0003	数据类型为float	short -> byte

03

8

0000 0000 0000 00a0

ChunkMetadataList的offset

0000 0000 0000 00a0


4	0000 0041	ChunkMetadataList的size	int 改成 varInt

41

TimeSeries Statistics

8

0000 0000 0000 0001

该序列在file中有1个点

long 改成 varInt

01

8

0000 0000 0000 0001

start_time

0000 0000 0000 0001


8	0000 0000 0000 0001	end_time

可以考虑改成与开始时间的delta值，用varInt存储（待讨论）

4

0000 0000 0000 0001

4000 0000

min_value

4000 0000


4	4000 0000	max_value

4000 0000


4	4000 0000	first_value

4000 0000


4	4000 0000	last_value

4000 0000


8	4000 0000 0000 0000	sum

4000 0000 0000 0000

MetaDataIndex Node

4

0000 0001

树的第二层，他有多少个孩子

int

改成

-> varInt

01

MetaDataIndex Entry(N个)

4

0000 0003

sensor名长度为3

int

改成

-> varInt

03

3

732e 33

s.3

732e 33


8	00 0000 0000 0000 e1	offset of the child

00 0000 0000 0000 e1


	8	00 0000 0000 0001 26	endOffset of the last child

00 0000 0000 0001 26


	1	03	Node type是Leaf_Measurement

03

MetaDataIndex Node

4

0000 0001

树的第二层，他有多少个孩子

树的第一层，他有多少个孩子

int

改成

-> varInt

01

MetaDataIndex Entry(N个)

4

0000 0010

设备名长度为16

size of deviceid is 16bytes

int

改成

-> varInt

10

16	726f 6f74 2e74 7572 6269 6e65 312e 6431

设备名

name of deviceId
8

726f 6f74 2e74 7572 6269 6e65 312e 6431

0000 0000 0000 0126

offset of the child

0000 0000 0000 0126


	8	0000 0000 0000 0142	endOffset of the last child

0000 0000 0000 0142


	1	02	Node type是Internal_Measurement	Node type改成LEAF_DEVICE

01


total chunk number		4	0000 0001	total chunk number

删除

remove
invalid chunk number		4	0000 0000	无效的chunk number

删除

remove

Version Info

4

00 0000 01

version pair的个数

int 改成 varInt

remove

01

Version Pair(N个)

8

00 0000 0000 0000 9f

offset of current version

	remove
8

00 0000 0000 0000 9f

00 0000 0000 0000 65

版本是101

00 0000 0000 0000 65

remove

Bloom Filter

4

0000 001f

bloom filter size

int 改成 varInt

1f

31

00 0000 0040 0000 0000 0000 0000
0100 0000 2000 0000 0020 0000 0000 0000 0004

bloom filter data

00 0000 0040 0000 0000 0000 0000
0100 0000 2000 0000 0020 0000 0000 0000 0004


4	0000 0100	filter size	int 改成 varInt

8200

4

0000 0005

hash function size

int 改成 varInt

05

Footer

4

0000 0078

tsfile metadata size

int 改成 varInt

不能使用varInt，因为这个需要倒着读

78

MAGIC_STRING

6

5473 4669 6c65

TsFile

5473 4669 6c65

Space shortcuts

Page tree

Versions Compared

Old Version 5

New Version Current

Key