Geode 团队正致力于一些史无前例的特性, 寻找扩展产品在事务环境下的使用价值, 当添加新的特性时, 确保它与大数据应用相关. 有一些关键特性内置在产品中.

HDFS Integration: Geode 作为一个事务层, 批量的写入数据到 Hadoop 平台上. 这个能力使  Geode 作为一个 NoSQL 数据存储, 在 Hadoop 平台之上, 并行化处理将数据从内存中迁移值 Hadoop 平台上, 在快速采集和处理数据时非常有用, 比 Hadoop Job 任务可靠地多. Geode 可以满足如下关键需求

  • 并行地摄入数据进入HDFS
  • Cache 布隆过滤器, 允许快速查找各种元素
  • 可以设置策略, 决定哪些数据可以缓存在内存中
  • 在 HDFS 中回滚文件
  • 在内存中索引数据
  • 可以设置超时策略, 允许事务设置来清除老数据
  • 此解决方案需要支持复制和分区 Regions

Spark 集成: Geode 作为 Spark 应用的数据存储. 通过提供桥连接器, Geode 连接到Spark 应用, Geode 能够成为一个存储Spark 应用中间状态和最终状态的数据存储, 允许参考数据保存在内存中, 非常高效地为应用提供访问.

  • 拓展 Geode  Regions 作为 Spark RDDs
  • 将 Spark RDDs 写入到 Geode Regions中
  • 在 Spark 应用中执行任意的 OQL 查询

Off-Heap 数据管理: 增加内存密度对用户来说是一个重要目标. 让数据摆脱 JVM GC影响, 可以提供吞吐量, 因为 GC 线程不再拷贝数据从一个内存空间到另一个内存空间. 它也减小了 JVM 的限制大小, 保证了内存分配和 GC 收集. 它也通过减少集群大小减少了复杂度, 在现有集群上节省了更多内存空间

  • 保存值, 索引 和 键 到 堆外
  • 优化 Geode  因此交互数据最小化反序列化的数据量, 和反序列化次数

Lucene 集成: 允许 Lucene 索引保存在 Geode Region 中, 允许用户进行文本搜索, 数据保存在Geode中. 方法之一是使用 Gem/Z 连接器推送数据进入一个 Geode集群, 允许所有的文本类型进行分析.

通用产品提升:

  • 对于全通道的认证授权 (gfsh, admin, client-server and REST), 遵循高效的客户端服务器模型.
  • 在 Geode 中扩展事务机制来支持带有饥饿锁的分布式事务, 扩展已经实现的联位事务模型.

 

  • No labels