企业级分布式 HTAP 数据库管理系统 TBase

企业级分布式 HTAP 数据库管理系统 TBase

BSD 3-Clause
C/C++
跨平台
腾讯
2019-11-07
afterer
TBase 正在参加 2019 年度最受欢迎开源中国软件评选,请投票支持!
TBase 在 2019 年度最受欢迎开源中国软件评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票赢奖品
已投票

TBase 是腾讯数据平台团队在开源的 PostgreSQL 基础上研发的企业级分布式 HTAP 数据库管理系统:

  • 具备高性能可扩展的分布式事务能力,支持 RC 和 RR 两种隔离级别;

  • 通过安全、管理、审计三权分立体系,提供全方位的数据安全保证机制;

  • 支持高性能分区表,可使得数据检索效率成倍提升;

  • SQL 方面兼容 2003 标准、PostgreSQL 语法和常用 Oracle 函数&数据类型、窗口函数等;

  • 提供大小商户数据分离、冷热数据分离等高效的数据治理能力

TBase 架构:

集群中有三种节点类型,各自承担不同的功能,通过网络连接成为一个系统。这三种节点类型分别是:

  • Coordinator:协调节点,对外提供接口,负责数据的分发和查询规划,多个节点位置对等,每个节点都提供相同的数据库视图,CN 存储系统的全局元数据。

  • Datanode:处理存储本节点相关的元数据,每个节点还存储数据的一个分片。在功能上,DN 节点负责完成执行协调节点分发的执行请求。

  • GTM: 全局事务管理器(Global transaction manager.),负责管理集群事务信息,同时管理集群的全局对象,比如序列,除此之外 GTM 上不提供其他的功能。

TBase 功能介绍:

  • 分布式事务全局一致性能力:通过拥有自主专利的分布式事务一致性技术,包括两阶段提交(Two Phase Commit)以及全局时钟(Global Timestamp)的策略来保证在全分布式环境下的事务一致性。

  • SQL兼容能力:SQL2003 标准、PostgreSQL 语法、常用 Oracle 函数&数据类型、UDF/UDAF、常见窗口函数、JSON/JSONB/XML/数组等多种 NoSQL 类型 、递归 WITH、无锁 DDL 操作、扩展插件等。

  • HTAP能力:提供 OLTP 以及 OLAP 两个平面视角 ,OLTP 业务运行在 datanode 主节点上,OLAP 业务运行在 datanode 节点的备节点上,二者的数据同步采用流复制的方式来进行。

  • 读写分离能力:提供了读写和只读两个平面视角,读写流量请求由主节点来处理,只读流量请求由备节点来处理,主备节点的数据同步采用流复制的方式来进行。

  • 卓越的数据安全保障能力:通过三权分立的体系,将传统数据库系统 DBA 的角色分解为三个相互独立的角色:安全管理员、审计管理员、数据管理员;基于此提出安全策略,主要细分为三个部分:数据加密、数据脱敏访问、强制访问控制,三者组合提供多个层级的数据安全保障能力。

  • 高效的数据治理能力:数据倾斜治理,用以解决数据分布不均带来的存储以及性能压力;冷热数据分级存储 ,用以降低业务的存储成本、提升热数据的性能。

  • 多核并行计算能力:节点内部采用了并行计算,根据表大小同时启动多个进程来协同完成一个查询。

  • 多租户能力:基于节点组 node group 的集群内多租户解决方案,做到数据库集群内部的业务和资源隔离,多个业务在TBase内部相互隔离的运行。

  • 多级容灾能力:采用强同步复制来保证主从数据完全一致,保障主节点故障时数据无丢失;提供基于任意时间点的恢复特性来防止误操作带来的数据丢失。

  • 在线扩容能力:通过引入shard map层(shard map 中每一项存储 shardid 和 DN 的 映射关系 ), 在新加节点时,只需要把一些 shard map 中的 shardid 映射到新加的节点,并把对应的数据搬迁过去就可以了,大大缩短扩容时间。

  • 丰富的周边生态能力:PostGIS、异构数据复制、LVS 负载均衡、FDW 联邦能力等。

 TBase 适用场景:

  • 在国产化落地、业务核心领域去 O 场景;

  • 对 HTAP 混合事务分析应用模型有需要的业务场景;

  • 对物联网地理信息系统有需求的业务场景;

  • 对实时高并发环境下的分布式事务强一致性有要求的业务(如金融、证券等业务)场景;

  • 对企业级数据安全、审计、治理应用相关功能有需求的业务场景;

  • 对高可用、异地容灾、7*24 小时服务能力有需求的业务场景;

  • 有海量存储计算需求、弹性扩容、在线扩容需求的业务场景;

  • 对异构数据互通共享有需求的业务场景。

的码云指数为
超过 的项目
加载中

评论(8)

象令营
象令营
程序员如何实现睡后收入,有兴趣的私信我了解
123456fang
123456fang
男的也行?
kiki1000
kiki1000
以后会不会收费啊
preemyin
preemyin
这个很不错,很想试用,可惜目前文档很少,好像还要序列号,可能会收费。
calvinwilliams
calvinwilliams
很高兴看到PostgreSQL使用越来越广泛了
BaiYang
BaiYang
我觉得主要应该列一下与 PostgreSQL-XL 的主要区别在哪里
s
shifeng1983
我们自主可控
引鸩怼孑
引鸩怼孑
挂的多 摊的猛

暂无资讯

暂无问答

腾讯云分布式数据库可用性系统实践

欢迎大家前往腾讯云社区,获取更多腾讯海量技术实践干货哦~ 在分布式环境当中,总是会遇到诸如 主机宕机 或 网络故障 等各种影响系统可用性的情况发生。轻则会导致投诉,重则导致企业核心数据...

2017/10/25 16:54
75
0
delphi 面试题

一、 Delphi基础 1、Delphi 内置类型 string 和 WideString 的区别。 答: string 即 UnicodeString,8 位(ANSI )字符 WideString 类型是动态分配的、由 16 位 Unicode 字符所构成的字符串...

2013/06/16 11:58
492
0
战略聚焦三大主航道,腾讯云重磅发布五大数据库新品

8月28日,腾讯云数据库在京正式启动战略升级,宣布未来将聚焦云原生、自治、超融合三大战略方向,以用户为中心,联接未来。并在现场面向全球用户同步发布五大战略级新品,包括数据库智能管家...

08/29 10:51
9
0
concurrentHashMap

TSHIFT:表格中的位移数量 TBASE :表格进行数据保存时,进行索引跳越的值 1.segment <HashEntry> [] segment表;进行保存 2.HashEntry<K,V>[] 链表结构 保存在segment中 put(){ se=ensureSe...

06/16 09:43
6
0
腾讯Techo开发者大会PPT分享

腾讯云年度的开发者大会已经落幕,大会包括1场前沿技术主峰会,18个技术专场,150位海内外技术专家,28个互动展区,8场动手实验室,23小时小程序云开发极限编程,1场数据库诊断大赛。 内容上...

11/20 16:17
14
0
Storm-源码分析- Thrift的使用

1 IDL 首先是storm.thrift, 作为IDL里面定义了用到的数据结构和service 然后backtype.storm.generated, 存放从IDL通过Thrift自动转化成的Java代码 比如对于nimbus service 在IDL的定义为, s...

2015/05/08 16:34
805
0
Java拾遗:003 - ConcurrentHashMap源码解读

JDK1.7 ConcurrentHashMap实现原理浅析 在多线程场景下使用HashMap会造成死循环,CPU100%等问题,所以我们不能在多线程场景下使用HashMap,另外一个集合类HashTable是线程安全的,但其使用s...

2018/08/03 16:39
22
0
GCC/LD编译链接潜规则 (第五弹) : 为什么会有undified symbol?

问题一: 你是否遇到过: 经常遇到加载一些so时, 提示undified symbol,导致加载失败, 可是makefile明明包含了指定的库呀, 怎么还会undified ? 问题二: 你是否还遇到过, 通过ldd -r 查看so, 发现...

2016/01/05 08:40
522
0
流水的新技术,铁打的Linux

关注嘉为科技,获取运维新知 这一年人工智能火了,凡是带电的专业都往AI上靠,实在靠不上的还可以看AlphaGo下棋,探讨AI能否取代人类。这种全民跟风,比前两年的“云计算”、“大数据”热度还...

2018/11/15 14:34
6
0
RPC框架之Thrift分析

RPC框架之Thrift分析

2016/04/28 10:09
2.4K
2

没有更多内容

加载失败,请刷新页面

返回顶部
顶部
天津时时彩