精彩博客

分布式及高可用元数据采集原理

转载本文需注明出处:微信公众号EAWorld,违者必究。 引言: 元数据采集是元数据产品的核心部分,如何提升采集效率是需要仔细斟酌的事情,既要保持稳定性也要保持跟上主流技术的发展趋势。元...

前天 16:14
97
0
Nebula 架构剖析系列(一)图数据库的存储设计

摘要 在讨论某个数据库时,存储 ( Storage ) 和计算 ( Query Engine ) 通常是讨论的热点,也是爱好者们了解某个数据库不可或缺的部分。每个数据库都有其独有的存储、计算方式,今天就和图图来...

10/15 16:39
214
0
Nebula Graph 技术总监陈恒:图数据库怎么和深度学习框架进行结合?

Nebula Graph 的技术总监在 09.24 - 09.30 期间同 开源中国·高手问答 的小伙伴们以「图数据库的设计和实践」为切入点展开讨论,包括:「图数据库的存储设计」、「图数据库的计算设计」、「图...

10/10 09:53
356
1
Redis专题(3):锁的基本概念到Redis分布式锁实现

拓展阅读:Redis闲谈(1):构建知识图谱 Redis专题(2):Redis数据结构底层探秘 近来,分布式的问题被广泛提及,比如分布式事务、分布式框架、ZooKeeper、SpringCloud等等。本文先回顾锁的概...

09/25 10:50
5.4K
22
混合事务分析处理“HTAP”的技术要点分析

HTAP是近些年来比较火的一个概念,本文将聊聊HTAP的前世今生及技术特点。 一、数据应用类别 根据数据的使用特征,可简单做如下划分。在选择技术平台之前,我们需要做好这样的定位。 1.1 OLTP...

09/24 10:29
1K
1
账户系统如何应对高并发、热点账户等问题

互联网金融系统的核心是支付结算,而支付结算的基础又是账户系统。互金账户系统的特点是并发量大、响应快、交易金额大,热点账户问题突出。一个合格的账户系统既要解决上述问题,又必须绝对保...

09/16 10:06
5.7K
12
MyCat数据库的基础配置及使用

一、为什么需要分布式数据据库 随着计算机和信息技术的迅猛发展,行业应用系统的规模迅速扩大,行业应用所产生的数据量呈爆炸式增长,动辄达到数百TB甚至数百PB的规模,已远远超出传统计算技...

09/10 14:40
4.3K
2
PostgreSQL-11.3-主从流复制+手动主备切换

1 摘要 使用PostgreSQL 11.3 创建两个节点:node1 和 node2; 配置主从流复制,然后做手动切换(failover)。为了配置过程简单,两个节点在同一台物理机器上。 首先建立主从同步流复制,起初...

09/08 15:56
1K
2
聊聊图数据库和图数据库的小知识

图数据库 - 维基百科:在计算机科学中,图数据库(英语:graph database,GDB)是一个使用图结构进行语义查询的数据库,它使用节点、边和属性来表示和存储数据。该系统的关键概念是图,它直接...

08/23 16:24
1K
0
Cassandra Java堆外内存排查经历全记录

背景 最近准备上线cassandra这个产品,同事在做一些小规格ECS(8G)的压测。压测时候比较容易触发OOM Killer,把cassandra进程干掉。问题是8G这个规格我配置的heap(Xmx)并不高(约6.5g)已经留...

08/21 12:09
646
0
企业使用数据库的12种姿势

数据库,作为IT系统的基础类软件,发挥着非常巨大的作用。那么企业在使用数据库时,有什么样的方式可以选择?不同方式又各有其什么特点呢?本文将从使用方式、适用场景、未来发展、成本因素(...

08/20 18:28
4.1K
0
Apache ShardingSphere数据脱敏全解决方案详解

Apache ShardingSphere数据脱敏全解决方案详解 作者简介 潘娟,京东数科高级DBA,主要负责京东数科数据库中间件开发、数据库运维自动化平台开发、生产数据库运维工作。多次参与京东6.18、11....

08/12 11:26
4.6K
16
Redis进阶应用:Redis+Lua脚本实现复合操作

一、引言 Redis是高性能的key-value数据库,在很大程度克服了memcached这类key/value存储的不足,在部分场景下,是对关系数据库的良好补充。得益于超高性能和丰富的数据结构,Redis已成为当前...

08/07 10:57
2K
0
Hadoop YARN:调度性能优化实践

背景 YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。 美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。 离线业...

08/05 10:54
631
0
TiKV 源码解析系列文章(十一)Storage - 事务控制层

作者:张金鹏 背景知识 TiKV 是一个强一致的支持事务的分布式 KV 存储。TiKV 通过 raft 来保证多副本之间的强一致,事务这块 TiKV 参考了 Google 的 Percolator 事务模型,并进行了一些优化。...

07/30 11:42
374
0
MySQL——RDS下的分区表实践

实践背景 项目中有的表空间太大,且行数太多,故决定对一些表进行分库分表。再研究选型方案的时候发现常用的一些分库分表的解决方案对业务代码修改较多,故决定采用MySQL的分区方案。 其实在...

07/24 17:30
1K
5
图数据库 Nebula Graph 的数据模型和系统架构设计

Nebula Graph:一个开源的分布式图数据库。作为唯一能够存储万亿个带属性的节点和边的在线图数据库,Nebula Graph 不仅能够在高并发场景下满足毫秒级的低时延查询要求,还能够实现服务高可用...

07/24 15:01
1K
1
你真的了解“SQL”吗?《SQL优化最佳实践》作者带你重新了解SQL

一、SQL :一种熟悉又陌生的编程语言 这里有几个关键词;“熟悉”、“陌生”、“编程语言”。 说它“熟悉”,是因为它是DBA和广大开发人员,操作数据库的主要手段,几乎每天都在使用。说它“...

07/11 13:21
2.3K
11
Mysql主主同步失败后的恢复

基础信息 主库: 数据库2 10.126.4.2 数据库3 10.126.4.3 1. 停止数据库3对外服务 防止同步过程中服务通过数据库3写入数据 $ firewall-cmd --remove-port=3306/tcp $ firewall-cmd --add-ric...

07/09 11:08
887
0
Ubuntu下借助URLOS快速安装SqlServer 2017

在Ubuntu上能安装SqlServer 2017吗?当然可以!在网上你能找到大量的安装教程,也许经过一些折腾,你也能成功在linux中安装sqlserver,但是其中可能会踩到很多莫名其妙的坑,白白浪费你的宝贵...

07/06 15:08
1K
1

没有更多内容

加载失败,请刷新页面

账户系统如何应对高并发、热点账户等问题

互联网金融系统的核心是支付结算,而支付结算的基础又是账户系统。互金账户系统的特点是并发量大、响应快、交易金额大,热点账户问题突出。一个合格的账户系统既要解决上述问题,又必须绝对保...

09/16 10:06
5.7K
12
MyCat数据库的基础配置及使用

一、为什么需要分布式数据据库 随着计算机和信息技术的迅猛发展,行业应用系统的规模迅速扩大,行业应用所产生的数据量呈爆炸式增长,动辄达到数百TB甚至数百PB的规模,已远远超出传统计算技...

09/10 14:40
4.3K
2
企业使用数据库的12种姿势

数据库,作为IT系统的基础类软件,发挥着非常巨大的作用。那么企业在使用数据库时,有什么样的方式可以选择?不同方式又各有其什么特点呢?本文将从使用方式、适用场景、未来发展、成本因素(...

08/20 18:28
4.1K
0
Apache ShardingSphere数据脱敏全解决方案详解

Apache ShardingSphere数据脱敏全解决方案详解 作者简介 潘娟,京东数科高级DBA,主要负责京东数科数据库中间件开发、数据库运维自动化平台开发、生产数据库运维工作。多次参与京东6.18、11....

08/12 11:26
4.6K
16
图数据库 Nebula Graph 的数据模型和系统架构设计

Nebula Graph:一个开源的分布式图数据库。作为唯一能够存储万亿个带属性的节点和边的在线图数据库,Nebula Graph 不仅能够在高并发场景下满足毫秒级的低时延查询要求,还能够实现服务高可用...

07/24 15:01
1K
1
分布式时序数据库QTSDB的设计与实现

奇技指南 现有的开源时序数据库influxdb只支持单机运行,在面临大量数据写入时,会出现查询慢,机器负载高,单机容量的限制。 为了解决这一问题,360基础架构团队在单机influxdb的基础上,开...

05/29 19:46
1K
3
ORACLE数据库启停概述

?只要使用过oracle database,那么肯定执行过很多次的startup和shutdown的操作,但是你是否关心过这个过程发生了什么?这篇文章主要讲讲oracle启动与停止过程oracle后台发生的事情。 实例与...

05/02 09:15
1K
4
ORACLE中的常见执行计划

原文发表在http://l4j.cc/2019/04/21/oralce-access-path-introduce/ ?本文梳理、归纳了在之前工作中常见的一些执行计划。了解ORACLE中有哪些可能的执行计划,以及什么情况下适合哪种执行计...

04/23 14:18
1K
4
Redis 概念以及底层数据结构

Redis 简介 REmote DIctionary Server(Redis) 是一个由SalvatoreSanfilippo写的key-value存储系统。 Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日...

04/16 17:57
3.1K
8
MySql索引那些事

概述 上一篇文章《一条sql语句在mysql中是如何执行的》我们聊到了sql语句内部的执行,包括InnoDB引擎是如何支持事务的,如何做到可以备份恢复的,那么今天我们来聊一聊MySql索引的那些事,在...

04/01 09:22
5.4K
25
一条sql语句在mysql中是如何执行的

概览 最近开始在学习mysql相关知识,自己根据学到的知识点,根据自己的理解整理分享出来,本篇文章会分析下一个sql语句在mysql中的执行流程,包括sql的查询在mysql内部会怎么流转,sql语句的...

03/26 09:01
5.3K
29
Nginx多进程高并发、低时延、高可靠机制在缓存(redis、memcache)twemproxy代理中的应用

0. 手把手教你做中间件、高性能服务器、分布式存储技术交流群 手把手教你做中间件、高性能服务器、分布式存储等(redis、memcache、nginx、大容量redis pika、rocksdb、mongodb、wiredtiger存...

02/28 15:23
4.8K
10
MySQL插入性能优化

MySQL插入性能优化 标签: 博客 [TOC] 可以从如下几个方面优化MySQL的插入性能。 代码优化 values 多个 即拼接成一个insert values sql, 例如 INSERT INTO MyTable ( Column1, Column2, Colu...

01/17 20:41
5K
8
基于keepalived搭建mysql双主高可用

目录 概述 环境准备 keepalived搭建 mysql搭建 mysql双主搭建 mysql双主高可用搭建 概述 传统(不借助中间件)的数据库主从搭建,如果主节点挂掉了,从节点只能读取无法写入,只能把人肉去恢复故障...

2018/11/29 17:10
2.9K
6
MySQL5.7多主一从(多源复制)同步配置

多主一从,也称为多源复制,数据流向: 主库1 -> 从库s 主库2 -> 从库s 主库n -> 从库s 应用场景 数据汇总,可将多个主数据库同步汇总到一个从数据库中,方便数据统计分析。 读写分离,从库只...

2018/11/20 11:44
4.2K
19
kettle学习笔记及最佳实践

最近在用kettle迁移数据,从对kettle一点不会到比较熟悉,对于期间的一些问题和坑做了记录和总结,内容涵盖了使用的经验和技巧,踩到的坑、最佳实践和优化前后结果对比。 常用转换组件 计算形...

2018/10/23 12:56
10.6K
12
关于MySQL 通用查询日志和慢查询日志分析

MySQL中的日志包括:错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志。 1)通用查询日志:记录建立的客户端连接和执行的...

2018/10/09 14:36
3.5K
6
Python以太坊交互将区块链数据存入sql数据库

关于区块链介绍性的研讨会通常以易于理解的点对点网络和银行分类账这类故事开头,然后直接跳到编写智能合约,这显得非常突兀。因此,想象自己走进丛林,想象以太坊区块链是一个你即将研究的奇...

2018/09/05 09:49
3.2K
2
Redis 哈希结构内存模型剖析

本文共 1231字,阅读大约需要 5分钟 ! 概述 在前文《Redis字符串类型内部编码剖析》之中已经剖析过 Redis最基本的 String类型的内部是怎么编码和存储的,本文再来阐述 Redis中使用 最为频繁...

2018/08/27 09:00
5.6K
12
MongoDB副本集配置和数据迁移实战

MongoDB副本集配置和数据迁移实战 https://gitee.com/et/ops/blob/master/MongoDB副本集配置和数据迁移实战.md 环境:Ubuntu 16.04, MongoDB 3.6 基本概念 MongoDB 的副本集就是有自动故障恢...

2018/06/30 16:48
1K
1

没有更多内容

加载失败,请刷新页面

influxdb-1.7.8绿色安装-centos7

influxdb作为一款性能强悍的时序数据库, 一旦拥有, 别无所求. 本文介绍它的绿色安装方法. 环境准备, 下载, 解压. [[email protected] influxdb-1.7.8] cat /etc/redhat-release CentOS Linux...

昨天 17:41
5
0
Oracle 数据库之表的复制

Oracle 数据库 表的复制 方式一:复制表结构及表数据 CREATE TABLE table_new AS SELECT * FROM TABLE_old ; 方式二:只复制表结构 CREATE TABLE table_new AS SELECT * FROM table_old WHER...

昨天 17:32
5
0
mysql数据库优化

1.优化数据库字段属性 一般说来,数据库中的表越小,在它上面执行的查询也就会越快。 我们可以将表中字段的宽度设得尽可能小 应该尽量把字段设置为NOTNULL,这样在将来执行查询的时候,数据库...

昨天 16:53
8
0
新特性解读 | MySQL 8.0.18 有权限控制的复制

原文:Replication with restricted privileges https://mysqlhighavailability.com/replication-with-restricted-privileges/ 作者:Pedro Figueiredo 翻译:管长龙 背景 MySQL 8.0.18 以前...

昨天 16:31
4
0
新入职迁移orcale数据库到本地

一般公司新入职是需要拷贝公司数据库的表到本地,防止那些删库跑路的狠人动了数据库后跑路(当然实际情况是公司有专门的的数据库管理员,即DBA,如果你只是个开发人员,公司不会给你动库的权限的,...

昨天 15:55
6
0
mysql索引

一、什么是索引?为什么要建立索引? 索引用于快速找出在某个列中有一特定值的行,不使用索引,MySQL必须从第一条记录开始读完整个表,直到找出相关的行,表越大,查询数据所花费的时间就越多...

昨天 14:51
6
0
【2019年8月版本】OCP 071认证考试最新版本的考试原题-第10题

Choose two Which two statements are true about Oracle synonyms? A) A synonym can have a synonym. B) All private synonym names must be unique in the database. C) Any user can cre...

昨天 14:51
6
0
如何用 redis-cli 直接插入 utf-8 字符?

如果使用 golang 间接向 redis 中插入一个 utf-8 字符,例如 “Ю”,通过 redis-cli 取出的字符是: 127.0.0.1:6379> get test "\u042e" 可是如果通过 redis-cli 插入这个字符: 127.0.0.1:...

昨天 14:30
5
0
ElasticSearch聚合返回对应TopN数据

{ "size": 0, "_source": false, "stored_fields": "_none_", "aggregations": { "groupby": { "composite": { "size": 100, "sources": [ { "code": { "terms": { "field": "code", "missin...

昨天 14:10
8
0
科研大数据面临的挑战

近几十年硬件的发展非常迅猛,第一台Macintosh苹果电脑的内存是128KB(0.13MB),现在很多笔记本配的是8GB的内存,硬盘1TB(1024GB),2TB的很常见。大型的数据服务器上还会有更大的储容量,...

昨天 13:42
5
0
PostGIS空间数据库SRID背景知识 - 地理坐标系(球面坐标系)和投影坐标系(平面坐标系)

背景 《PostGIS 坐标转换(SRID)的边界问题引发的背景知识 - ST_Transform》 一文,介绍了使用某个坐标系时,计算国内某个点到某个点的距离出现了负数。 背景知识和坐标系有关。 什么是地理坐...

昨天 13:22
3
0
数据库添加索引

mysql索引添加 navicat 步骤 - 选择表 -> 设计表 ->索引

昨天 12:21
8
0
Hands-on! 如何给 TiDB 添加新系统表

作者:黄东旭 “TiDB,你已经是一个成熟的数据库了,该学会用自己的 SQL 查自己的状态了。” 对于一个成熟的数据库来说,通过 SQL 来查询系统本身的状态再正常不过,对于 MySQL 来说 INFOMA...

昨天 11:07
6
0
mysql安装配置及Python使用mysql

1. 下载MySQL 下载mysql分版本地址 本次下载的版本是mysql-5.6.43-winx64 2. 安装MySQL 1. 解压压缩包 解压后界面如图所示 2. 初始化mysql 在bin目录下运行cmd命令行界面:mysqld --initiali...

昨天 10:57
8
0
【2019年8月版本】OCP 071认证考试最新版本的考试原题-第9题

Choose three Which three statements are true about views in an Orade batabase? A) A SELECT statement cannot contain a where clause when querying a view contaning a WHERE clause ...

昨天 09:36
6
0
数据仓库知识积累

参考文档 1、MySQL设计及优化专题 https://www.kancloud.cn/thinkphp/mysql-design-optimalize/39319 2、MySQL性能管理及架构设计(三):SQL查询优化、分库分表 - 完结篇 https://segmentf...

前天 20:56
6
0
一文带你理解脏读,幻读,不可重复读与mysql的锁,事务隔离机制

首先说一下数据库事务的四大特性 1 ACID 事务的四大特性是ACID(不是"酸"....) (1) A:原子性(Atomicity) 原子性指的是事务要么完全执行,要么完全不执行. (2) C:一致性(Consistency) 事务完成时...

前天 17:29
13
0
技术分享 | MySQL:产生大量小 relay log 的故障一例

作者:高鹏 文章末尾有他著作的《深入理解 MySQL 主从原理 32 讲》,深入透彻理解 MySQL 主从,GTID 相关技术知识。 源码版本:5.7.22 水平有限,如有误请谅解 本文建议横屏观看,效果更佳 ...

前天 16:57
16
0
技术分享 | MySQL:产生大量小 relay log 的故障一例

作者:高鹏 文章末尾有他著作的《深入理解 MySQL 主从原理 32 讲》,深入透彻理解 MySQL 主从,GTID 相关技术知识。 源码版本:5.7.22 水平有限,如有误请谅解 本文建议横屏观看,效果更佳 ...

前天 16:55
7
0
分布式及高可用元数据采集原理

转载本文需注明出处:微信公众号EAWorld,违者必究。 引言: 元数据采集是元数据产品的核心部分,如何提升采集效率是需要仔细斟酌的事情,既要保持稳定性也要保持跟上主流技术的发展趋势。元...

前天 16:14
97
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部
天津时时彩