精彩博客

百万级高并发mongodb集群性能数十倍提升优化实践(上篇)

mongodb内核、wiredtiger存储引擎、rocksdb存储引擎相关源码分析详见(后续持续更新): https://github.com/y123456yz/reading-and-annotate-mongodb-3.6.1 背景 线上某集群峰值TPS超过100万/...

12/11 19:56
1K
3
谈数据删除设计-以记账凭证为例

1 常见删除策略 凡是做业务逻辑系统, 总是离不开对删除逻辑的处理. 本文论述重点是伪删除, 即字段标示状态, 这是在一些中小型系统开发中的单据等较重要数据的主流做法. 但在此之前, 不妨先将...

12/06 11:22
3.4K
6
使用图数据库 Nebula Graph 数据导入快速体验知识图谱 OwnThink

前言 本文由 Nebula Graph 实习生@王杰贡献。 最近 @Yener 开源了史上最大规模的中文知识图谱——OwnThink(链接:https://github.com/ownthink/KnowledgeGraphData ),数据量为 1.4 亿条。...

11/26 10:35
441
0
关于 Postgres 独特之处的采访 —— 扩展

本文作者:Craig Kerstiens ,目前在负责 @citusdata 的云团队。Citus 将 Postgres 扩展为可水平扩展的分布式数据库。本文是他之前一个好友采访他的记录(英文原文请看这里)。 以下是采访内...

11/21 16:14
856
0
Nebula 架构剖析系列(二)图数据库的查询引擎设计

摘要 上文(存储篇)说到数据库重要的两部分为存储和计算,本篇内容为你解读图数据库 Nebula 在查询引擎 Query Engine 方面的设计实践。 在 Nebula 中,Query Engine 是用来处理 Nebula 查询...

11/21 10:40
310
0
分布式及高可用元数据采集原理

转载本文需注明出处:微信公众号EAWorld,违者必究。 引言: 元数据采集是元数据产品的核心部分,如何提升采集效率是需要仔细斟酌的事情,既要保持稳定性也要保持跟上主流技术的发展趋势。元...

10/17 16:14
554
1
Nebula 架构剖析系列(一)图数据库的存储设计

摘要 在讨论某个数据库时,存储 ( Storage ) 和计算 ( Query Engine ) 通常是讨论的热点,也是爱好者们了解某个数据库不可或缺的部分。每个数据库都有其独有的存储、计算方式,今天就和图图来...

10/15 16:39
349
0
Nebula Graph 技术总监陈恒:图数据库怎么和深度学习框架进行结合?

Nebula Graph 的技术总监在 09.24 - 09.30 期间同 开源中国·高手问答 的小伙伴们以「图数据库的设计和实践」为切入点展开讨论,包括:「图数据库的存储设计」、「图数据库的计算设计」、「图...

10/10 09:53
431
1
Redis专题(3):锁的基本概念到Redis分布式锁实现

拓展阅读:Redis闲谈(1):构建知识图谱 Redis专题(2):Redis数据结构底层探秘 近来,分布式的问题被广泛提及,比如分布式事务、分布式框架、ZooKeeper、SpringCloud等等。本文先回顾锁的概...

09/25 10:50
5.9K
23
混合事务分析处理“HTAP”的技术要点分析

HTAP是近些年来比较火的一个概念,本文将聊聊HTAP的前世今生及技术特点。 一、数据应用类别 根据数据的使用特征,可简单做如下划分。在选择技术平台之前,我们需要做好这样的定位。 1.1 OLTP...

09/24 10:29
1K
1
账户系统如何应对高并发、热点账户等问题

互联网金融系统的核心是支付结算,而支付结算的基础又是账户系统。互金账户系统的特点是并发量大、响应快、交易金额大,热点账户问题突出。一个合格的账户系统既要解决上述问题,又必须绝对保...

09/16 10:06
6.3K
13
MyCat数据库的基础配置及使用

一、为什么需要分布式数据据库 随着计算机和信息技术的迅猛发展,行业应用系统的规模迅速扩大,行业应用所产生的数据量呈爆炸式增长,动辄达到数百TB甚至数百PB的规模,已远远超出传统计算技...

09/10 14:40
4.5K
2
PostgreSQL-11.3-主从流复制+手动主备切换

1 摘要 使用PostgreSQL 11.3 创建两个节点:node1 和 node2; 配置主从流复制,然后做手动切换(failover)。为了配置过程简单,两个节点在同一台物理机器上。 首先建立主从同步流复制,起初...

09/08 15:56
1K
2
聊聊图数据库和图数据库的小知识

图数据库 - 维基百科:在计算机科学中,图数据库(英语:graph database,GDB)是一个使用图结构进行语义查询的数据库,它使用节点、边和属性来表示和存储数据。该系统的关键概念是图,它直接...

08/23 16:24
1K
0
Cassandra Java堆外内存排查经历全记录

背景 最近准备上线cassandra这个产品,同事在做一些小规格ECS(8G)的压测。压测时候比较容易触发OOM Killer,把cassandra进程干掉。问题是8G这个规格我配置的heap(Xmx)并不高(约6.5g)已经留...

08/21 12:09
751
0
企业使用数据库的12种姿势

数据库,作为IT系统的基础类软件,发挥着非常巨大的作用。那么企业在使用数据库时,有什么样的方式可以选择?不同方式又各有其什么特点呢?本文将从使用方式、适用场景、未来发展、成本因素(...

08/20 18:28
4.3K
0
Apache ShardingSphere数据脱敏全解决方案详解

Apache ShardingSphere数据脱敏全解决方案详解 作者简介 潘娟,京东数科高级DBA,主要负责京东数科数据库中间件开发、数据库运维自动化平台开发、生产数据库运维工作。多次参与京东6.18、11....

08/12 11:26
5.1K
17
Redis进阶应用:Redis+Lua脚本实现复合操作

一、引言 Redis是高性能的key-value数据库,在很大程度克服了memcached这类key/value存储的不足,在部分场景下,是对关系数据库的良好补充。得益于超高性能和丰富的数据结构,Redis已成为当前...

08/07 10:57
2.1K
0
Hadoop YARN:调度性能优化实践

背景 YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。 美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。 离线业...

08/05 10:54
744
0
TiKV 源码解析系列文章(十一)Storage - 事务控制层

作者:张金鹏 背景知识 TiKV 是一个强一致的支持事务的分布式 KV 存储。TiKV 通过 raft 来保证多副本之间的强一致,事务这块 TiKV 参考了 Google 的 Percolator 事务模型,并进行了一些优化。...

07/30 11:42
460
0

没有更多内容

加载失败,请刷新页面

谈数据删除设计-以记账凭证为例

1 常见删除策略 凡是做业务逻辑系统, 总是离不开对删除逻辑的处理. 本文论述重点是伪删除, 即字段标示状态, 这是在一些中小型系统开发中的单据等较重要数据的主流做法. 但在此之前, 不妨先将...

12/06 11:22
3.4K
6
账户系统如何应对高并发、热点账户等问题

互联网金融系统的核心是支付结算,而支付结算的基础又是账户系统。互金账户系统的特点是并发量大、响应快、交易金额大,热点账户问题突出。一个合格的账户系统既要解决上述问题,又必须绝对保...

09/16 10:06
6.3K
13
MyCat数据库的基础配置及使用

一、为什么需要分布式数据据库 随着计算机和信息技术的迅猛发展,行业应用系统的规模迅速扩大,行业应用所产生的数据量呈爆炸式增长,动辄达到数百TB甚至数百PB的规模,已远远超出传统计算技...

09/10 14:40
4.5K
2
企业使用数据库的12种姿势

数据库,作为IT系统的基础类软件,发挥着非常巨大的作用。那么企业在使用数据库时,有什么样的方式可以选择?不同方式又各有其什么特点呢?本文将从使用方式、适用场景、未来发展、成本因素(...

08/20 18:28
4.3K
0
Apache ShardingSphere数据脱敏全解决方案详解

Apache ShardingSphere数据脱敏全解决方案详解 作者简介 潘娟,京东数科高级DBA,主要负责京东数科数据库中间件开发、数据库运维自动化平台开发、生产数据库运维工作。多次参与京东6.18、11....

08/12 11:26
5.1K
17
图数据库 Nebula Graph 的数据模型和系统架构设计

Nebula Graph:一个开源的分布式图数据库。作为唯一能够存储万亿个带属性的节点和边的在线图数据库,Nebula Graph 不仅能够在高并发场景下满足毫秒级的低时延查询要求,还能够实现服务高可用...

07/24 15:01
1K
1
分布式时序数据库QTSDB的设计与实现

奇技指南 现有的开源时序数据库influxdb只支持单机运行,在面临大量数据写入时,会出现查询慢,机器负载高,单机容量的限制。 为了解决这一问题,360基础架构团队在单机influxdb的基础上,开...

05/29 19:46
1K
3
ORACLE数据库启停概述

?只要使用过oracle database,那么肯定执行过很多次的startup和shutdown的操作,但是你是否关心过这个过程发生了什么?这篇文章主要讲讲oracle启动与停止过程oracle后台发生的事情。 实例与...

05/02 09:15
1K
4
ORACLE中的常见执行计划

原文发表在http://l4j.cc/2019/04/21/oralce-access-path-introduce/ ?本文梳理、归纳了在之前工作中常见的一些执行计划。了解ORACLE中有哪些可能的执行计划,以及什么情况下适合哪种执行计...

04/23 14:18
1K
4
Redis 概念以及底层数据结构

Redis 简介 REmote DIctionary Server(Redis) 是一个由SalvatoreSanfilippo写的key-value存储系统。 Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日...

04/16 17:57
3.2K
8
MySql索引那些事

概述 上一篇文章《一条sql语句在mysql中是如何执行的》我们聊到了sql语句内部的执行,包括InnoDB引擎是如何支持事务的,如何做到可以备份恢复的,那么今天我们来聊一聊MySql索引的那些事,在...

04/01 09:22
5.6K
25
一条sql语句在mysql中是如何执行的

概览 最近开始在学习mysql相关知识,自己根据学到的知识点,根据自己的理解整理分享出来,本篇文章会分析下一个sql语句在mysql中的执行流程,包括sql的查询在mysql内部会怎么流转,sql语句的...

03/26 09:01
5.5K
29
Nginx多进程高并发、低时延、高可靠机制在缓存(redis、memcache)twemproxy代理中的应用

0. 手把手教你做中间件、高性能服务器、分布式存储技术交流群 手把手教你做中间件、高性能服务器、分布式存储等(redis、memcache、nginx、大容量redis pika、rocksdb、mongodb、wiredtiger存...

02/28 15:23
5K
10
MySQL插入性能优化

MySQL插入性能优化 标签: 博客 [TOC] 可以从如下几个方面优化MySQL的插入性能。 代码优化 values 多个 即拼接成一个insert values sql, 例如 INSERT INTO MyTable ( Column1, Column2, Colu...

01/17 20:41
5.2K
8
基于keepalived搭建mysql双主高可用

目录 概述 环境准备 keepalived搭建 mysql搭建 mysql双主搭建 mysql双主高可用搭建 概述 传统(不借助中间件)的数据库主从搭建,如果主节点挂掉了,从节点只能读取无法写入,只能把人肉去恢复故障...

2018/11/29 17:10
3K
6
MySQL5.7多主一从(多源复制)同步配置

多主一从,也称为多源复制,数据流向: 主库1 -> 从库s 主库2 -> 从库s 主库n -> 从库s 应用场景 数据汇总,可将多个主数据库同步汇总到一个从数据库中,方便数据统计分析。 读写分离,从库只...

2018/11/20 11:44
4.4K
19
kettle学习笔记及最佳实践

最近在用kettle迁移数据,从对kettle一点不会到比较熟悉,对于期间的一些问题和坑做了记录和总结,内容涵盖了使用的经验和技巧,踩到的坑、最佳实践和优化前后结果对比。 常用转换组件 计算形...

2018/10/23 12:56
11.7K
12
关于MySQL 通用查询日志和慢查询日志分析

MySQL中的日志包括:错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志。 1)通用查询日志:记录建立的客户端连接和执行的...

2018/10/09 14:36
3.5K
6
Python以太坊交互将区块链数据存入sql数据库

关于区块链介绍性的研讨会通常以易于理解的点对点网络和银行分类账这类故事开头,然后直接跳到编写智能合约,这显得非常突兀。因此,想象自己走进丛林,想象以太坊区块链是一个你即将研究的奇...

2018/09/05 09:49
3.3K
2
Redis 哈希结构内存模型剖析

本文共 1231字,阅读大约需要 5分钟 ! 概述 在前文《Redis字符串类型内部编码剖析》之中已经剖析过 Redis最基本的 String类型的内部是怎么编码和存储的,本文再来阐述 Redis中使用 最为频繁...

2018/08/27 09:00
5.8K
12

没有更多内容

加载失败,请刷新页面

69.幂等性

参考:https://www.cnblogs.com/baizhanshi/p/10449306.html 1.情景 1.1 重复提交页面数据 效果: 解决方案: 1.2 高并发下update 1.3 库存减少问题......

昨天 14:17
6
0
拍视频手机那么多,为什么老司机选择荣耀V30系列?

     前些日子和朋友一起去旅行,她和我嘚瑟手机的拍视频功能,令我分外眼红。手机可真是时代发展的产物啊,近几年短视频的兴起,手机也开始优化拍视频的功能。朋友入手的就是华为mate3...

前天 20:10
7
0
查询oracle版本命令

select banner from sys.v_$version;

前天 18:10
9
0
微课程 | 第八课《Global 表简介》

https://v.youku.com/v_show/id_XNDQ2ODE3NTAxMg==.html 上一期我们主要介绍了一些不同拆分规则的表怎样使用,接下来我们介绍一下 Global 表。 什么是 Global 表? 我们有一个定义:对于数据量...

前天 17:50
7
0
[安装] 创建asmlib 磁盘失败

[[email protected] mapper]# oracleasm createdisk vot01 /dev/mapper/votdsk01 oracleasm module not loaded or /dev/oracleasm not mounted. [[email protected] mapper]# ll [[email protected] ~]# systemctl st...

前天 17:33
5
0
oracle查杀连接会话

由于频繁强制启停tomcat不清理连接等情况时可能导致oracle连接爆满,此时可以使用这个方式清理 --查询 select sess.sid,sess.serial#,sess.machine, lo.oracle_username,lo.os_user_name, a...

前天 16:16
7
0
mysql-5.7.28-linux-glibc2.12-x86_64配置(参考)

[client] socket = /data/mysql/var/mysql.sock port = 3306 [my...

前天 16:09
11
0
MySql数据库之常用数据类型及常用约束简述

本文呢,主要给大家简述一下数据库中常用的几种数据类型以及约束。 1.数据类型   数据类型,是指数据表中可以存储的数据的种类。   数据库中常用的数据类型有:     1.整型:int、b...

前天 15:44
7
0
最最最全数据仓库建设指南,速速收藏!!

开讲之前,我们先来回顾一下数据仓库的定义。 数据仓库(Data Warehouse)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。这个概念最早由数据仓库之父比...

前天 15:13
9
0
互联网公司为啥不使用mysql分区表?(一分钟系列)

缘起:有个朋友问我分区表在58的应用,我回答不出来,在我印象中,百度、58都没有听说有分区表相关的应用,业内进行一些技术交流的时候也更多的是自己分库分表,而不是使用分区表。于是去网上...

前天 10:50
15
0
07.MySQL实战45讲学习笔记---MySQL行锁

MySQL的行锁是在引擎层由各个引擎自己实现的。但不是所有的引擎都支持行锁,又如MySAM引擎不支持行锁。不支持行锁意味着并发控制只能使用表锁,对于这种引擎的表,同一张表上任何时刻只能有一...

12/12 22:58
5
0
jenkins的自动备份:thinbackup插件

1、下载插件:thinbackup插件 2、系统管理选择thinbackup插件 3、创建备份目录 mkdir /backup chown -R jenkins.jenkins /backup 4、配置thinbackup 5、立即备份 6、恢复......

12/12 16:12
9
0
跑分44W的荣耀V30 5G手机,真香!

     昨天看了红米K30的发布会,感触颇多啊,“卢本伟”就是雷军请来恶心荣耀的吧,恶心的还淋漓尽致,发布会全程diss荣耀V30,结果跑分出来的那一刻,网友们笑了。红米K30 26W+的跑分充...

12/12 14:17
12
0
技术分享 | 巧用 binlog Event 发现问题

作者:高鹏(八怪) 文章末尾有他著作的《深入理解 MySQL 主从原理 32 讲》,深入透彻理解 MySQL 主从,GTID 相关技术知识。 有了前面对 Event 的了解,我们就可以利用这些 Event 来完成一些...

12/12 14:17
11
0
TiKV 源码解析系列文章(十六)TiKV Coprocessor Executor 源码解析

作者:邓力铭 在前两篇文章 TiKV 源码解析系列文章(十四)Coprocessor 概览、TiKV 源码解析系列文章(十五)表达式计算框架中,讲到了 TiDB 为了最大化利用分布式计算能力,会尽量将 Select...

12/12 10:54
12
1
06.MySQL实战45讲学习笔记---全局锁和表锁

根据加锁的范围,MySQL里面的锁大致可以分成全局锁、表级锁和行锁三类。 全局锁 全局锁就是对整个数据库实例加锁。MySQL提供了一个加全局读锁的方法,命令是flush tables with read lock(FTW...

12/12 00:15
9
0
技术分享 | MySQL优化:为什么SQL走索引还那么慢?

作者:胡呈清 背景 2019-01-11 9:00-10:00 一个 MySQL 数据库把 CPU 打满了。 硬件配置:256G 内存,48 core 分析过程 接手这个问题时现场已经不在了,信息有限,所以我们先从监控系统中查看...

12/11 16:17
18
0
修改mysql时区

SET GLOBAL time_zone = '+8:00'; SET time_zone = '+8:00'; FLUSH PRIVILEGES; SHOW VARIABLES LIKE "%time_zone%";......

12/11 13:10
11
0
查看Oracle Job的执行日志

select t.owner 用户, t.job_name JOB名字, t.status 执行状态, to_char(t.actual_start_date, 'yyyy-mm-dd hh24:mi:ss') 实际执行时间, t.additional_info 附加信息, t.erro......

12/11 10:40
12
0
优化案例 | 分区表场景下的SQL优化

导读 有个表做了分区,每天一个分区。 该表上有个查询,经常只查询表中某一天数据,但每次都几乎要扫描整个分区的所有数据,有什么办法进行优化吗? 一、待优化场景 有一个大表,每天产生的数...

12/11 09:59
15
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部
天津时时彩