1. ElasticSearch 中的聚合分析 聚合分析，英文Aggregation，是 ES 除了搜索功能之外提供的针对 ES 数据进行统计分析的功能。 特点： ① 功能丰富，可满足大部分分析需求； ② 实时性高，所有计算结果实时返回。 基于分析规则的不同，ES 将聚合分析主要划分为以下 4 种： Metric: 指标分析类型，如：计算最值，平均值等； Bucket: 分桶类型，类似于group …

阅读更多

1. ElasticSearch 的分布式特性 1.1 分布式介绍 ES支持集群模式，即一个分布式系统。其好处主要有以下 2 个: 可增大系统容量。比如：内存、磁盘的增加使得ES能够支持PB级别的数据； 提高了系统可用性。即使一部分节点停止服务，集群依然可以正常对外服务。 ES集群由多个ES实例构成。 + 不同集群通过集群名字来区分，通过配置文件elasticsearch.yml中 …

阅读更多

1. 概述 1.1 ElasticStack特点 使用门槛低，开发周期短，上线快 性能好，查询快，实时展示结果 扩容方便，快速支撑增长迅猛的数据 1.2 ElasticStack各组件作用 Beats：数据采集 LogStash: 数据处理 ElasticSearch(核心引擎): 数据存储、查询和分析 Kibana: 数据探索与可视化分析 1.3 ElasticStack使用场景 搜索引擎、日志 …

阅读更多

SETNX命令简介 SETNX key value返回(1:key的值被设置，0:key的值没被设置)，将key的值设为value，并且仅当key不存在。 锁的key为目标数据的唯一键，value为锁的期望超时时间点； 基于Redis实现的分布式锁，主要基于redis的setnx（set if not exist）命令； 1. jedis实现分布式锁 <dependency> …

阅读更多

1. 缓存穿透 访问一个不存在的key，缓存不起作用，请求会穿透到DB，流量大时DB会挂掉。 解决方案： 采用布隆过滤器（bloomfilter就类似于一个hash set），使用一个足够大的bitmap，用于存储可能访问的key，不存在的key直接被过滤； 访问key未在DB查询到值，也将空值写进缓存，但可以设置较短过期时间。 接口限流与熔断、降级 使用互斥锁排队（分布式环境中要使用分布式锁，单 …

阅读更多

Redis本质上是一个Key-Value类型的内存数据库，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过10万次读写操作，是已知性能最快的Key-Value DB。 Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构，此外单个value的最大限制是1GB。另 …

阅读更多

同大多数关系型数据库一样，日志文件是MySQL数据库的重要组成部分。MySQL有几种不同的日志文件，通常包括错误日志文件，二进制日志，通用日志，慢查询日志，等等。这些日志可以帮助我们定位mysqld内部发生的事件，数据库性能故障，记录数据的变更历史，用户恢复数据库等等。 错误日志：记录启动、运行或停止mysqld时出现的问题。 通用日志：记录建立的客户端连接和执行的语句。 更新日志：记录更改数据的 …

阅读更多

1. MySQL事务 事务: 数据库操作的最小工作单元，是作为单个逻辑工作单元执行的一系列操作；事务是一组不可再分割的操作集合(工作逻辑单元)； 事务的特性(ACID)： 原子性（Atomicity，或称不可分割性）：最小的工作单元，整个工作单元要么一起提交成功，要么全部失败回滚 一致性（Consistency）：事务中操作的数据及状态改变是一致的，即写入资料的结果必须完全符合预设的规则， 不会因 …

阅读更多

1. 索引的基本概念 索引是为了加速对表中数据行的检索而创建的一种分散存储的数据结构。 索引意义： 索引能极大的减少存储引擎需要扫描的数据量 索引可以把随机IO变成顺序IO 索引可以帮助我们在进行分组、排序等操作时，避免使用临时表 增加索引会有利于查询效率，但会降低insert，update，delete的效率，但实际上往往不是这样的，过多的索引会不但会影响使用效率，同时会影响查询效率，这是由于数 …

阅读更多

1. MySQL基础操作 1.1 MySQL备份与恢复 备份：在mysql的安装目录的bin目录下有mysqldump命令，可以完成对数据库的备份。 语法：mysqldump -u 用户名 -p 数据库名> 磁盘SQL文件路径 由于mysqldump命令不是sql命令，需要在dos窗口下使用。 仅仅只会备份数据库中的表和数据，恢复时需要先手动创建数据库。 恢复：先手动创建数据库：create …

阅读更多