1. 分层网络协议 OSI七层网络协议：物理层，数据链路层，网络层，传输层(TCP/UDP)，会话层，表示层，应用层 TCP/IP协议分层(可以理解为OSI的一种实现)：网络接口层，网络层，传输层(TCP/UDP)，应用层 2. TCP通信协议简介： 面向连接的、可靠的、基于字节流的 传输层通信协议 将应用层的数据流分割成报文段并发送给目标节点的TCP层 数据包都有序号，对方收到则发送ACK确认， …

阅读更多

SETNX命令简介 SETNX key value返回(1:key的值被设置，0:key的值没被设置)，将key的值设为value，并且仅当key不存在。 锁的key为目标数据的唯一键，value为锁的期望超时时间点； 基于Redis实现的分布式锁，主要基于redis的setnx（set if not exist）命令； 1. jedis实现分布式锁 <dependency> …

阅读更多

1. 缓存穿透 访问一个不存在的key，缓存不起作用，请求会穿透到DB，流量大时DB会挂掉。 解决方案： 采用布隆过滤器（bloomfilter就类似于一个hash set），使用一个足够大的bitmap，用于存储可能访问的key，不存在的key直接被过滤； 访问key未在DB查询到值，也将空值写进缓存，但可以设置较短过期时间。 接口限流与熔断、降级 使用互斥锁排队（分布式环境中要使用分布式锁，单 …

阅读更多

Redis本质上是一个Key-Value类型的内存数据库，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过10万次读写操作，是已知性能最快的Key-Value DB。 Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构，此外单个value的最大限制是1GB。另 …

阅读更多

同大多数关系型数据库一样，日志文件是MySQL数据库的重要组成部分。MySQL有几种不同的日志文件，通常包括错误日志文件，二进制日志，通用日志，慢查询日志，等等。这些日志可以帮助我们定位mysqld内部发生的事件，数据库性能故障，记录数据的变更历史，用户恢复数据库等等。 错误日志：记录启动、运行或停止mysqld时出现的问题。 通用日志：记录建立的客户端连接和执行的语句。 更新日志：记录更改数据的 …

阅读更多

1. MySQL事务 事务: 数据库操作的最小工作单元，是作为单个逻辑工作单元执行的一系列操作；事务是一组不可再分割的操作集合(工作逻辑单元)； 事务的特性(ACID)： 原子性（Atomicity，或称不可分割性）：最小的工作单元，整个工作单元要么一起提交成功，要么全部失败回滚 一致性（Consistency）：事务中操作的数据及状态改变是一致的，即写入资料的结果必须完全符合预设的规则， 不会因 …

阅读更多

1. 索引的基本概念 索引是为了加速对表中数据行的检索而创建的一种分散存储的数据结构。 索引意义： 索引能极大的减少存储引擎需要扫描的数据量 索引可以把随机IO变成顺序IO 索引可以帮助我们在进行分组、排序等操作时，避免使用临时表 增加索引会有利于查询效率，但会降低insert，update，delete的效率，但实际上往往不是这样的，过多的索引会不但会影响使用效率，同时会影响查询效率，这是由于数 …

阅读更多

1. MySQL基础操作 1.1 MySQL备份与恢复 备份：在mysql的安装目录的bin目录下有mysqldump命令，可以完成对数据库的备份。 语法：mysqldump -u 用户名 -p 数据库名> 磁盘SQL文件路径 由于mysqldump命令不是sql命令，需要在dos窗口下使用。 仅仅只会备份数据库中的表和数据，恢复时需要先手动创建数据库。 恢复：先手动创建数据库：create …

阅读更多

1. ElasticStack 的组成 Beats：数据采集 LogStash: 数据处理 ElasticSearch(核心引擎): 数据存储、查询和分析 Kibana: 数据探索与可视化分析 2. Filebeat Filebeat是本地文件的轻量型日志数据采集器。 Beats可以直接（或者通过Logstash）将数据发送到Elasticsearch，在那里你可以进一步处理和增强数据，然后 …

阅读更多

1. ElasticSearch 中的聚合分析 聚合分析，英文Aggregation，是 ES 除了搜索功能之外提供的针对 ES 数据进行统计分析的功能。 特点： ① 功能丰富，可满足大部分分析需求； ② 实时性高，所有计算结果实时返回。 基于分析规则的不同，ES 将聚合分析主要划分为以下 4 种： Metric: 指标分析类型，如：计算最值，平均值等； Bucket: 分桶类型，类似于group …

阅读更多