goMars的学习随记

Redis集群Redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N即切片集群，也叫分片集群。解决了大型单实例持久化阻塞主线程的问题，也方便了扩容问题。 并且Redis 集群通过分区（partition）来提供一定程度的可用性（availability）： 即使集群中有一部分节点失效或者无法进行通讯， 集群也可以继续处理命令请求。 数据切片和实例的对应分布关系切片集群是一种保存大量数据的通用机制，这个机制可以有不同的实现方案。一般使用的是Redis Cluster，这里也讲的是Redis Cluster。 Redis Cluster 方案采用哈希槽（Hash Slot，接下来我会直接称之为 Slot），来处理数据和实例之间的映射关系。 在 Redis Cluster 方案中，一个切片集群共有 16384 个哈希槽，这些哈希槽类似于数据分区，每个键值对都会根据它的 key，被映射到一个哈希槽中。 映射过程： 根据键值对的 key，按照CRC16 算法计算一个 16 bit 的值 再用这个 16bit 值对 ...

Redis缓存雪崩缓存雪崩缓存雪崩是指在同一时段大量的缓存key同时失效或者Redis服务宕机，导致大量请求到达数据库，带来巨大压力。 缓存key失效的解决方案： 给不同的Key的TTL添加随机值 Redis服务宕机的解决方案： 利用Redis集群提高服务的可用性 给缓存业务添加降级限流策略 给业务添加多级缓存

Redis缓存击穿缓存击穿问题也叫热点Key问题，就是一个被高并发访问并且缓存重建业务较复杂的key突然失效了，无数的请求访问会在瞬间给数据库带来巨大的冲击。 常见的解决方案有两种： 互斥锁 逻辑过期 利用锁因为锁能实现互斥性。假设线程过来，只能一个人一个人的来访问数据库，从而避免对于数据库访问压力过大，但这也会影响查询的性能。（我们可以采用tryLock方法 + double check来解决这样的问题。） 优点 没有额外的内存消耗 保证一致性 实现简单 缺点 线程需要等待，性能受影响 可能有死锁风险 redisTemplate实现互斥锁：（没有考虑原子性，原子性可以使用lua脚本保证） 1234567891011121314151617181920212223private static final String ID_PREFIX = UUID.randomUUID().toString(true) + "-";//获取锁public boolean tryLock(long timeoutSec) {// 获取线程标示String th ...

缓存穿透缓存穿透 ：缓存穿透是指客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会打到数据库。 数据穿透了缓存，直击数据库，我们都知道数据库能够承载的并发不如redis这么高，如果大量的请求同时过来访问这种不存在的数据，这些请求就都会访问到数据库。 常见的解决方案有两种： 缓存空对象 优点：实现简单，维护方便 缺点： 额外的内存消耗 可能造成短期的不一致 布隆过滤 优点：内存占用较少，没有多余key 缺点： 实现复杂 存在误判可能 缓存空对象这种解决方案就是哪怕这个数据在数据库中也不存在，我们也把这个数据存入到redis中去，这样，下次用户过来访问这个不存在的数据，那么在redis中也能找到这个数据就不会进入到数据库了 布隆过滤这种解决方案思路大致是在客户端与Redis中间再加了一层布隆过滤器。 如果布隆过滤器判断存在则放行，否则直接返回，这个请求会去访问redis，哪怕此时redis中的数据过期了，但是数据库中一定存在这个数据，在数据库中查询出来这个数据后，再将其放入到redis中。 （布隆过滤器其实采用的是哈希思想 ...

Redis缓存缓存数据存储于代码中,而代码运行在内存中,内存的读写性能远高于磁盘,缓存可以大大降低用户访问并发量带来的服务器读写压力 但是缓存也会增加代码复杂度和运营的成本： 缓存的使用实际开发中,会构筑多级缓存来使系统运行速度进一步提升,例如:本地缓存与redis中的缓存并发使用： 常用的缓存更新策略缓存更新是redis为了节约内存而设计出来的一个东西，主要是因为内存数据宝贵，当我们向redis插入太多数据，此时就可能会导致缓存中的数据过多，所以redis会对部分数据进行更新，或者把他叫为淘汰更合适。 内存淘汰：redis自动进行，当redis内存达到咱们设定的max-memery的时候，会自动触发淘汰机制，淘汰掉一些不重要的数据(可以自己设置策略方式) 超时剔除：当我们给redis设置了过期时间ttl之后，redis会将超时的数据进行删除，方便咱们继续使用缓存 主动更新：我们可以手动调用方法把缓存删掉，通常用于解决缓存和数据库不一致问题 主动更新的策略： 人工编码方式：缓存调用者在更新完数据库后再去更新缓存，也称之为双写方案（常用） 由系统本身完成，数据库与缓存的问题交由系统 ...

Redis基础 简介：Redis是一个开源的key-value存储系统。 特点： 数据都在内存中，支持持久化，主要用作备份恢复 除了支持简单的key-value模式，还支持多种数据结构的存储，比如 list、set、hash、zset等。 一般是作为缓存数据库辅助持久化的数据库 安装 去官方下载安装包 上传安装包到/opt下 在linux下安装gcc环境：yum install -y gcc tcl 解压 tar -zxvf redis-6.2.1.tar.gz 进入redis目录执行make命令 执行make install 安装 安装目录在/usr/local/bin下 在安装包的目录下备份配置文件cp redis.conf redis.conf.bck 修改配置文件（最好不要直接修改原文件，复制到/etc下运行时用复制后的）vim redis.conf 修改如下配置： 12345678910111213141516# 允许访问的地址，默认是127.0.0.1，会导致只能在本地访问。修改为0.0.0.0则可以在任意IP访问，生产环境不要设置为0.0.0.0 ...

LinuxLinux 是一款操作系统，免费，开源， 安全，高效，稳定， 处理高并发非常强悍，现在很多的企业级的项目都部署到 Linux/unix 服务器运行。 安装 CentOS下载地址： 官方：https://www.centos.org/download/ 网易镜像:http://mirrors.163.comlcentos/6/isos/ 搜狐镜像:http://mirrors.sohu.comlcentos/6/isos 安装VMware 创建虚拟机 安装Centos 进行处理器配置（虚拟机总核心数不能超过主机核心数。若超出则会警告提醒。） 配置虚拟机内存 设置centos镜像文件 配置网络类型（一般选择NAT模式，桥接模式容易ip冲突） 选择语言、网络配置、安装相关环境等….（注意有需要可以选择安装GNOME Desktop图形界面） 进行磁盘分区（/boot区(大概1G)、swap交换分区(大概2G)、根分区/(剩余都是)） 等待开机即可 Linux目录结果 以下是对这些目录的解释： /bin：bin 是 Binaries (二进制文件) 的缩写, 这个目录存放 ...

SpringBoot统一响应处理目前很多项目都是前后端分离，在这样的大趋势下，后端向前端的响应结果规范格外地重要。 自定义响应结果响应实体1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071@Data@NoArgsConstructor@AllArgsConstructorpublic class ResponseEntityDemo<T> { /** * 状态码 */ private int code; /** * 响应信息 */ private String message; /** * 响应数据 */ private T data; /** * 请求处理成功且不需要返回数据时使用的工具方法 * @return */ public ...

SpringBoot的异常处理全局异常处理对整个项目的异常进行自动拦截处理，方便以后抛出自定义异常 使用1234567891011121314151617181920@RestControllerAdvice@Slf4jpublic class GlobalExceptionHandler { @ExceptionHandler(MethodArgumentNotValidException.class) public String MethodArgumentNotValidExceptionHandler(MethodArgumentNotValidException e) { // 从异常对象中拿到ObjectError对象 ObjectError objectError = e.getBindingResult().getAllErrors().get(0); // 然后提取错误提示信息进行返回 return ResponseEntity.failed(objectError.getDef ...

参数校验在日常开发中，经常需要对前端传过来的数据进行，非空等有效校验。但是如果使用if (username == null)的方式进行手动判断，会十分麻烦并且每次都需要校验； 于是Validator框架应运而生，提供了很多方便的校验注解（非空、邮箱是否有效、长度限制等） 详细使用一般SpringBoot的项目会使用Spring Validation，它是对Hibernate Validation的二次封装。在SpringMVC模块中添加了自动校验。并将校验信息封装到特定的类中。 提供的校验注解： @Null 被注释的元素必须为null @NotNull 被注释的元素必须不为null @AssertTrue 被注释的元素必须为true @AssertFalse 被注释的元素必须为false @Min(value) 被注释的元素必须是一个数字，其值必须大于等于指定的最小值 @Max(value) 被注释的元素必须是一个数字，其值必须小于等于指定的最大值 @DecimalMin(value) 被注释的元素必须是一个数字，其值必须大于等于指定的最小值 @DecimalMax(value) 被注 ...