参考 [数组对象去重](https://www.nodejs.red/#/javascript/base?id=数组去重的三种实现方式)

数据如下:

```js
[{ name: 'zs', age: 15 }, { name: 'lisi' }, { name: 'zs' }]
```

想要将 name 为 zs 的数据去重，优先保留第一条相同数据

## 解决方法

### reduce 去重

```js
let hash = {}

function unique(arr, initialValue) {
  return arr.reduce(function (previousValue, currentValue, index, array) {
    hash[currentValue.name] ? '' : (hash[currentValue.name] = true && previousValue.push(currentValue))

    return previousValue
  }, initialValue)
}

const uniqueArr = unique([{ name: 'zs', age: 15 }, { name: 'lisi' }, { name: 'zs' }], [])

console.log(uniqueArr) // uniqueArr.length == 2
```

### lodash 工具库去重

[Lodash Documentation](https://lodash.com/docs/4.17.15#uniqBy)

```js
_.uniqBy([{ x: 1 }, { x: 2 }, { x: 1 }], 'x')

// => [{ 'x': 1 }, { 'x': 2 }]

// 指定条件
_.uniqBy([2.1, 1.2, 2.3], Math.floor)
// => [2.1, 1.2]
```

想要所有对象属性都一样才去重也简单

```js
var objects = [
  { x: 1, y: 2 },
  { x: 2, y: 1 },
  { x: 1, y: 2 },
]

_.uniqWith(objects, _.isEqual)
// => [{ 'x': 1, 'y': 2 }, { 'x': 2, 'y': 1 }]
```

JS数组对象去重

[官方文档](https://docs.docker.com/engine/install/centos/)

[Docker — 从入门到实践 (gitbook.io)](https://yeasy.gitbook.io/docker_practice/)

## 安装

```bash
# 删除旧的版本
yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

# 需要的安装包
yum install -y yum-utils

# 设置镜像仓库 下面为阿里云的
yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo  #默认是国外的

yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 更新yum软件包索引
yum makecache fast

# 安装docker 引擎
yum install docker-ce docker-ce-cli containerd.io

# 启动docker
systemctl start docker

docker version #查看版本是否安装成功

docker run hello-world #运行该镜像 如果没有将会拉去官方镜像

docker images # 查看已有镜像

# 卸载docker
# 卸载依赖
yum remove docker-ce docker-ce-cli containerd.io

#删除资源
sudo rm -rf /var/lib/docker
sudo rm -rf /var/lib/containerd
```

/var/liv/docker docker 在宿主机的默认工作路径

## 配置阿里云镜像加速

登录阿里云 找到容器镜像服务,按照下图命令复制粘贴即可

![](https://img.kuizuo.cn/image-20210527011655512.png)

## Docker 的命令

![](https://img.kuizuo.cn/v2-820aee2a33654099d87cdd2b7a1ce741_r.jpg)

```bash
docker info # 显示docker 系统信息
docker stats # 显示docker 所占用的资源
docker --help # 查看帮助
```

### 镜像命令

```bash
#查看本地主机上的镜像
docker images

[root@localhost ~]# docker images
REPOSITORY    TAG       IMAGE ID       CREATED       SIZE
hello-world   latest    d1165f221234   3 weeks ago   13.3kB

REPOSITORY 仓库源
TAG 标签 一般为版本号
IMAGE ID id
CREATED 创建时间
SIZE 大小

-a 显示全部
-q 只显示id

docker search 镜像名  # 搜索镜像
docker pull 镜像名:[TAG]  # 下载镜像
docker rmi 镜像ID # 删除镜像  -f 强制删除
docker rmi 镜像ID1 镜像ID2 镜像ID3 # 删除多个镜像 通过空格

docker rmi -f $(docker images -aq) # 删除全部镜像
```

### 容器命令

得先有了镜像才可创建容器

安装一个 centos 容器 docker pull centos

#### 启动容器

```bash
docker run [参数] image
# 参数说明
--name="名字" 指定容器名字
-d           后台方式运行
-it          交互方式运行,可进入容器查看内容
-p           指定容器的端口
-p           主机端口:容器端口
-v           宿主机路径:容器内路径   数据卷
```

#### 查看容器

```bash
docker ps 命令

-a    #所有+历史运行过的容器
-n=?  #最近创建的容器
-q    #只显示容器的编号

```

#### 退出容器

```bash
exit  #直接停止并退出
Ctrl + P + Q #不停止退出
```

#### 删除容器

注意 没有`i`

```bash
docker rm 容器id   #删除指定的容器
docker rm -f $(docker ps -aq) # 删除所有的容器
```

#### 启动和停止容器的操作

```bash
docker start 容器id
docker restart 容器id
docker stop 容器id
docker kill 容器id
```

#### 进入当前正在运行的容器

```bash
docker exec -it 容器id /bin/bash  #进入后开启新的终端 可在里面操作(常用)
docker attach 容器id # 不会启动新的进程 单单只是进入容器的终端
```

#### 后台启动容器

```
docker run -d 容器
docker run -d centos
docker ps
# 没有容器的数据   发现centos 停止了

```

常见的坑 docker 容器使用后台运行 就必须要有一个前台应用,否则将会自动停止 nginx 容器启动后 发现自己没有提供服务 就会立刻停止 **就是没有程序了**

#### 查看容器内的进程信息

```bash
docker top 容器id
```

#### 查看容器的元数据

```
docker inspect 容器id
```

#### 从容器内拷贝文件到宿主机上

```bash
docker cp 容器id:容器内路径 宿主机路径
```

### 自定义网络

```bash
docker network ls  #查看所有的docker 网络

docker network create --driver bridge mynet

创建容器通过 `--net`    默认为 --net bridge

docker network connect   # 连通网络
```

### 容器数据卷

一句话 容器的持久化和同步操作! 容器间 也是可以数据共享的

#### 使用数据卷

```bash
docker run -it -v 主机目录:容器目录
```

#### 指定路径挂载

注意 路径前有`/` 为绝对路径

#### 匿名挂载

只指定容器内的名字

```bash
docker run -d -P --name nginx -v /ect/nginx nginx

通过 docker volume ls 即可查看
为local  .....
```

#### 具名挂载

```bash
docker run -d -P --name nginx -v mynginx:/ect/nginx nginx

# mynginx 为卷名

docker volume inspect mynginx 可查看挂载位置
没指定目录 都是在 /var/lib/docker/volumes/卷名/_data

docker volume ls
local  mynginx
```

区别

```bash
-v 容器内路径  #匿名挂载
-v 卷名:容器内路径 #具名
-v /宿主机路径:容器内路径 #指定路径
```

拓展

```
-v 容器内路径:ro   rw
ro 表示只读 readonly 只可外部改变 只可宿主机改变
rw 可读写 readwirte  默认rw
```

#### 例子

安装Mysql

```bash
docker run -d -p 3307:3306 --privileged=true -v /data/mysql/log:/var/log/mysql -v /data/mysql/data:/var/lib/mysql -v /opt/docker/mysql/conf:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=123456 --name mysql mysql:5.7
```

安装Redis

```
docker run -d -p 6379:6379 --privileged=true -v /app/redis/redis.conf:/etc/redis/redis.conf -v /app/redis/data:/data -e MYSQL_ROOT_PASSWORD=123456 --name mysql mysql:5.7 redos-server /etc/redis/redis.conf
```

## DockerFile

![](https://img.kuizuo.cn/OIP.p3NmHHlewBvLwukFPGudFgHaFV.jpg)

所有命令大小写不敏感（但推荐大写）

构建镜像命令

```bash
docker build -t 自定镜像名 .
```

例：创建一个属于自己的 centos 镜像

```dockerfile
FROM cetnos
MAINTAINER kuizuo<911993023@qq.com>

ENV MYPATH /usr/local
WORKDIR $MYPATH

RUN yum -y install vim
RUN yum -y install net-tools

EXPOSE 80
CMD /bin/bash
```

通过 docker history 镜像 ID 可以查看 镜像的变更历史

CMD 和 ENTRYPOINT 区别

```
CMD  # 指定这个容器启动的时候要运行的命令,只有最后一个会生效,可被替代
ENTRYPOINT   # 指定这个容器启动的时候要运行的命令,可以追加命令 直接拼接的形
```

## 发布镜像

### Commit 镜像

```dockerfile
# 命令和git原理很像
docker commit -m="描述信息" -a="作者" 容器id 自定镜像名:[TAG]

即可在本地生成一个属于自己的镜像文件
```

### 发布

1、登录[Docker Hub](https://hub.docker.com/) 注册一个账号

2、docker login -u kuizuo

3、输入密码

```
[root@localhost ~]# docker login -u kuizuo
Password:
Error response from daemon: Get https://registry-1.docker.io/v2/: unauthorized: incorrect username or password
[root@localhost ~]# docker login -u kuizuo
Password:
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
```

4、docker push 镜像 ID 镜像名:[Tag]

5、有可能提交不上 需要修改下属 docker tag 镜像名

### 部署到阿里云容器服务

1、登录阿里云，在容器镜像服务 创建个人实例

2、创建命名空间，不然无法创建镜像仓库，且 只可创建 3 个

3、创建镜像仓库，然后选择本地仓库

4、点击管理可查看基本信息，操作指南写的非常详细

Docker笔记

## 简介

dockerfile 能让程序在任何地方运行 比如 web 服务 redis mysql nginx 但需要启动多个容器 并且都需要 run 一下 ,而通过 Docker Compose 则可以一键完成上面任务 实现自动化部署

**一句话:将多个容器融合在一起**

## 安装

前提需要安装 docker

1、下载

```bash
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

# 上为官方的地址 可能有些慢 下为daocloud
sudo curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

```

2、授权文件权限

```bash
sudo chmod +x /usr/local/bin/docker-compose
```

3、测试安装结果

```
docker-compose --version
```

## 使用

```
docker-compose up
```

### YAML 规则

[Compose file version 3 reference | Docker Documentation](https://docs.docker.com/compose/compose-file/compose-file-v3/#compose-file-structure-and-examples)

`Compose` 中有两个重要的概念：

- 服务 (`service`)：一个应用的容器，实际上可以包括若干运行相同镜像的容器实例。
- 项目 (`project`)：由一组关联的应用容器组成的一个完整业务单元，在 `docker-compose.yml` 文件中定义。

一个简单的 YAML 配置文件就像下面这样。

```yaml
version: '3' # compose版本 根据docker的版本来匹配

services: # 服务
  服务1:
    # 服务配置
    images:
    build:
    ports:
    network:
    environment:
    depends_on:
  服务2:
networks:
volumes:
```

Docker Compose

[Elasticsearch Clients | Elastic 官方文档](https://www.elastic.co/guide/en/elasticsearch/client/index.html)

## 安装

下载地址:[Elasticsearch, Kibana, and the Elastic Stack | Elastic](https://www.elastic.co/cn/start)

### window

解压，双击 bin 目录下的 `elasticsearch.bat` 即可启动，kibana 也是同理。

启动后输入 http://localhost:9200 与 http://localhost:5601/ 显示正常说明两者都安装成功

### linux

同 windows 不过多叙述了

### docker

当然上面那些安装都过于麻烦，docker 一步到位

#### elasticsearch

[elasticsearch (docker.com)](https://hub.docker.com/_/elasticsearch)

```
# 创建自定义网络与kibana通信
docker network create esnet

# 挂载目录 端口映射
docker run -d --name elasticsearch --net esnet -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -v /data/elasticsearch:/usr/share/elasticsearch/data -v /data/elasticsearch/plugins:/usr/share/elasticsearch/plugins elasticsearch:tag

```

参数详解

```
docker run 创建并启动容器
-d 后台运行
--name elasticsearch 指定容器唯一的名称，方便管理
-p 9200:9200 -p 9300:9300 映射容器端口到宿主机上
-e "discovery.type=single-node" 环境变量配置单机模式
-v /data/elasticsearch:/usr/share/elasticsearch/data 持久化数据存储
-v /data/elasticsearch/plugins:/usr/share/elasticsearch/plugins
elasticsearch:tag 镜像名称及版本 tag最新
```

#### kibana

```
docker run -d --name kibana --net esnet -p 5601:5601 kibana:tag
```

#### ik 分词器

```bash
cd /usr/share/elasticsearch/plugins/
elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.2.0/elasticsearch-analysis-ik-7.2.0.zip
exit
docker restart elasticsearch
```

或

```bash
docker exec -it 容器id /bin/bash
cd /usr/share/elasticsearch/plugins/
mkdir ik
cd ik
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip
yum install unzip
unzip elasticsearch-analysis-ik-7.6.2.zip
exit
docker restart elasticsearch
```

然后可以在 kibana 界面的`dev tools`中验证是否安装成功；

```
POST test/_analyze
{
  "analyzer": "ik_max_word",
  "text": "你好我是愧怍"
}
```

#### 设置密码

[ElasticSearch 设置账户密码](https://blog.csdn.net/qq_43188744/article/details/108096394)

进入 es 容器

```
docker exec -it elasticsearch bash

cd config
vi elasticsearch.yml
```

添加如下代码

```
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization
xpack.security.enabled: true
```

重启后,重新进入容器,输入

```
elasticsearch-setup-passwords interactive
```

按 y 确认后即可设置密码

进入 kibana 容器

```
docker exec -it kibana bash

cd config
vi kibana.yml
```

添加如下代码

```
elasticsearch.username: "kibana"
elasticsearch.password: "a123456"
```

顺便在加这几行代码，后续如果导出数据过大的话也导的出来

```
xpack.reporting.csv.maxSizeBytes: 409715200
xpack.reporting.queue.timeout: 2800000
```

登录 Kibana 的账户就是 kibana,elasticsearch 的账户为 elastic.

## docker-compose

创建 volume 挂载目录，并修改目录用户和用户组。由于 elasticsearch6 之后不允许使用 root 启用，所以需要修改

```
/usr/share/elasticsearch/data的权限为1000
mkdir -pv /usr/share/elasticsearch/data
chown 1000:1000 /usr/share/elasticsearch/data
```

部署文件

```
mkdir /usr/local/elasticsearch-kibana
cd elasticsearch-kibana/
vim docker-compose.yml
```

docker-compose.yml

```yaml
version: '3.9'
services:
  elasticsearch:
    image: elasticsearch:7.2.0
    container_name: elasticsearch
    volumes:
      - /usr/share/elasticsearch/data:/usr/share/elasticsearch/data
      - ./elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    ports:
      - 9200:9200
      - 9300:9300
    networks:
      - esnet
    restart: always
  kibana:
    image: kibana:7.2.0
    container_name: kibana
    ports:
      - 5601:5601
    networks:
      - esnet
    depends_on:
      - elasticsearch
    restart: always

networks:
  esnet:
```

vim elasticsearch.yml

```
#集群名
cluster.name: "elasticsearch"
# 允许外部网络访问
network.host: 0.0.0.0
#支持跨域
http.cors.enabled: true
#支持所有域名
http.cors.allow-origin: "*"
# 开启xpack安全校验，在kibana中使用需要输入账号密码
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true

```

启动 docker-compose `docker-compose up -d`

至此有关 elasticSearch 安装与配置就告一段落

## 数据迁移

### elasticdump

[elasticsearch-dump/elasticsearch-dump](https://github.com/elasticsearch-dump/elasticsearch-dump)

这里使用 elasticdump (因为只会这个)

#### 安装

```bash
npm install elasticdump -g
elasticdump
```

#### 命令

```
elasticdump --input SOURCE --output DESTINATION [OPTIONS]
```

##### 参数

- limit

  每个操作要批量移动多少对象,Limit 是文件流的近似值 默认:100

- type

  导出类型 默认 data [settings, analyzer, data, mapping, policy, alias, template, component_template, index_template]

- 其他参数看文档,暂时都用不上

例:

```bash
# 将es数据导入另一台es数据
elasticdump --input=http://production.es.com:9200/my_index --output=http://staging.es.com:9200/my_index --all=true --limit=2000

# 或
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=analyzer
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=mapping
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=data

# 备份文件到本地
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=/data/my_index_mapping.json \
  --type=mapping
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=/data/my_index.json \
  --type=data

```

#### docker 安装

```
docker pull elasticdump/elasticsearch-dump
```

例:

```
# Copy an index from production to staging with mappings:
docker run --rm -ti elasticdump/elasticsearch-dump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=mapping
docker run --rm -ti elasticdump/elasticsearch-dump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=data

# Backup index data to a file:
docker run --rm -ti -v /data:/tmp elasticdump/elasticsearch-dump \
  --input=http://production.es.com:9200/my_index \
  --output=/tmp/my_index_mapping.json \
  --type=data
```

## 常用命令

### 查询并删除匹配文档

正常查询对应的代码

```
GET answer/_search
{
  "query": {
    "match_phrase": {
      "topic": "测试"
    }
  }
}
```

要删除 topic 为“测试”，只需要将`_search`替换为`_delete_by_query`即可。

---

暂时只用到这些 TODO。。。

## 注意事项

### elasticsearch 默认输出一万条

elasticsearch 默认输出最多一万条，查询第 10001 条数据就会报错

解决方案:

1、修改 elasticsearch 输出默认限制条数

```
PUT 索引名称/_settings?preserve_existing=true
{
  "max_result_window": "1000000"
}
```

2、创建索引时设置

```
"settings":{
    "index":{
        "max_result_window":1000000
 　　}
}
```

3、在请求的时候附加参数`"track_total_hits":true`

### elasticsearch 默认分配内容为 1g

elasticsearch 默认分配内容为 1g，在`jvm.options`配置如下

```
################################################################
## IMPORTANT: JVM heap size
################################################################
##
## The heap size is automatically configured by Elasticsearch
## based on the available memory in your system and the roles
## each node is configured to fulfill. If specifying heap is
## required, it should be done through a file in jvm.options.d,
## and the min and max should be set to the same value. For
## example, to set the heap to 4 GB, create a new file in the
## jvm.options.d directory containing these lines:
##
## -Xms4g
## -Xmx4g
##
## See https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.html
## for more information
##
################################################################

-Xms1g
-Xmx1g
```

将其更改为服务器可分配的的内存，比如 32g，就分配个 16g 即可

```
-Xms16g
-Xmx16g
```

重启 elasticsearch 生效。

### kibana 设置导出 csv 大小

kibana 默认导出的 csv 有文件大小限制，默认是 10M，数据量大于 10M，那么 csv 只会下载 10M 大小的数据

并且导出 CSV 报告 Kibana 是放入队列中执行的，有一个处理超时时间，默认是 12000 毫秒，也就是 2 分钟

解决方案: 通过修改配置可以更改限制大小

`vim kibana.yml`

```
# csv文件大小200MB,默认为10485760（10MB）
xpack.reporting.csv.maxSizeBytes: 209715200
# 超时时间-30分钟,默认是120000(2分钟)
xpack.reporting.queue.timeout: 1800000
```

**修改后，重启 kibana 即可生效**

> 参考 [Kibana 7.X 导出 CSV 报告](https://blog.csdn.net/qq_25646191/article/details/108641758)

### Kibana server is not ready yet

访问 Elasticsearch 的 9200 端口，能正常访问，但访问 Kibana 的 5601 端口就提示

```
Kibana server is not ready yet
```

**解决办法**

将配置文件 kibana.yml 中的 elasticsearch.url 改为正确的链接，默认为: [http://elasticsearch:9200](http://elasticsearch:9200)，改为 http://自己的 IP 地址:9200

```
# Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true
```

然后重启 kibana 即可，记得防火墙开放 5601 端口

#### 出问题不知道怎么解决，查看日志输出才是关键

```
docker logs 容器id(容器名)
```


简介

前言