Elasticsearch 创建index库 timeout

问题概述

1. 使用 python 客户端 代码进行创建，【之前成功创建，但是现在出现报错，报错代码es_connection.client.indices.create】

def create_vector_index(dataset_index_name,vector_query_field,query_field):

    es_connection = get_collention(dataset_index_name,vector_query_field,query_field)
    
    es_connection.client.indices.create(
    index=dataset_index_name,
    mappings={
        "properties": {
            f"{query_field}": {
                "type": "text",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_smart",    
                 "fields": {
                        "raw": { 
                        "type":  "keyword"
                                }
                            }                      
                               },
            f"{vector_query_field}": {
                        "type": "dense_vector",
                        "dims": 1024,
                        "index": True,
                        "similarity": "cosine",
                    },
        }
    },
    )

1. 重启 es01 docker 容器 ，同样出现 上述问题。
2. 使用kibana 进行 调取 es库中数据可以正常使用，也可正常链接。 但是同样不能创建 index库。请求超时错误。

1. 通过步骤3，断定es出了问题，查看docker日志 ，docker logs -f es01, 开始警告磁盘空间，【问题很可能出在 es 存储上限，导致库不能创建成功】

创建库失败时，打印的日志，排除网络问题导致的超时。

【解决方法】

在kibana 客户端 设置es的磁盘上限

PUT _cluster/settings
{
  "transient": {
    "cluster.routing.allocation.disk.watermark.low": "95%",
    "cluster.routing.allocation.disk.watermark.high": "95%"
  }
}

返回结果：

{
  "acknowledged": true,
  "persistent": {},
  "transient": {
    "cluster": {
      "routing": {
        "allocation": {
          "disk": {
            "watermark": {
              "low": "95%",
              "high": "95%"
            }
          }
        }
      }
    }
  }
}

执行上面命令后，查看日志可以看到，存储下限进行调整，另外可以发现，在kibana 的 红色的ir_quest的库 自动变为黄色，可以正常使用。

1. 进入es01 容器，查看gc.log, 发现另一个问题：【一直gc清理，但清理不出太多空间， 说明JVM 空间 当时启动docker 时设置太小。】

附加问题的解决方法是： 在启动docker的es01时的启动命令有问题：

【ps小工具】查看docker的启动参数工具， python环境， 执行： pip install runlike

runlike -p es01

原始命令：

(fastapi) (base) server@server:~/data3/chat_fastapi_project/information_retrieval$ runlike -p es01 
docker run --name=es01 \
        --hostname=d989639e3cb4 \
        --user=1000:0 \
        --network=elastic \
        --workdir=/usr/share/elasticsearch \
        -p 9200:9200 \
        --expose=9300 \
        --restart=no \
        --runtime=runc \
        --memory="1073741824" \
        -t \
        docker.elastic.co/elasticsearch/elasticsearch:8.11.3 \
        eswrapper

更新的参考命令：

sudo docker run --name elasticsearch \
-p 9200:9200  -p 9300:9300 \
--restart=always \
--privileged=true \
-it -v /etc/localtime:/etc/localtime:ro \
-e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms1024m -Xmx8192m" \
-v /opt/elasticsearch/config:/usr/share/elasticsearch/config \
-v /opt/elasticsearch/data:/usr/share/elasticsearch/data \
-v /opt/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-v /opt/elasticsearch/logs:/usr/share/elasticsearch/logs \
-d elasticsearch:8.11.3 \

【ps小技巧】后面在创建ES 容器时， 先创建一次， 将默认的生成的这些文件copy出来， 然后 删除 容器， 在重新启动，启动时将关键目录挂载到镜像中。