feat: 优化默认模板

2023-08-25 14:53:06 +08:00
parent 424ad66262
commit e072242836
9 changed files with 158 additions and 148 deletions
@@ -3,7 +3,6 @@
 # 
 # 应用通用业务处理函数

-# 加载依赖脚本
 . /colovu/lib/libcommon.sh       # 通用函数库

 . /colovu/lib/libfile.sh
@@ -13,55 +12,67 @@
 . /colovu/lib/libservice.sh
 . /colovu/lib/libvalidations.sh

-# 函数列表
+# 检测应用相应的配置文件是否存在，如果不存在，则从默认配置文件目录拷贝一份
+# 默认配置文件路径：/etc/${APP_NAME}
+# 目标配置文件路径：/srv/conf/${APP_NAME}
+# 参数：
+#   $1 - 目标路径
+#   $2 - 源路径
+#   $* - 基础路径下的文件及目录列表，以" "分割
+# 例子: 
+#   ensure_config_file_exist /etc/${APP_NAME} conf.d server.conf
+app_ensure_config_file_exist() {
+    local -r dist_path="${1:?dist paths is missing}"
+    local -r base_path="${2:?source paths is missing}"
+    local f=""

-# 使用环境变量中以 "<PREFIX>" 开头的的全局变量更新指定配置文件中对应项（以"."分隔）
+    shift 2
+    LOG_D "List to check in ${base_path}: $@"
+    while [ "$#" -gt 0 ]; do
+        f="${1}"
+        LOG_D " Process \"${f}\""
+        if [ -d "${base_path}/${f}" ]; then
+            [[ ! -d "${dist_path}/${f}" ]] && LOG_D " Create directory: ${dist_path}/${f}" && mkdir -p "${dist_path}/${f}"
+            [[ ! -z $(ls -A "${base_path}/${f}") ]] && app_ensure_config_file_exist "${dist_path}/${f}" "${base_path}/${f}" $(ls -A "${base_path}/${f}")
+        else
+            [[ ! -e "${dist_path}/${f}" ]] && LOG_D " Copy: ${base_path}/${f} to ${dist_path}" && cp "${base_path}/${f}" "${dist_path}"
+        fi
+        shift
+    done
+}
+
+# 检测以 "<PREFIX>" 开头的环境变量，并更新指定配置文件中对应配置项的值
 # 如果需要全部转换为小写，可使用命令： tr '[:upper:]' '[:lower:]'
-# 全局变量:
-#   <PREFIX>_* : 
-#       替换规则（变量中字符  ==>  替换后全局变量中字符）：
-#           - "." ==> "_"
-#           - "_" ==> "__"
-#           - "-" ==> "___"
-#           
+# 环境变量与配置项替换规则 : 环境变量中下划线  ==> 配置参数中特殊字符
+#   - "_" ==> "_"（下划线）
+#   - "__" ==> "."（半角点）
+#   - "___" ==> "-"（中划线）
+# 
 # 变量：
 #   $1 - 配置文件
-#   $2 - 前缀(不含结束的"_")
-#   
-# 举例：
-#   CORE_CONF_fs_defaultFS 对应配置文件中的配置项：fs.defaultFS
+#   $2 - <PREFIX>前缀(不含结束的"_")
 app_configure_from_environment() {
-    # Map environment variables to config properties
-    for var in "${!APP_CFG_@}"; do
-        key="$(echo "$var" | sed -e 's/^APP_CFG_//g' -e 's/_/\./g' | tr '[:upper:]' '[:lower:]')"
-        value="${!var}"
-        app_conf_set "$key" "$value"
-    done
-
-    local path="${1:?missing file}"
+    local confFile="${1:?missing file}"
    local envPrefix="${2:?missing parameters}"

-    LOG_D "  File: ${path}"
-    # Map environment variables to config properties
-    #for var in `printenv | grep ${envPrefix} | "${!${envPrefix}_@}"`; do
-    #    LOG_D "  Process: ${var}"
-    #    key="$(echo "${var}" | sed -e 's/^${envPrefix}_//g' -e 's/___/-/g' -e 's/__/_/g' -e 's/_/\./g')"
-    #    value="${!var}"
-    #    hadoop_common_xml_set "${path}"  "${key}" "${value}"
-    #done
-    #for var in $(printenv | grep ${envPrefix}); do
-    #    LOG_D "  Process: ${var}"
-    #    key="$(echo "${var}" | sed -e 's/^${envPrefix}_//g' -e 's/___/-/g' -e 's/__/_/g' -e 's/_/\./g' )"
-    #    value="${!var}"
-    #    hadoop_common_xml_set "${path}" "${key}" "${value}"
-    #done
-    for c in `printenv | perl -sne 'print "$1 " if m/^${envPrefix}_(.+?)=.*/' -- -envPrefix=${envPrefix}`; do 
-        name=`echo ${c} | perl -pe 's/___/-/g; s/__/_/g; s/_/./g;'`
-        key="${envPrefix}_${c}"
-        #LOG_D "  Process: ${key} => ${!key}"
-        value="${!key}"
-        hadoop_common_xml_set "${path}" "${name}" "${value}"
-    done
+    LOG_D "Configuration File: ${confFile}"
+
+    if [[ ${file#*.} != "xml" ]]; then
+        # 更新普通key-value配置文件，转换为小写后写入文件
+        for var in "${!APP_CFG_@}"; do
+            key="$(echo "$var" | sed -e 's/^APP_CFG_//g' -e 's/___/-/g' -e 's/__/./g' | tr '[:upper:]' '[:lower:]')"
+            value="${!var}"
+            app_common_conf_set "$confFile" "$key" "$value"
+        done
+    else
+        # 更新xml配置文件，大小写不变写入文件
+        for var in $(eval echo  \${!${envPrefix}_@}); do
+            key=$(echo "$var" | sed -e 's/^'${envPrefix}'_//g' -e 's/___/-/g' -e 's/__/./g')
+            value="${!var}"
+            LOG_D "  Process: ${key} => ${value}"
+            app_common_xml_set "${confFile}" "${key}" "${value}"
+        done
+    fi
 }

 # 将变量配置更新至配置文件
@@ -96,26 +107,10 @@ app_common_conf_set() {
    fi
 }

-# 更新 server.properties 配置文件中指定变量值
-# 变量:
-#   $1 - 变量
-#   $2 - 值（列表）
-app_conf_set() {
-    app_common_conf_set "${APP_CONF_DIR}/zoo.cfg" "$@"
-}
-
-# 更新 log4j.properties 配置文件中指定变量值
-# 变量:
-#   $1 - 变量
-#   $2 - 值（列表）
-app_log4j_set() {
-    app_common_conf_set "${APP_CONF_DIR}/log4j.properties" "$@"
-}
-
 # 使用环境变量中配置，更新配置文件
 app_update_conf() {
    LOG_I "Update configure files..."
-
+    app_configure_from_environment "${APP_CONF_FILE}" "APP_CFG"
 }

 # 生成默认配置文件
@@ -126,8 +121,8 @@ app_generate_conf() {
    echo "">> "${APP_CONF_FILE}"

    # 根据容器参数，设置配置文件
-    app_log4j_set "zookeeper.console.threshold" "${ZOO_LOG_LEVEL}"
-    app_log4j_set "zookeeper.log.dir" "${APP_LOG_DIR}"
+    app_common_conf_set "${APP_CONF_DIR}/log4j.properties" "zookeeper.console.threshold" "${ZOO_LOG_LEVEL}"
+    app_common_conf_set "${APP_CONF_DIR}/log4j.properties" "zookeeper.log.dir" "${APP_LOG_DIR}"
 	
 	app_update_conf
 }
@@ -160,7 +155,7 @@ app_configure_heap_size() {
 app_verify_minimum_env() {
    local error_code=0

-    LOG_D "Validating settings in APP_* env vars..."
+    LOG_D "Validating settings in ENV vars..."

    print_validation_error() {
        LOG_E "$1"
@@ -286,7 +281,7 @@ app_stop_server() {
 app_is_server_running() {
    LOG_D "Check if ${APP_NAME} is running..."
    local pid
-    pid="$(get_pid_from_file "${APP_PID_FILE}")"
+    pid="$(get_pid_from_file '/var/run/${APP_NAME}/${APP_NAME}.pid')"
    LOG_D "${APP_NAME} PID: ${pid}"

    if [[ -n "${pid}" ]]; then
@@ -296,10 +291,6 @@ app_is_server_running() {
    fi
 }

-app_is_server_not_running() {
-    ! app_is_server_running
-}
-
 # 清理初始化应用时生成的临时文件
 app_clean_tmp_file() {
    LOG_D "Clean ${APP_NAME} tmp files for init..."
@@ -411,15 +402,15 @@ app_custom_init() {
                            LOG_D "Sourcing $f"; . "$f"
                        fi
                        ;;
-                    *.sql)    
+                    *.sql)
                        LOG_D "Executing $f"; 
                        postgresql_execute "${PG_DATABASE}" "${PG_INITSCRIPTS_USERNAME}" "${PG_INITSCRIPTS_PASSWORD}" < "$f"
                        ;;
-                    *.sql.gz) 
+                    *.sql.gz)
                        LOG_D "Executing $f"; 
                        gunzip -c "$f" | postgresql_execute "${PG_DATABASE}" "${PG_INITSCRIPTS_USERNAME}" "${PG_INITSCRIPTS_PASSWORD}"
                        ;;
-                    *)        
+                    *)
                        LOG_D "Ignoring $f" ;;
                esac
            done
@@ -431,6 +422,5 @@ app_custom_init() {
    		LOG_I "Custom init for ${APP_NAME} already done before, skipping initialization."
    	fi
    fi
-
 }

@@ -7,21 +7,30 @@
 # 	-e: 命令执行错误则报错(errexit); -u: 变量未定义则报错(nounset); -x: 打印实际待执行的命令行; -o pipefail: 设置管道中命令遇到失败则报错
 set -euo pipefail

-. /colovu/lib/libcommon.sh		# 加载通用函数库
+. /colovu/lib/libcommon.sh		        # 加载通用函数库
+
+. /usr/local/bin/environment.sh         # 设置环境变量

 LOG_I "** Processing entry.sh **"

-# 检测是否仅打印帮助信息（CMD 命令第一个参数以'-'起始）
-[[ "${1:0:1}" == '-' ]] && "${APP_EXEC:-${APP_NAME:-/bin/bash}}" "$@" || exit
+# 优先处理'-'开始的版本信息、帮助信息显示命令，如果是该类命令，处理后退出容器
+[[ "${1:0:1}" == '-' ]] && print_command_help

-# 判断是否为 root 用户
-if [[ "$(id -u)" == '0' ]]; then
-    print_image_welcome
+# 处理 root 用户**且**使用默认启动脚本时的初始化
+if [[ "$(id -u)" == '0' ]] && [[ "$1" == "run.sh" ]]; then
+    print_welcome_info
    /usr/local/bin/setup.sh
-    # 使用非 root 用户执行 CMD 命令，并替换当前进程
+
+    # 执行应用启动脚本并替换当前进程
    exec gosu "${APP_USER}" "$@"
 fi

+# 处理 root 用户**且**使用init.sh脚本时的初始化
+if [[ "$(id -u)" == '0' ]] && [[ "$1" == "init.sh" ]]; then
+    /usr/local/bin/setup.sh
+    /usr/local/bin/init.sh
+fi
+
+# 处理非以上情形的自定义命令
 LOG_I "Start container with command: $@"
-# 执行'$@'定义的指令，并替换当前进程
 exec "$@"
@@ -3,11 +3,10 @@
 # 
 # 应用环境变量定义及初始化

-# 通用设置
 export ENV_DEBUG=${ENV_DEBUG:-false}
 export ALLOW_ANONYMOUS="${ALLOW_ANONYMOUS:-no}"

-# 通过读取变量名对应的 *_FILE 文件，获取变量值；如果对应文件存在，则通过传入参数设置的变量值会被文件中对应的值覆盖
+# 通过读取变量名对应的`*_FILE`文件，获取变量值
 # 变量优先级： *_FILE > 传入变量 > 默认值
 app_env_file_lists=(
 	APP_PASSWORD
@@ -21,15 +20,23 @@ for env_var in "${app_env_file_lists[@]}"; do
 done
 unset app_env_file_lists

-# 应用路径参数
+# 应用路径参数（Dockerfile 已定义：APP_NAME、APP_VER，可能定义 APP_USER、APP_EXEC）
+export APP_EXEC="${APP_EXEC:-${APP_NAME}}"
+export APP_USER="${APP_USER:-${APP_NAME}}"
+export APP_GROUP="${APP_USER:-${APP_NAME}}"
+export APP_HOME="${APP_HOME:-/srv/${APP_NAME}}"
+export APP_BASE="${APP_BASE:-/usr/local/${APP_NAME}}"
+
 export APP_DEF_DIR="${APP_BASE}/etc/${APP_NAME}"
 export APP_CONF_DIR="/srv/${APP_NAME}/conf"
 export APP_DATA_DIR="/srv/${APP_NAME}/data"
+export APP_CERT_DIR="/srv/${APP_NAME}/cert"
+export APP_LOG_DIR="/srv/${APP_NAME}/log"
+export APP_CACHE_DIR="/var/cache/${APP_NAME}"
+export APP_RUN_DIR="/var/run/${APP_NAME}"

 # 应用配置参数
 export APP_CONF_FILE=${APP_CONF_DIR}/default.conf
-
-# 内部变量
 export APP_PID_FILE="${APP_PID_FILE:-/var/run/${APP_NAME}/${APP_NAME}.pid}"

 # 个性化变量
@@ -0,0 +1,25 @@
+#!/bin/bash
+# Ver: 1.2 by Endial Fang (endial@126.com)
+# 
+# 应用初始化脚本
+
+# 设置 shell 执行参数，可使用'-'(打开）'+'（关闭）控制。常用：
+# 	-e: 命令执行错误则报错; -u: 变量未定义则报错; -x: 打印实际待执行的命令行; -o pipefail: 设置管道中命令遇到失败则报错
+set -euo pipefail
+
+. /usr/local/bin/environment.sh 		# 设置环境变量
+. /usr/local/bin/common.sh				# 应用专用函数库
+
+LOG_I "** Processing init.sh **"
+trap "app_stop_server" EXIT
+
+app_verify_minimum_env
+
+# 执行应用预初始化操作
+app_custom_preinit
+
+# 执行应用初始化操作
+app_default_init
+
+# 执行用户自定义初始化脚本
+app_custom_init
@@ -1,25 +1,23 @@
 #!/bin/bash
 # Ver: 1.5 by Endial Fang (endial@126.com)
 # 
-# 应用启动脚本
-# 组合默认的配置参数及容器启动时传入的 CMD 参数，启动应用
+# 应用启动脚本；组合默认的配置参数及容器启动时传入的 CMD 参数，启动应用

 # 设置 shell 执行参数，可使用'-'(打开）'+'（关闭）控制。常用：
 # 	-e: 命令执行错误则报错(errexit); -u: 变量未定义则报错(nounset); -x: 打印实际待执行的命令行; -o pipefail: 设置管道中命令遇到失败则报错
 set -euo pipefail

+. /colovu/lib/liblog.sh 				# 日志输出函数库
+
 . /usr/local/bin/environment.sh 		# 设置环境变量

 LOG_I "** Processing run.sh **"
-
-# 获取命令的实际路径信
 readonly START_COMMAND="$(command -v ${APP_EXEC:-${APP_NAME}})"

 # 配置默认启动参数（应用配置文件、前台方式启动）
-flags=("-c" "${APP_CONF_FILE:-}")
-[[ -z "${APP_EXTRA_FLAGS:-}" ]] || flags+=("${APP_EXTRA_FLAGS[@]}")
-
-# 使用 "$@" 添加镜像默认 CMD 内容或自定义命令内容
+flags=()
+[[ -n "${APP_CONF_FILE:-}" ]] && flags+=("-c" "${APP_CONF_FILE}")
+[[ -n "${APP_EXTRA_FLAGS:-}" ]] && flags+=("${APP_EXTRA_FLAGS[@]}")
 flags+=("$@")

 LOG_I "Start ${APP_NAME} with command: ${START_COMMAND[@]} ${flags[@]}"
@@ -1,7 +1,7 @@
 #!/bin/bash
 # Ver: 1.3 by Endial Fang (endial@126.com)
 # 
-# 应用环境及依赖文件设置脚本
+# 应用环境及依赖文件设置脚本；当前脚本以‘root’用户执行

 # 设置 shell 执行参数，可使用'-'(打开）'+'（关闭）控制。常用：
 # 	-e: 命令执行错误则报错(errexit); -u: 变量未定义则报错(nounset); -x: 打印实际待执行的命令行; -o pipefail: 设置管道中命令遇到失败则报错
@@ -16,33 +16,20 @@ set -euo pipefail

 LOG_I "** Processing setup.sh **"

-trap "app_stop_server" EXIT
+APP_DIRS=(/var/log/${APP_NAME} /var/run/${APP_NAME} /var/cache/${APP_NAME} ${APP_HOME})
+APP_DIRS+=(${APP_HOME}/conf ${APP_HOME}/data ${APP_HOME}/cert ${APP_HOME}/log)

-APP_DIRS="/var/log/${APP_NAME} /var/run/${APP_NAME} /var/cache/${APP_NAME} ${APP_HOME}"
-APP_DIRS+="${APP_HOME}/conf ${APP_HOME}/data ${APP_HOME}/cert"
-
-LOG_I "Ensure directory exists: ${APP_DIRS}"
-for dir in ${APP_DIRS}; do
+LOG_I "Ensure directory exists: ${APP_DIRS[@]}"
+for dir in ${APP_DIRS[@]}; do
 	ensure_dir_exists ${dir}
 done

 # 检测指定文件是否在配置文件存储目录存在，如果不存在则拷贝（新挂载数据卷、手动删除都会导致不存在）
 LOG_I "Check config files in: ${APP_CONF_DIR}"
-if [[ ! -z "$(ls -A "${APP_DEF_DIR}")" ]]; then
-	ensure_config_file_exist "${APP_DEF_DIR}" $(ls -A "${APP_DEF_DIR}")
+if [[ -z "$(ls -A "${APP_CONF_DIR}")" ]]; then
+	app_ensure_config_file_exist "${APP_CONF_DIR}" "${APP_DEF_DIR}" $(ls -A "${APP_DEF_DIR}")
 fi

 # 解决使用non-root后，[emerg] open() "/dev/stdout" failed (13: Permission denied)
 LOG_D "Change permissions of stdout/stderr to 0662"
 chmod 0662 /dev/stdout /dev/stderr
-
-app_verify_minimum_env
-
-# 执行应用预初始化操作
-app_custom_preinit
-
-# 执行应用初始化操作
-app_default_init
-
-# 执行用户自定义初始化脚本
-app_custom_init