10 Commits

16 changed files with 810 additions and 1146 deletions
+5 -6
View File
@@ -50,22 +50,21 @@ build-amd64:
- docker buildx build --platform=linux/amd64 --pull -t "$IMG_URL$IMG_TAG-linux-amd64" . --push
- docker rmi "$IMG_URL$IMG_TAG-linux-amd64"
# 生成多架构制品,并在上传后删除本地文件
build-artifact:
stage: build
needs: [build-amd64, build-arm64]
script:
- docker manifest create "$IMG_URL$IMG_TAG" "$IMG_URL$IMG_TAG-linux-arm64" "$IMG_URL$IMG_TAG-linux-amd64"
- docker manifest push "$IMG_URL$IMG_TAG"
- docker manifest rm "$IMG_URL$IMG_TAG"
- docker manifest push -p "$IMG_URL$IMG_TAG"
# 测试阶段任务
test:
stage: test
script:
- docker run --rm --platform=linux/arm64 "$IMG_URL$IMG_TAG" /bin/uname -a
- sleep 1 && docker rmi -f "$IMG_URL$IMG_TAG"
- docker run --rm --platform=linux/amd64 "$IMG_URL$IMG_TAG" /bin/uname -a
- sleep 1 && docker rmi -f "$IMG_URL$IMG_TAG"
- docker run --pull always --rm --platform=linux/arm64 "$IMG_URL$IMG_TAG" --version
- docker run --pull always --rm --platform=linux/amd64 "$IMG_URL$IMG_TAG" --version
- docker images -q "$IMG_URL" | sort -u | xargs docker rmi -f
# 部署阶段任务
deploy:
+45 -69
View File
@@ -1,9 +1,8 @@
# Ver: 1.9 by Endial Fang (endial@126.com)
# Ver: 1.12 by Endial Fang (endial@126.com)
#
# 默认变量 ========================================================================
# 系统默认变量 ====================================================================
# 该部分变量为系统根据编译命令默认设置
# `TARGETPLATFORM`:构建后的目标平台信息。如 `linux/amd64``linux/arm/v7``windows/amd64`
# `TARGETOS`:目标平台信息(TARGETPLATFORM)中的操作系统部分,如:`linux`、`windows`
# `TARGETARCH`:目标平台信息(TARGETPLATFORM)中的平台架构部分,如:`amd64`、`arm`
@@ -16,18 +15,11 @@
# 可变参数 ========================================================================
# 该部分变量,在编译命令中通过 `--build-arg` 传入;如果未设置,则使用下面对应的默认值
# 设置当前应用名称及版本
ARG APP_NAME=postgresql
ARG APP_VER=13.11
# 设置默认仓库地址,默认为本地仓库;定义时需要包含末尾的`/`
ARG REGISTRY_URL="docker.colovu.com/"
# 设置 apt-get 源:default / ustc / aliyun
ARG APT_SOURCE=aliyun
# 编译镜像时指定用于加速的本地软件包存储服务器地址
ARG LOCAL_URL="http://local.colovu.com/dist"
ARG APP_NAME=postgresql # 设置当前应用名称
ARG APP_VER=15.4 # 设置当前应用版本
ARG REGISTRY_URL="docker.colovu.com/" # 设置默认仓库地址,默认为本地仓库;定义时需要包含末尾的`/`
ARG APT_SOURCE=aliyun # 设置 apt-get 源:default / ustc / aliyun
ARG LOCAL_URL="http://local.colovu.com/dist" # 编译镜像时指定用于加速的本地软件包存储服务器地址
# 0. 预处理 ======================================================================
FROM --platform=${TARGETPLATFORM:-linux/amd64} ${REGISTRY_URL}colovu/dbuilder:12 as builder
@@ -38,21 +30,18 @@ ARG APP_VER
ARG APT_SOURCE
ARG LOCAL_URL
# 选择软件包源(Optional),以加速后续软件包安装
# 选择软件包源加速后续软件包安装
RUN select_source ${APT_SOURCE};
# 安装依赖的软件包及库(Optional)
# 安装依赖的软件包及库
RUN install_pkg bison flex libedit-dev libxml2-dev libxslt-dev zlib1g-dev libreadline-dev uuid-dev \
libperl-dev libicu-dev libxslt1-dev libssl-dev libldap2-dev libkrb5-dev libpam0g-dev libselinux1-dev;
# 设置工作目录
WORKDIR /tmp
# 下载并解压软件包
RUN set -eux; \
appName="${APP_NAME}-${APP_VER}.tar.gz"; \
sha256="b4f009f76cbc6c78e1e215eb78b2be4681240b861bdbb10cf36b0df7b2b75cac"; \
[ -n ${LOCAL_URL} ] && localURL=${LOCAL_URL}/${APP_NAME}/v${APP_VER}; \
sha256="0e11eee723dd7e59a634052bc1bfc9be605e55c1cca3f66e9fc25d3a394fb030"; \
[ -n ${LOCAL_URL} ] && localURL=${LOCAL_URL}/${APP_NAME}; \
appUrls="${localURL:-} \
https://ftp.postgresql.org/pub/source/v${APP_VER} \
"; \
@@ -62,6 +51,7 @@ RUN set -eux; \
RUN set -eux; \
APP_ARCH=`arch` \
APP_SRC="/tmp/${APP_NAME}-${APP_VER}"; \
dpkgArch="$(dpkg --print-architecture)"; \
cd ${APP_SRC}; \
\
# update "DEFAULT_PGSOCKET_DIR" to "/var/run/postgresql" (matching Debian)
@@ -107,8 +97,7 @@ RUN set -eux; \
# --with-python \
# --with-pam \
; \
make -j "$(nproc)" world; \
make install-world; \
make -j "$(nproc)" world && make install-world; \
make -C contrib install;
# 删除编译生成的多余文件
@@ -119,12 +108,9 @@ RUN set -eux; \
# 检测并生成依赖文件记录
RUN set -eux; \
find /usr/local/${APP_NAME} -type f -executable -exec ldd '{}' ';' | \
awk '/=>/ { print $(NF-1) }' | \
sort -u | \
xargs -r readlink -f | \
xargs -r dpkg-query --search 2>/dev/null | \
cut -d: -f1 | \
sort -u >>/usr/local/${APP_NAME}/runDeps;
awk '/=>/ { print $(NF-1) }' | xargs -r basename -a | sort -u | \
xargs -r dpkg-query --search 2>/dev/null | cut -d: -f1 | sort -u \
>>/usr/local/${APP_NAME}/runDeps;
# 1. 生成镜像 =====================================================================
FROM --platform=${TARGETPLATFORM:-linux/amd64} ${REGISTRY_URL}colovu/debian:12
@@ -138,12 +124,10 @@ ARG APT_SOURCE
ENV APP_NAME=${APP_NAME} \
APP_VER=${APP_VER} \
APP_EXEC=postgres \
APP_HOME_DIR=/usr/local/${APP_NAME} \
APP_DEF_DIR=/etc/${APP_NAME}
# 增加应用可执行文件及库文件搜索路径
ENV PATH="${APP_HOME_DIR}/sbin:${APP_HOME_DIR}/bin:${PATH}" \
LD_LIBRARY_PATH="${APP_HOME_DIR}/lib"
APP_USER=postgres \
\
LD_LIBRARY_PATH="/usr/local/${APP_NAME}/lib" \
PATH="${PATH}:/usr/local/${APP_NAME}/bin"
LABEL \
"Version"="v${APP_VER}" \
@@ -151,54 +135,46 @@ LABEL \
"Github"="https://github.com/colovu/docker-${APP_NAME}" \
"Vendor"="Endial Fang (endial@126.com)"
# 从预处理过程中拷贝软件包(Optional),可以使用阶段编号或阶段命名定义来源
# 拷贝多阶段构建结果输出及客制化脚本
COPY --from=builder /usr/local/${APP_NAME} /usr/local/${APP_NAME}
# 拷贝应用使用的客制化脚本
COPY customer /
RUN set -eux; \
\
# 创建对应的用户及数据存储目录
prepare_env; \
useradd -U -u 996 -d /srv/${APP_NAME} -s /usr/sbin/nologin -r ${APP_USER}; \
mkdir -p /var/log/${APP_NAME} /var/run/${APP_NAME} /var/cache/${APP_NAME}; \
mkdir -p /srv/${APP_NAME}/conf /srv/${APP_NAME}/data /srv/${APP_NAME}/cert /srv/${APP_NAME}/log; \
chown -R ${APP_USER}:${APP_USER} /var/log/${APP_NAME} /var/run/${APP_NAME} /var/cache/${APP_NAME}; \
chown -R ${APP_USER}:${APP_USER} /usr/local/${APP_NAME} /srv/${APP_NAME}; \
\
# 选择软件包源(Optional),以加速后续软件包安装
/bin/bash -c "ln -sf /usr/local/${APP_NAME}/etc/${APP_NAME} /etc/"; \
\
# 选择软件包源,以加速后续软件包安装
select_source ${APT_SOURCE}; \
\
# 安装依赖的软件包及库(Optional)
# 安装应用依赖的软件包及库
install_pkg `cat /usr/local/${APP_NAME}/runDeps`; \
\
# 执行后处理脚本,并验证安装的应用
override_file="/usr/local/overrides/overrides-${APP_VER}.sh"; \
[ -e "${override_file}" ] && /bin/bash "${override_file}"; \
postgres --version ;
# 执行后处理脚本
overrideShell="/usr/local/overrides/overrides-${APP_VER}.sh"; \
[ -e "${overrideShell}" ] && /bin/bash "${overrideShell}"; \
\
# 验证安装的应用
${APP_EXEC} --version ;
# 默认提供的数据卷
VOLUME ["/srv/conf", "/srv/data", "/srv/datalog", "/srv/cert", "/var/log"]
# 默认使用gosu切换为新建用户启动,必须保证端口在1024之上
# 配置容器的数据卷、工作目录及服务端口(必须保证端口在1024之上)
VOLUME ["/srv/${APP_NAME}/conf", "/srv/${APP_NAME}/data", "/srv/${APP_NAME}/cert", "/srv/${APP_NAME}/log"]
WORKDIR /srv/${APP_NAME}/data
EXPOSE 5432
STOPSIGNAL SIGINT
# 关闭基础镜像的健康检查
#HEALTHCHECK NONE
# 应用健康状态检查(需要使用 EXPOSE 定义的端口)
#HEALTHCHECK --interval=30s --timeout=30s --retries=3 \
# CMD curl -fs http://localhost:8080/ || exit 1
#HEALTHCHECK --interval=10s --timeout=10s --retries=3 \
# CMD netstat -ltun | grep 8080
#HEALTHCHECK --interval=30s --timeout=30s --retries=3 CMD curl -fs http://localhost:8080/ || exit 1
#HEALTHCHECK --interval=10s --timeout=10s --retries=3 CMD netstat -ltun | grep 8080
HEALTHCHECK CMD PGPASSWORD="${PG_POSTGRES_PASSWORD:-${PG_PASSWORD}}" psql -h 127.0.0.1 -d postgres -U postgres -At -c "select version();" || exit 1
# 使用 non-root 用户运行后续的命令
USER 1001
# 设置工作目录
WORKDIR /srv/data
# 容器入口命令脚本,'/usr/local/bin/entry.sh'
ENTRYPOINT ["entry.sh"]
# 应用程序的启动命令,可为应用程序可执行命令或脚本
# 必须使用非守护进程方式运行,'/usr/local/bin/run.sh'
CMD ["run.sh"]
# 使用 dumb-init 启动入口 Shell,确保容器可以接收控制信号;并使用前台方式启动应用程序
ENTRYPOINT ["dumb-init", "entry.sh"]
CMD ["run.sh"]
+129 -179
View File
@@ -8,17 +8,16 @@
**版本信息:**
- 13
- 15.4
**镜像信息:**
* 镜像地址:
- 阿里云: registry.cn-shenzhen.aliyuncs.com/colovu/postgresql:latest
- DockerHubcolovu/postgresql:latest
- Colovu Registry: docker.colovu.com/colovu/postgresql:latest
- 依赖镜像:colovu/debian:12
> 后续相关命令行默认使用`[Colovu Registry](https://docker.colovu.com)`镜像服务器做说明
> 后续相关命令行默认使用 Aliyun ACR 镜像服务器做说明
## TL;DR
@@ -26,10 +25,10 @@ Docker 快速启动命令:
```shell
# 从 Registry 服务器下载镜像并启动
$ docker run -d -e ALLOW_ANONYMOUS_LOGIN=yes --name imgname docker.colovu.com/colovu/postgresql:latest
$ docker run -d -e ALLOW_ANONYMOUS=yes --name postgres docker.colovu.com/colovu/postgresql:latest
```
- `docker.colovu.com/colovu/postgresql:<TAG>`:镜像名称及版本标签 TAG;标签不指定时默认使用`latest`
- `registry.cn-shenzhen.aliyuncs.com/colovu/postgresql:<TAG>`:镜像名称及版本标签 TAG;标签不指定时默认使用最新版本
Docker-Compose 快速启动命令:
@@ -39,7 +38,7 @@ Docker-Compose 快速启动命令:
$ curl -sSL -o https://gitee.com/colovu/docker-postgres/raw/master/docker-compose.yml
# 从 Github 下载 Compose 文件
$ curl -sSL https://raw.githubusercontent.com/colovu/docker-postgres/master/docker-compose.yml
$ curl -sSL -o https://raw.githubusercontent.com/colovu/docker-postgres/master/docker-compose.yml
# 创建并启动容器
$ docker-compose up -d
@@ -55,16 +54,18 @@ $ docker-compose up -d
### 数据卷
镜像默认提供以下数据卷定义,默认数据分别存储在自动生成的应用名对应`postgres`子目录中
镜像默认提供以下数据卷定义:
```shell
/var/log # 日志输出,应用日志输出,非数据日志输出
/srv/conf # 配置文件
/srv/data # 数据文件
/srv/datalog # 数据操作日志文件
/srv/postgresql/conf # 配置文件
/srv/postgresql/data # 数据文件,主要存放应用数据
/srv/postgresql/cert # 证书文件存放目录
/srv/postgresql/log # 日志输出
/var/run/postgresql # 系统运行时文件,如 PID 文件
```
如果需要持久化存储相应数据,需要在宿主机建立本地目录,并在使用镜像初始化容器时进行数据卷映射。
如果需要持久化存储相应数据,需要**在宿主机建立本地目录**,并在使用镜像初始化容器时进行映射。宿主机相关的目录中如果不存在对应应用`postgresql`的子目录或相应数据文件,则容器会在初始化时创建相应目录及文件
举例:
@@ -75,7 +76,7 @@ $ docker-compose up -d
创建以上相应的宿主机目录后,容器启动命令中对应的数据卷映射参数类似如下:
```shell
-v /host/dir/to/conf:/srv/conf -v /host/dir/to/data:/srv/data -v /host/dir/to/log:/var/log
-v /host/dir/to/conf:/srv/postgresql/conf -v /host/dir/to/data:/srv/postgresql/data -v /host/dir/to/log:/srv/postgresql/log
```
使用 Docker Compose 时配置文件类似如下:
@@ -85,9 +86,9 @@ services:
postgresql:
...
volumes:
- /host/dir/to/conf:/srv/conf
- /host/dir/to/data:/srv/data
- /host/dir/to/log:/var/log
- /host/dir/to/conf:/srv/postgresql/conf
- /host/dir/to/data:/srv/postgresql/data
- /host/dir/to/log:/srv/postgresql/log
...
```
@@ -100,27 +101,13 @@ services:
#### 通过默认方式启动
```shell
$ docker run --name some-postgres -e POSTGRES_PASSWORD=mysecretpassword -d docker.colovu.com/colovu/postgresql:latest
$ docker run --name some-postgres -e PG_PASSWORD=mysecretpassword -d -p 5432:5432 registry.cn-shenzhen.aliyuncs.com/colovu/postgresql:latest
```
- 由容器执行默认的`entry.sh`脚本,并生成默认的用户及数据文件
- `some-postgres`:容器名;命名后,可以直接使用该名字进行操作
- `mysecretpassword`:数据库密码
#### 通过`psql`命令方式启动
```shell
$ docker run -it --rm --network some-network docker.colovu.com/colovu/postgresql:latest psql -h some-postgres -U postgres
psql (10.12.0)
Type "help" for help.
postgres=# SELECT 1;
?column?
----------
1
(1 row)
```
#### 通过`docker-compose`方式启动
docker-cpmpose.yml 参考:
@@ -128,21 +115,17 @@ docker-cpmpose.yml 参考:
```yaml
# 使用 postgres/example 作为用户名/密码
version: '3.1'
version: '3.8'
services:
db:
image: docker.colovu.com/colovu/postgresql:latest
image: registry.cn-shenzhen.aliyuncs.com/colovu/postgresql:latest
restart: always
ports:
- 5432:5432
environment:
POSTGRES_PASSWORD: example
adminer:
image: adminer
restart: always
ports:
- 8080:8080
PG_PASSWORD: example
```
## 镜像扩展使用
@@ -155,86 +138,121 @@ PostgreSQL镜像定义了许多环境变量,但并不是所有都必须使用
> 注意:部分环境变量仅在初始化时起作用。针对已经存在数据目录的情况,环境变量会被跳过。
#### POSTGRES_PASSWORD
### 自动变量替换
该环境变量需要在启动镜像时使用。该环境变量定义了使用PostgreSQL时,超级用户对应的密码,不应当为空。默认的超级用户由环境变量`POSTGRES_USER`定义.
针对应用配置文件中的配置项,支持由环境变量名自动替换生成,该类环境变量需要使用统一前缀,定义规则为:`PG_CFG_*=<val>`
> 注意:
>
> - PostgreSQL镜像配置`localhost`为默认的`trust`认证方式,在同一容器内链接数据库时,可以不使用密码。但通过不同的`主机/容器`链接时,需要密码。
> - 在使用PostgreSQL镜像创建容器时,通过`initdb脚本`在启动时定义该变量对应的值。但该值不影响尽在`psql`方式启动时设置的`PGPASSWORD`环境变量。`PGPASSWORD`环境变量在设置时仅作为一个独立的环境变量设置。
- `PG_CFG_`:环境变量自动替换标识,具备该前缀的环境变量会被自动处理并更新至配置文件
- `*`:配置文件中对应的配置项名,大小写需要符合实际参数名要求;特殊字符需要符合`特殊字符替换规则`
- `<val>`:配置项对应值
#### POSTGRES_USER
**特殊字符替换规则**
该可选环境环境变量与`POSTGRES_PASSWORD`环境变量一起使用,以在使用镜像创建容器时设置用户名和密码。使用该变量时,会创建用户对应的超级权限及同名数据库。如果该变量没有设置,默认使用用户`postgres`
因为 Shell 变量只能以字母、数字和下划线组成,针对'xml'、'ini'等配置文件中使用的'.'、'-'等特殊字符,需要进行重定义及转换。预定义如下:
> 注意:即使使用了该变量,在初始化时,系统信息仍然会提示`The files belonging to this database system will be owned by user "postgres"`;这是因为在容器初始化时,是以Linux系统用户(镜像中`/etc/passwd`定义)`postgres`来运行的守护进程。
+ `_` ==> `_` : 应用配置属性中的`_`(下划线),与环境变量相同
+ `__` ==> `.` : 应用配置属性中的`.`(半角点),在环境变量中由`__`(双下划线)表示
+ `___` ==> `-` : 应用配置属性中的`-`(中划线),在环境变量中由`___`(三下划线)表示
#### POSTGRES_DB
该可选环境变量在使用镜像创建容器时,定义一个不与默认的`POSTGRES_USER`同名的数据库。如果在创建容器时没有使用该变量,则创建`POSTGRES_USER`对应的同名数据库。
#### POSTGRES_INITDB_ARGS
该可选环境变量在使用镜像创建容器时,传递参数给`postgres initdb`。传递的参数是一个使用空格分隔的字符串。例如增加页校验码:`-e POSTGRES_INITDB_ARGS="--data-checksums"`
#### POSTGRES_INITDB_WALDIR
该可选环境变量在使用镜像创建容器时,定义一个单独的PostgreSQL事务处理日志存储目录。相关的日志默认存储在PostgreSQL的数据存储目录(`PGDATA`)子目录中。部分情况下,用户可以定义该存储目录在不同的存储设备上,以提升性能或稳定性。
#### POSTGRES_HOST_AUTH_METHOD
该可选环境变量在使用镜像创建容器时,定义至服务器的`auth-method`,该定义针对所有数据库、用户、链接地址起作用。未定义该参数时,使用默认值`md5`密码认证方式。
对于一个未初始化的数据库,可以修改`pg_hba.conf`文件,增加以下命令行进行预定义:
例如:
```shell
echo "host all all all $POSTGRES_HOST_AUTH_METHOD" >> pg_hba.conf
# 容器启动时的环境变量(大小写无关)
PG_CFG_MIN_WAL_SIZE=100MB
PG_CFG_max_wal_size="400MB"
# 容器启动后,应用配置文件中对应配置项生效,且设置为相应值:
min_wal_size = '100MB'
max_wal_size = '400MB'
```
或:
### 常规配置参数
```shell
echo "host all all 0.0.0.0/0 $POSTGRES_HOST_AUTH_METHOD" >> pg_hba.conf
```
常规配置参数用来配置容器基本属性,一般情况下需要设置,主要包括:
详细说明可参考官方针对[`pg_hba.conf`](https://www.postgresql.org/docs/current/auth-pg-hba-conf.html)文档的介绍。
- `PG_USERNAME`:默认值:**postgres**。设置用户名,可针对不同应用设置不同用户名
- `PG_PASSWORD`:默认值:**无**。设置用户密码,生产环境中不应当为空
- `PG_DATABASE`:默认值:**postgres**。设置用户默认使用的数据库
- `PG_POSTGRES_PASSWORD`:默认值:**无**。设置超级用户密码,未设置时,默认密码同`PG_PASSWORD`
> 注意:
>
> - 不建议使用[`trust`](https://www.postgresql.org/docs/current/auth-trust.html)方式;该方式允许任意用户不使用密码连接数据库,即使部分用户设置了密码(如通过`POSTGRES_PASSWORD`)。更多介绍可参考[*Trust Authentication*](https://www.postgresql.org/docs/current/auth-trust.html)。
> - 如果设置了`POSTGRES_HOST_AUTH_METHOD`为`trust`,那么`POSTGRES_PASSWORD`就不在需要,也不再起作用了。
### 常规可选参数
#### PGDATA
如果没有必要,可选配置参数可以不用定义,直接使用对应的默认值,主要包括:
该可选环境变量在使用镜像创建容器时,定义一个单独的PostgreSQL数据库存储目录。未定义该参数时,使用默认的`/var/lib/postgresql/data`目录。
- `ENV_DEBUG`:默认值:**false**。设置是否输出容器调试信息。可选值:false、no、true、yes
- `ALLOW_ANONYMOUS`:默认值:**no**。设置是否允许匿名链接。可选值:false、no、true、yes
- `TZ`:默认值:**Asia/Shanghai**。设置默认时区
- `PG_USER_IP4_RANGE`:默认值:**0.0.0.0/0**。设置允许访问的 IPv4 地址范围
- `PG_USER_IP6_RANGE`:默认值:**::0/0**。设置允许访问的 IPv6 地址范围
- `PG_INITSCRIPTS_USERNAME`:默认值:**`PG_USERNAME`**。设置数据库SQL初始化使用的用户名
- `PG_INITSCRIPTS_PASSWORD`:默认值:**`PG_PASSWORD`**。设置数据库SQL初始化时的用户密码
如果使用的数据卷为文件系统挂载点(GCE persistent disks)或远程目录(NFS mounts),这些目录无法被更改所属用户为`postgres`,针对这种情况建议配置子目录以存储数据。例如:
### 集群配置参数
```shell
$ docker run -d \
--name some-postgres \
-e POSTGRES_PASSWORD=mysecretpassword \
-e PGDATA=/var/lib/postgresql/data/pgdata \
-v /custom/mount:/var/lib/postgresql/data \
docker.colovu.com/colovu/postgresql:latest
```
配置服务为集群工作模式时,通过以下参数进行配置:
该变量并不是为Docker定义的数据卷,而是由`postgres`服务本身使用(参考 [PostgreSQL docs](https://www.postgresql.org/docs/11/app-postgres.html#id-1.9.5.14.7)),entrypoing.sh脚本只是传输该值。
- `PG_REPLICATION_MODE`:默认值:**primary**。设置当前容器中服务的工作模式。可选值:primary、standby
### 容器安全
**Primary(Master)配置:**
作为敏感信息通过环境变量传输的可选替代方案,可以增加`_FILE`在部分环境变量末尾,以使容器的初始化脚本通过加载文件的方式,获取相关变量。例如,可以通过加载文件的方式加载密码:
- `PG_SYNCHRONOUS_REPLICAS_NUM`:默认值:**0**。设置备机的数量,从备机列表中选取
- `PG_SYNCHRONOUS_REPLICAS_METHOD`:默认值:**无**。设置备机选择模式。可选值:无、FIRST、ANY
- `PG_SYNCHRONOUS_REPLICAS_NAMES`:默认值:**无**。设置备机列表
```shell
$ docker run --name some-postgres -e POSTGRES_PASSWORD_FILE=/run/secrets/postgres-passwd -d docker.colovu.com/colovu/postgresql:latest
```
- `PG_CFG_MAX_WAL_SENDERS`:默认值:**10**。
- `PG_CFG_WAL_LEVEL`:默认值:**logical**。
- `PG_CFG_WAL_LOG_HINTS`:默认值:**on**。
支持该方式的变量为: `POSTGRES_INITDB_ARGS`, `POSTGRES_PASSWORD`, `POSTGRES_USER`, `POSTGRES_DB`
**Standby(Slave)配置:**
- `PG_REPLICATION_APP_NAME`:默认值:**cvcluster**。设置本机应用默认名称
- `PG_REPLICATION_HOST`:默认值:**无**。设置 Master 服务地址
- `PG_REPLICATION_PORT`:默认值:**5432**。设置 Master 服务端口
- `PG_REPLICATION_USER`:默认值:**无**。设置访问 Master 的用户名
- `PG_REPLICATION_PASSWORD`:默认值:**无**。设置访问 Master 用户的密码
- `PG_REPLICATION_CONNECT_TIMEOUT`:默认值:**10**。设置连接超时时间
默认,配置允许从备机备份,参考[官方说明](http://www.postgres.cn/docs/9.4/app-pgbasebackup.html)
- `PG_CFG_FULL_PAGE_WRITES`:默认值:**on**。
- `PG_CFG_HOT_STANDBY`:默认值:**on**。
- `PG_CFG_MAX_WAL_SENDERS`:默认值:**16**。
### TLS配置参数
配置服务使用 TLS 加密时,可通过`PG_CFG_SSL_*`相关参数进行配置,容器启动时会自动替换`postgresql.conf`中对应配置项。
TLS 加密使用的相关秘钥文件,默认存放在容器的`/srv/postgresql/cert`目录中,需提前进行映射。
- `PG_CFG_SSL`:默认值:**off**。设置是否使用 SSL 加密。可选值:off / on
### LDAP认证配置参数
配置服务使用 LDAP 进行用户认证时,通过以下参数进行配置:
- `PG_ENABLE_LDAP`:默认值:**no**。设置是否使用 LDAP 认证。可选值:yes / no
以 URL 方式配置认证地址:
- `PG_LDAP_URL`:默认值:**无**。设置 LDAP 连接地址,如果配置该参数,则后续单独的配置信息不用配置
或,以单独参数方式配置认证地址:
- `PG_LDAP_PREFIX`:默认值:**无**。设置前缀
- `PG_LDAP_SUFFIX`:默认值:**无**。设置后缀
- `PG_LDAP_SERVER`:默认值:**无**。设置 LDAP 服务器访问 IP
- `PG_LDAP_PORT`:默认值:**无**。设置 LDAP 服务器访问端口
- `PG_LDAP_SCHEME`:默认值:**无**。
- `PG_LDAP_TLS`:默认值:**无**。设置 LDAP 服务器使用启用 TLS
- `PG_LDAP_BASE_DN`:默认值:**无**。设置搜索的基 DN
- `PG_LDAP_BIND_DN`:默认值:**无**。设置绑定用户的 DN
- `PG_LDAP_BIND_PASSWORD`:默认值:**无**。设置绑定用户的密码
- `PG_LDAP_SEARCH_ATTR`:默认值:**无**。设置搜索参数
- `PG_LDAP_SEARCH_FILTER`:默认值:**无**。设置搜索过滤器
### 初始化脚本
如果需要在使用当前镜像时,增加一些附加的初始化操作,可以将相应的`*.sql``*.sql.gz``*.sh`脚本文件放置在`initdb.d`目录中(使用数据卷映射方式时,可先创建相应的目录)。`entrypoint.sh`调用`initdb`创建默认的`postgres`用户及数据库时,会执行所有在`initdb.d`目录下的`*.sql`及可执行`*.sh`脚本,并source所有不可执行的`*.sh`脚本,执行完成后,启动postgres服务。
如果需要在使用当前镜像时,增加一些附加的初始化操作,可以将相应的`*.sql``*.sql.gz``*.sh`脚本文件放置在配置文件目录的`initdb.d`目录中(使用数据卷映射方式时,可先创建相应的目录)。容器在初始化时,会执行所有在`initdb.d`目录下的`*.sql`及可执行`*.sh`脚本,并`source`所有不可执行的`*.sh`脚本,执行完成后,启动`postgres`服务。
> 注意:
>
@@ -242,104 +260,35 @@ $ docker run --name some-postgres -e POSTGRES_PASSWORD_FILE=/run/secrets/postgre
### 数据库配置
有多种方式可以配置PostgreSQL服务器。详细信息可参考相关[docs](https://www.postgresql.org/docs/current/static/runtime-config.html)文档。部分常用配置项如下:
有多种方式可以配置 PostgreSQL 服务器。详细信息可参考相关[docs](https://www.postgresql.org/docs/current/static/runtime-config.html)文档。部分常用配置项如下:
- 使用自定义的配置文件。可将容器内的模板配置文件 `/usr/share/postgresql/postgresql.conf.sample`导出后修改,并重新映射以启动容器。
- 使用自定义的配置文件。可将容器内的模板配置文件 `/usr/local/postgresql/share/postgresql.conf.sample`导出后修改,并重新映射以启动容器。
```shell
$ # 获取配置文件模板,存储为当前目录的my-postgres.conf
$ docker run -i --rm docker.colovu.com/colovu/postgresql:latest cat /usr/share/postgresql/postgresql.conf.sample > my-postgres.conf
$ docker run -i --rm registry.cn-shenzhen.aliyuncs.com/colovu/postgresql:latest cat /usr/local/postgresql/share/postgresql.conf.sample > my-postgres.conf
$ # 个性化修改配置信息,至少增加`listen_addresses='*'`以确保其他容器可以访问
$ echo "listen_addresses='*'" >> my-postgres.conf
$ # 使用定制后的配置文件启动容器
$ docker run -d --name some-postgres -v "$PWD/my-postgres.conf":/etc/postgresql/postgresql.conf -e POSTGRES_PASSWORD=mysecretpassword docker.colovu.com/colovu/postgresql:latest -c 'config_file=/etc/postgresql/postgresql.conf'
$ docker run -d --name some-postgres -v "$PWD/my-postgres.conf":/etc/postgresql/postgresql.conf -e POSTGRES_PASSWORD=mysecretpassword registry.cn-shenzhen.aliyuncs.com/colovu/postgresql:latest -c 'config_file=/etc/postgresql/postgresql.conf'
```
- 在命令行中设置相应参数。entrypoint.sh基本会将所有的启动时传递给Docker的配置参数传递给postgres服务进程。从官方 [docs](https://www.postgresql.org/docs/current/static/app-postgres.html)文档可以看出,所有在 `.conf`文件中的配置项都可以使用`-c`进行设置。
- 在命令行中设置相应参数。`entry.sh`基本会将所有的启动时传递给 Docker 的配置参数传递给 Postgres 服务进程。从官方 [docs](https://www.postgresql.org/docs/current/static/app-postgres.html)文档可以看出,所有在 `.conf`文件中的配置项都可以使用`-c`进行设置。
```shell
$ docker run -d --name some-postgres -e POSTGRES_PASSWORD=mysecretpassword docker.colovu.com/colovu/postgresql:latest -c 'shared_buffers=256MB' -c 'max_connections=200'
$ docker run -d --name some-postgres -e POSTGRES_PASSWORD=mysecretpassword registry.cn-shenzhen.aliyuncs.com/colovu/postgresql:latest -c 'shared_buffers=256MB' -c 'max_connections=200'
```
> 注意:配置文件至少修改`listen_addresses='*'`以确保其他容器可以访问
配置文件模板:
- 基于Linux系列的镜像,默认配置文件在容器内为:`/usr/share/postgresql/postgresql.conf.sample`
- 基于Alpine系统的镜像,默认配置文件在容器内为:`/usr/local/share/postgresql/postgresql.conf.sample`
导出模板文件:
```shell
docker run -i --rm docker.colovu.com/colovu/postgresql:latest cat /usr/share/postgresql/postgresql.conf.sample > my-postgres.conf
```
- 使用的镜像:colovu/postgres:12.4
- 原始文件:/usr/share/postgresql/postgresql.conf.sample
- 导出后文件:my-postgres.conf
### 个性化配置Locale
PostgreSQL镜像使用的Ubuntu基础镜像默认的Locale配置为`en_US.UTF-8`,可以使用一个简单的 Dockerfile来设置为不同的Locale。比如设置为 `de_DE.utf8`:
```dockerfile
FROM docker.colovu.com/colovu/postgresql:latest
RUN localedef -i de_DE -c -f UTF-8 -A /usr/share/locale/locale.alias de_DE.UTF-8
ENV LANG de_DE.utf8
```
因为数据库仅在容器启动时创建,使用这种方式,可以在创建数据库前设置默认语言。
### 扩展功能模块
使用默认的镜像时,安装扩展功能模块比较简单,可以参考文档 [github.com/postgis/docker-postgis](https://github.com/postgis/docker-postgis/blob/4eb614133d6aa87bfc5c952d24b7eb1f499e5c7c/12-3.0/Dockerfile) 。
使用基于Alpine的镜像时,没有在 [postgres-contrib](https://www.postgresql.org/docs/10/static/contrib.html) 列明的模块需要自己在镜像中编译,参见文档 [github.com/postgis/docker-postgis](https://github.com/postgis/docker-postgis/blob/4eb614133d6aa87bfc5c952d24b7eb1f499e5c7c/12-3.0/alpine/Dockerfile) 。
## 变参 --user 说明
本镜像允许使用变参`--user`指定运行时的用户信息。但需要注意的是,`postgres`可以允许使用任何UID执行(只需要与数据库目录所属账户一致),`initdb`需要确保该UID实际存在(指定的用户需要在容器的`/etc/passwd`文件中存在):
```shell
$ docker run -it --rm --user www-data -e POSTGRES_PASSWORD=mysecretpassword docker.colovu.com/colovu/postgresql:latest
The files belonging to this database system will be owned by user "www-data".
...
$ docker run -it --rm --user 1000:1000 -e POSTGRES_PASSWORD=mysecretpassword docker.colovu.com/colovu/postgresql:latest
initdb: could not look up effective user ID 1000: user does not exist
```
针对类似问题,有三种解决方案:
1. 使用Linux系列镜像(Centos/Debian/Ubuntu/Redhat等),类似镜像允许使用 [ `nss_wrapper` 库](https://cwrap.org/nss_wrapper.html) 将系统`/etc/passwd`包含的用户伪装为容器内用户。但Alpine系列镜像不允许。
2. 如果宿主系统存在相应的用户,可以使用只读绑定将`/etc/passwd`文件映射为容器内对应文件:
```shell
$ docker run -it --rm --user "$(id -u):$(id -g)" -v /etc/passwd:/etc/passwd:ro -e POSTGRES_PASSWORD=mysecretpassword docker.colovu.com/colovu/postgresql:latest
The files belonging to this database system will be owned by user "jsmith".
...
```
3. 单独初始化相应的数据库存储目录,并使用`chown`命令更改所属用户:
```shell
$ docker volume create pgdata
$ docker run -it --rm -v pgdata:/var/lib/postgresql/data -e POSTGRES_PASSWORD=mysecretpassword docker.colovu.com/colovu/postgresql:latest
The files belonging to this database system will be owned by user "postgres".
...
( once it's finished initializing successfully and is waiting for connections, stop it )
$ docker run -it --rm -v pgdata:/var/lib/postgresql/data colovu/postgres:latest bash chown -R 1000:1000 /var/lib/postgresql/data
$ docker run -it --rm --user 1000:1000 -v pgdata:/var/lib/postgresql/data docker.colovu.com/colovu/postgresql:latest
LOG: database system was shut down at 2017-01-20 00:03:23 UTC
LOG: MultiXact member wraparound protections are now enabled
LOG: autovacuum launcher started
LOG: database system is ready to accept connections
```
## 使用预警
@@ -347,16 +296,16 @@ initdb: could not look up effective user ID 1000: user does not exist
容器默认的`/dev/shm` 大小为`64MB`。如果在容器运行过程中共享内存不足,可能会遇到错误``。针对这种情况,可以通过在启动容器时传递类似参数 [--shm-size=256MB ](https://docs.docker.com/engine/reference/run/#runtime-constraints-on-resources) 进行调整。
在Swarm模式中使用overlay网络模式时,针对长时间运行的IDLE链接,可能会遇到`IPVS connection timeouts`错误,可以参照以下信息解决: ["IPVS connection timeout issue" in the Docker Success Center](https://success.docker.com/article/ipvs-connection-timeout-issue) 。
Swarm 模式中使用`overlay`网络模式时,针对长时间运行的IDLE链接,可能会遇到`IPVS connection timeouts`错误,可以参照以下信息解决: ["IPVS connection timeout issue" in the Docker Success Center](https://success.docker.com/article/ipvs-connection-timeout-issue) 。
## 如何存储数据
**重要**:针对运行在Docker容器中的应用,有几种不同的数据存储方式。如:
**重要**:针对运行在 Docker 容器中的应用,有几种不同的数据存储方式。如:
- 让Docker本身管理存储的数据(在容器内)。这是一种简单,也是默认的存储方式。这种方式存在的问题是:在宿主机上很难使用工具对存储的数据定位及处理。
- 让 Docker 本身管理存储的数据(在容器内)。这是一种简单,也是默认的存储方式。这种方式存在的问题是:在宿主机上很难使用工具对存储的数据定位及处理。
- 在宿主机上创建数据存储目录(在容器外)。使用这种方式,可以比较容易的在宿主机上使用工具对数据文件进行分析及处理。这种方式存在的问题是:使用镜像的用户需要保证相关目录的存在和权限的正确性。
详细说明,可参考Docker的相关文档或讨论区。简单举例使用方式:
详细说明,可参考 Docker 的相关文档或讨论区。简单举例使用方式:
1. 在宿主机上合适位置创建数据存储目录,如:`/absolute/host/datadir`.
@@ -375,13 +324,13 @@ initdb: could not look up effective user ID 1000: user does not exist
PostgreSQL 镜像默认禁用了无密码访问功能,在实际生产环境中建议使用用户名及密码控制访问;如果为了测试需要,可以使用以下环境变量启用无密码访问功能:
```shell
ALLOW_EMPTY_PASSWORD=yes
ALLOW_ANONYMOUS=yes
```
通过配置环境变量`PG_PASSWORD`,可以启用基于密码的用户认证功能。命令行使用参考:
```shell
$ docker run -d -e PG_USERNAME=postgres -e PG_PASSWORD=colovu colovu/postgres:12.4
$ docker run -d -e PG_USERNAME=postgres -e PG_PASSWORD=colovu registry.cn-shenzhen.aliyuncs.com/colovu/postgresql:latest
```
使用 Docker-Compose 时,`docker-compose.yml`应包含类似如下配置:
@@ -400,7 +349,10 @@ services:
本容器默认使用`non-root`运行应用,以加强容器的安全性。在使用`non-root`用户运行容器时,相关的资源访问会受限;应用仅能操作镜像创建时指定的路径及数据。使用`non-root`方式的容器,更适合在生产环境中使用。
如果需要赋予容器内应用访问外部设备的权限,可以使用以下两种方式:
- 启动参数增加`--privileged=true`选项
- 针对特定权限需要使用`--cap-add`单独增加特定赋权,如:ALL、NET_ADMIN、NET_RAW
如果需要切换为`root`方式运行应用,可以在启动命令中增加`-u root`以指定运行的用户。
@@ -410,12 +362,10 @@ services:
## 更新记录
- 2023/8/17: 变更应用版本为 v13.11
- 2021/1/1 (1.0): 初始版本
- 2023/8/17: 变更应用版本为 v15.4
## 参考
- [官方Docker](https://hub.docker.com/_/postgres?tab=description)
- [官方介绍](http://www.postgresql.org/docs/9.5/interactive/app-initdb.html)
- [官方中文手册](http://www.postgres.cn/v2/document)
File diff suppressed because it is too large Load Diff
+22 -14
View File
@@ -1,29 +1,37 @@
#!/bin/bash
# Ver: 1.3 by Endial Fang (endial@126.com)
#!/usr/bin/dumb-init /bin/bash
# Ver: 1.6 by Endial Fang (endial@126.com)
#
# 容器入口脚本
# 容器入口脚本;当前脚本执行完毕时,使用默认用户执行镜像 CMD 定义的命令(默认为'/usr/local/bin/run.sh'
# 设置 shell 执行参数,可使用'-'(打开)'+'(关闭)控制。常用:
# -e: 命令执行错误则报错(errexit); -u: 变量未定义则报错(nounset); -x: 打印实际待执行的命令行; -o pipefail: 设置管道中命令遇到失败则报错
set -eu
set -o pipefail
set -euo pipefail
. /colovu/lib/libcommon.sh # 加载通用函数库
. /colovu/lib/libcommon.sh # 加载通用函数库
. /usr/local/bin/environment.sh # 设置环境变量
LOG_I "** Processing entry.sh **"
if [[ "$*" = "/usr/local/bin/run.sh" ]]; then
print_image_welcome
# 优先处理'-'开始的版本信息、帮助信息显示命令,如果是该类命令,处理后退出容器
[[ "${1:0:1}" == '-' ]] && set -- "${APP_EXEC:-/bin/bash}" "$@" && print_command_help "$@"
LOG_I "** Starting ${APP_NAME} setup **"
# 处理 root 用户**且**使用默认启动脚本时的初始化
if [[ "$(id -u)" == '0' ]] && [[ "$1" == "run.sh" ]]; then
print_welcome_info
/usr/local/bin/setup.sh
/usr/local/bin/init.sh
LOG_I "** ${APP_NAME} setup finished! **"
gosu "${APP_USER}" /usr/local/bin/init.sh
# 执行应用启动脚本并替换当前进程
exec gosu "${APP_USER}" "$@"
fi
# 检测是否仅打印帮助信息
[ "${1:0:1}" = '-' ] && set -- "${APP_EXEC:-/bin/bash}" "$@"
print_command_help "$@"
# 处理 root 用户**且**使用init.sh脚本时的初始化
if [[ "$(id -u)" == '0' ]] && [[ "$1" == "init.sh" ]]; then
/usr/local/bin/setup.sh
exec gosu "${APP_USER}" /usr/local/bin/init.sh
fi
# 处理非以上情形的自定义命令
LOG_I "Start container with command: $@"
exec "$@"
+76 -76
View File
@@ -1,19 +1,17 @@
#!/bin/bash
# Ver: 1.1 by Endial Fang (endial@126.com)
# Ver: 1.3 by Endial Fang (endial@126.com)
#
# 应用环境变量定义及初始化
# 通用设置
export ENV_DEBUG=${ENV_DEBUG:-false}
export ALLOW_ANONYMOUS_LOGIN="${ALLOW_ANONYMOUS_LOGIN:-no}"
export ALLOW_ANONYMOUS="${ALLOW_ANONYMOUS:-no}"
# 通过读取变量名对应的 *_FILE 文件,获取变量值;如果对应文件存在,则通过传入参数设置的变量值会被文件中对应的值覆盖
# 通过读取变量名对应的`*_FILE`文件,获取变量值
# 变量优先级: *_FILE > 传入变量 > 默认值
app_env_file_lists=(
PG_POSTGRES_PASSWORD
PG_PASSWORD
PG_REPLICATION_PASSWORD
PG_LDAP_BIND_PASSWORD
)
for env_var in "${app_env_file_lists[@]}"; do
file_env_var="${env_var}_FILE"
@@ -24,96 +22,98 @@ for env_var in "${app_env_file_lists[@]}"; do
done
unset app_env_file_lists
# 应用路径参数
export APP_HOME_DIR="/usr/local/${APP_NAME}"
export APP_DEF_DIR="/etc/${APP_NAME}"
export APP_CONF_DIR="/srv/conf/${APP_NAME}"
export APP_DATA_DIR="/srv/data/${APP_NAME}"
export APP_DATA_LOG_DIR="/srv/datalog/${APP_NAME}"
# 应用路径参数Dockerfile 已定义:APP_NAME、APP_VER,可能定义 APP_USER、APP_EXEC
export APP_EXEC="${APP_EXEC:-${APP_NAME}}"
export APP_USER="${APP_USER:-${APP_NAME}}"
export APP_GROUP="${APP_GROUP:-${APP_USER}}"
export APP_HOME="${APP_HOME:-/srv/${APP_NAME}}"
export APP_BASE="${APP_BASE:-/usr/local/${APP_NAME}}"
export APP_DEF_DIR="${APP_BASE}/etc/${APP_NAME}"
export APP_CONF_DIR="/srv/${APP_NAME}/conf"
export APP_DATA_DIR="/srv/${APP_NAME}/data"
export APP_CERT_DIR="/srv/${APP_NAME}/cert"
export APP_LOG_DIR="/srv/${APP_NAME}/log"
export APP_CACHE_DIR="/var/cache/${APP_NAME}"
export APP_RUN_DIR="/var/run/${APP_NAME}"
export APP_LOG_DIR="/var/log/${APP_NAME}"
export APP_CERT_DIR="/srv/cert/${APP_NAME}"
export PG_DATA_DIR="${APP_DATA_DIR}/data"
export PGDATA="${PGDATA:-${APP_DATA_DIR}}"
export TZ=${TZ:-"Asia/Shanghai"}
export PG_CONF_FILE="${APP_CONF_DIR}/postgresql.conf"
export PG_HBA_FILE="${APP_CONF_DIR}/pg_hba.conf"
export PG_RECOVERY_FILE="${PG_DATA_DIR}/recovery.conf"
export PG_IDENT_FILE="${PG_DATA_DIR}/pg_ident.conf"
export PG_EXT_PID_FILE="${APP_RUN_DIR}/postgresql.pid"
export PG_LOG_FILE="${APP_LOG_DIR}/postgresql.log"
export PG_CONF_FILE="${PG_CONF_FILE:-${PGDATA}/postgresql.conf}"
export PG_PID_FILE="${PG_PID_FILE:-${PGDATA}/postmaster.pid}"
export PG_INIT_MAX_TIMEOUT=${PG_INIT_MAX_TIMEOUT:-60}
export PG_REPLICATION_MODE="${PG_REPLICATION_MODE:-primary}"
if [[ "${PG_REPLICATION_MODE}" == "primary" ]]; then
export PG_SYNCHRONOUS_REPLICAS_NUM="${PG_SYNCHRONOUS_REPLICAS_NUM:-0}"
export PG_SYNCHRONOUS_REPLICAS_METHOD="${PG_SYNCHRONOUS_REPLICAS_METHOD:-}"
export PG_SYNCHRONOUS_REPLICAS_NAMES="${PG_SYNCHRONOUS_REPLICAS_NAMES:-\*}"
export PG_CFG_MAX_WAL_SENDERS="${PG_CFG_MAX_WAL_SENDERS:-10}"
export PG_CFG_WAL_LEVEL="${PG_CFG_WAL_LEVEL:-logical}"
export PG_CFG_WAL_LOG_HINTS="${PG_CFG_WAL_LOG_HINTS:-on}"
elif [[ "${PG_REPLICATION_MODE}" == "standby" ]]; then
export PG_REPLICATION_APP_NAME=${PG_REPLICATION_APP_NAME:-cvcluster}
export PG_REPLICATION_HOST="${PG_REPLICATION_HOST:-}"
export PG_REPLICATION_PORT="${PG_REPLICATION_PORT:-5432}"
export PG_REPLICATION_USER="${PG_REPLICATION_USER:-}"
export PG_REPLICATION_PASSWORD="${PG_REPLICATION_PASSWORD:-}"
export PG_REPLICATION_CONNECT_TIMEOUT="${PG_REPLICATION_CONNECT_TIMEOUT:-10}"
# 配置允许从备机备份,参考:http://www.postgres.cn/docs/9.4/app-pgbasebackup.html
export PG_CFG_FULL_PAGE_WRITES="${PG_CFG_FULL_PAGE_WRITES:-on}"
export PG_CFG_HOT_STANDBY="${PG_CFG_HOT_STANDBY:-on}"
export PG_CFG_MAX_WAL_SENDERS="${PG_CFG_MAX_WAL_SENDERS:-16}"
fi
# 应用配置参数
export PG_CLUSTER_APP_NAME=${PG_CLUSTER_APP_NAME:-cvcluster}
export PG_REPLICATION_MODE="${PG_REPLICATION_MODE:-primary}"
export PG_PRIMARY_HOST="${PG_PRIMARY_HOST:-}"
export PG_PRIMARY_PORT="${PG_PRIMARY_PORT:-5432}"
export PG_NUM_SYNCHRONOUS_REPLICAS="${PG_NUM_SYNCHRONOUS_REPLICAS:-0}"
export PG_REPLICATION_USER="${PG_REPLICATION_USER:-}"
export PG_REPLICATION_PASSWORD="${PG_REPLICATION_PASSWORD:-}"
export PG_SYNCHRONOUS_COMMIT_MODE="${PG_SYNCHRONOUS_COMMIT_MODE:-on}"
export PG_FSYNC="${PG_FSYNC:-on}"
export PG_INIT_MAX_TIMEOUT=${PG_INIT_MAX_TIMEOUT:-60}
export PG_INITDB_ARGS="${PG_INITDB_ARGS:-}"
export PG_INITDB_WAL_DIR="${PG_INITDB_WAL_DIR:-}"
export PG_PORT_NUMBER="${PG_PORT_NUMBER:-5432}"
export PG_SHARED_PRELOAD_LIBRARIES="${PG_SHARED_PRELOAD_LIBRARIES:-}"
export PG_USERNAME_CONNECTION_LIMIT="${PG_USERNAME_CONNECTION_LIMIT:-}"
export PG_POSTGRES_CONNECTION_LIMIT="${PG_POSTGRES_CONNECTION_LIMIT:-}"
export PG_ENABLE_LDAP="${PG_ENABLE_LDAP:-no}"
export PG_LDAP_URL="${PG_LDAP_URL:-}"
export PG_LDAP_PREFIX="${PG_LDAP_PREFIX:-}"
export PG_LDAP_SUFFIX="${PG_LDAP_SUFFIX:-}"
export PG_LDAP_SERVER="${PG_LDAP_SERVER:-}"
export PG_LDAP_PORT="${PG_LDAP_PORT:-}"
export PG_LDAP_SCHEME="${PG_LDAP_SCHEME:-}"
export PG_LDAP_TLS="${PG_LDAP_TLS:-}"
export PG_LDAP_BASE_DN="${PG_LDAP_BASE_DN:-}"
export PG_LDAP_BIND_DN="${PG_LDAP_BIND_DN:-}"
export PG_LDAP_BIND_PASSWORD="${PG_LDAP_BIND_PASSWORD:-}"
export PG_LDAP_SEARCH_ATTR="${PG_LDAP_SEARCH_ATTR:-}"
export PG_LDAP_SEARCH_FILTER="${PG_LDAP_SEARCH_FILTER:-}"
if [[ ${PG_ENABLE_LDAP} == yes ]]; then
export PG_LDAP_URL="${PG_LDAP_URL:-}"
export PG_ENABLE_TLS="${PG_ENABLE_TLS:-no}"
export PG_TLS_CERT_FILE="${PG_TLS_CERT_FILE:-}"
export PG_TLS_KEY_FILE="${PG_TLS_KEY_FILE:-}"
export PG_TLS_CA_FILE="${PG_TLS_CA_FILE:-}"
export PG_TLS_CRL_FILE="${PG_TLS_CRL_FILE:-}"
export PG_TLS_PREFER_SERVER_CIPHERS="${PG_TLS_PREFER_SERVER_CIPHERS:-yes}"
export PG_LDAP_PREFIX="${PG_LDAP_PREFIX:-}"
export PG_LDAP_SUFFIX="${PG_LDAP_SUFFIX:-}"
export PG_LDAP_SERVER="${PG_LDAP_SERVER:-}"
export PG_LDAP_PORT="${PG_LDAP_PORT:-}"
export PG_LDAP_SCHEME="${PG_LDAP_SCHEME:-}"
export PG_LDAP_TLS="${PG_LDAP_TLS:-}"
export PG_LDAP_BASE_DN="${PG_LDAP_BASE_DN:-}"
export PG_LDAP_BIND_DN="${PG_LDAP_BIND_DN:-}"
export PG_LDAP_BIND_PASSWORD="${PG_LDAP_BIND_PASSWORD:-}"
export PG_LDAP_SEARCH_ATTR="${PG_LDAP_SEARCH_ATTR:-}"
export PG_LDAP_SEARCH_FILTER="${PG_LDAP_SEARCH_FILTER:-}"
fi
export PG_PGAUDIT_LOG="${PG_PGAUDIT_LOG:-}"
export PG_PGAUDIT_LOG_CATALOG="${PG_PGAUDIT_LOG_CATALOG:-}"
export PG_LOG_CONNECTIONS="${PG_LOG_CONNECTIONS:-}"
export PG_LOG_DISCONNECTIONS="${PG_LOG_DISCONNECTIONS:-}"
export PG_LOG_HOSTNAME="${PG_LOG_HOSTNAME:-}"
export PG_CLIENT_MIN_MESSAGES="${PG_CLIENT_MIN_MESSAGES:-error}"
export PG_LOG_LINE_PREFIX="${PG_LOG_LINE_PREFIX:-}"
export PG_LOG_TIMEZONE="${PG_LOG_TIMEZONE:-}"
export PG_MAX_CONNECTIONS="${PG_MAX_CONNECTIONS:-}"
export PG_TCP_KEEPALIVES_IDLE="${PG_TCP_KEEPALIVES_IDLE:-}"
export PG_TCP_KEEPALIVES_INTERVAL="${PG_TCP_KEEPALIVES_INTERVAL:-}"
export PG_TCP_KEEPALIVES_COUNT="${PG_TCP_KEEPALIVES_COUNT:-}"
export PG_STATEMENT_TIMEOUT="${PG_STATEMENT_TIMEOUT:-}"
export PG_INITDB_ARGS="${PG_INITDB_ARGS:-}"
export PG_INITDB_WAL_DIR="${PG_INITDB_WAL_DIR:-${PGDATA}/pg_wal}"
export PG_USER_CONNECTION_LIMIT="${PG_USER_CONNECTION_LIMIT:-}"
export PG_DB_CONNECTION_LIMIT="${PG_DB_CONNECTION_LIMIT:-}"
export PG_USER_IP4_RANGE="${PG_IP4_RANGE:-0.0.0.0/0}"
export PG_USER_IP6_RANGE="${PG_IP6_RANGE:-::0/0}"
export PG_REPLICATION_IP4_RANGE="${PG_REPLICATION_IP4_RANGE:-${PG_USER_IP4_RANGE}}"
export PG_REPLICATION_IP6_RANGE="${PG_REPLICATION_IP6_RANGE:-${PG_USER_IP6_RANGE}}"
export PG_USERNAME="${PG_USERNAME:-postgres}"
export PG_PASSWORD="${PG_PASSWORD:-}"
export PG_DATABASE="${PG_DATABASE:-postgres}"
# 使用自定义用户名(非"postgres")时的管理员密码
[[ "${PG_USERNAME}" = "postgres" ]] && PG_POSTGRES_PASSWORD="${PG_PASSWORD}"
export PG_POSTGRES_PASSWORD="${PG_POSTGRES_PASSWORD:-}"
# 使用自定义用户名(非"postgres")时的管理员密码
[[ "${PG_USERNAME}" == "postgres" ]] && export PG_POSTGRES_PASSWORD="${PG_PASSWORD}"
# 用来执行初始化数据库命令的用户名及密码
export PG_INITSCRIPTS_USERNAME="${PG_INITSCRIPTS_USERNAME:-${PG_USERNAME}}"
export PG_INITSCRIPTS_PASSWORD="${PG_INITSCRIPTS_PASSWORD:-${PG_PASSWORD}}"
export PGCONNECT_TIMEOUT="${PGCONNECT_TIMEOUT:-10}"
# 内部变量
export PG_FIRST_BOOT="yes"
export APP_DAEMON_USER="${APP_NAME}"
export APP_DAEMON_GROUP="${APP_NAME}"
# 个性化变量
export PG_CFG_DATA_DIRECTORY="${PGDATA}"
export PG_CFG_HBA_FILE="${PGDATA}/pg_hba.conf"
export PG_CFG_IDENT_FILE="${PGDATA}/pg_ident.conf"
export PG_CFG_EXTERNAL_PID_FILE="${APP_RUN_DIR}/postgresql.pid"
export PG_CFG_LOG_DIRECTORY="${APP_LOG_DIR}"
+10 -13
View File
@@ -1,29 +1,26 @@
#!/bin/bash
# Ver: 1.2 by Endial Fang (endial@126.com)
# Ver: 1.4 by Endial Fang (endial@126.com)
#
# 应用初始化脚本
# 应用初始化脚本;当前脚本使用‘gosu ${APP_USER}’方式切换至用户空间执行
# 设置 shell 执行参数,可使用'-'(打开)'+'(关闭)控制。常用:
# -e: 命令执行错误则报错; -u: 变量未定义则报错; -x: 打印实际待执行的命令行; -o pipefail: 设置管道中命令遇到失败则报错
set -eu
set -o pipefail
set -euo pipefail
. /usr/local/bin/common.sh # 应用专用函数库
. /usr/local/bin/environment.sh # 设置环境变量
. /usr/local/bin/common.sh # 应用专用函数库
LOG_I "** Processing init.sh **"
#trap "app_stop_server" EXIT
trap "${APP_NAME}_stop_server" EXIT
${APP_NAME}_verify_minimum_env
# 检测最小环境变量配置
app_verify_minimum_env
# 执行应用预初始化操作
${APP_NAME}_custom_preinit
app_custom_preinit
# 执行应用初始化操作
${APP_NAME}_default_init
app_default_init
# 执行用户自定义初始化脚本
${APP_NAME}_custom_init
LOG_I "** Processing init.sh finished! **"
app_custom_init
+12 -15
View File
@@ -1,28 +1,25 @@
#!/bin/bash
# Ver: 1.5 by Endial Fang (endial@126.com)
# Ver: 1.7 by Endial Fang (endial@126.com)
#
# 应用启动脚本
# 应用启动脚本;组合默认的配置参数及容器启动时传入的 CMD 参数,启动应用
# 设置 shell 执行参数,可使用'-'(打开)'+'(关闭)控制。常用:
# -e: 命令执行错误则报错(errexit); -u: 变量未定义则报错(nounset); -x: 打印实际待执行的命令行; -o pipefail: 设置管道中命令遇到失败则报错
set -eu
set -o pipefail
set -euo pipefail
. /colovu/lib/liblog.sh # 日志输出函数库
. /usr/local/bin/common.sh # 应用专用函数库
. /usr/local/bin/environment.sh # 设置环境变量
LOG_I "** Processing run.sh **"
readonly START_COMMAND="$(command -v ${APP_EXEC})"
readonly START_COMMAND="$(command -v ${APP_EXEC:-${APP_NAME}})"
# 配置默认启动参数(应用配置文件、前台方式启动)
flags=("--config-file=${PG_CONF_FILE}" "--hba_file=${PG_HBA_FILE}")
[[ -z "${APP_EXTRA_FLAGS:-}" ]] || flags+=("${APP_EXTRA_FLAGS[@]}")
# 增加 "@" 以使用用户在命令行添加的扩展标识
flags=()
[[ -n "${PGDATA:-}" ]] && flags+=("-D" "${PGDATA}")
[[ -n "${PG_CONF_FILE:-}" ]] && flags+=("--config-file=${PG_CONF_FILE}")
[[ -n "${APP_EXTRA_FLAGS:-}" ]] && flags+=("${APP_EXTRA_FLAGS[@]}")
flags+=("$@")
LOG_I "** Starting ${APP_NAME} **"
#is_root && flags=("-u" "$APP_DAEMON_USER" "${flags[@]}")
LOG_I "Command: ${START_COMMAND[@]} ${flags[@]}"
exec "${START_COMMAND[@]}" "${flags[@]}"
LOG_I "Start ${APP_NAME} with command: ${START_COMMAND} ${flags[@]}"
exec "${START_COMMAND}" "${flags[@]}"
+10 -30
View File
@@ -1,46 +1,26 @@
#!/bin/bash
# Ver: 1.2 by Endial Fang (endial@126.com)
# Ver: 1.4 by Endial Fang (endial@126.com)
#
# 应用环境及依赖文件设置脚本
# 应用环境及依赖文件设置脚本;当前脚本以‘root’用户执行
# 设置 shell 执行参数,可使用'-'(打开)'+'(关闭)控制。常用:
# -e: 命令执行错误则报错(errexit); -u: 变量未定义则报错(nounset); -x: 打印实际待执行的命令行; -o pipefail: 设置管道中命令遇到失败则报错
set -eu
set -o pipefail
set -euo pipefail
. /colovu/lib/libcommon.sh # 加载通用函数库
. /colovu/lib/libfs.sh # 加载文件操作函数库
. /colovu/lib/libos.sh # 加载系统管理函数库
. /usr/local/bin/environment.sh # 设置环境变量
. /usr/local/bin/common.sh # 应用专用函数库
LOG_I "** Processing setup.sh **"
APP_DIRS="${APP_CONF_DIR:-} ${APP_DATA_DIR:-} ${APP_LOG_DIR:-} ${APP_CERT_DIR:-} ${APP_DATA_LOG_DIR:-}"
APP_DIRS="${APP_DIRS} ${PG_DATA_DIR:-} ${PG_INITDB_WAL_DIR:-}"
APP_DIRS=(/var/log/${APP_NAME} /var/run/${APP_NAME} /var/cache/${APP_NAME} ${APP_HOME})
APP_DIRS+=(${APP_HOME}/conf ${APP_HOME}/data ${APP_HOME}/cert ${APP_HOME}/log)
APP_DIRS+=(${PGDATA})
LOG_I "Ensure directory exists: ${APP_DIRS}"
for dir in ${APP_DIRS}; do
ensure_dir_exists ${dir}
LOG_I "Ensure directory exists: ${APP_DIRS[@]}"
for dir in ${APP_DIRS[@]}; do
ensure_dir_exists ${dir} ${APP_USER}
done
# 检测指定文件是否在配置文件存储目录存在,如果不存在则拷贝(新挂载数据卷、手动删除都会导致不存在)
# PG 将使用默认模板生成配置文件,并放置在PGDATA目录
#LOG_I "Check config files in: ${APP_CONF_DIR}"
#if [[ ! -z "$(ls -A "${APP_DEF_DIR}")" ]]; then
# ensure_config_file_exist "${APP_DEF_DIR}" $(ls -A "${APP_DEF_DIR}")
# :
#fi
#LOG_I "Ensure directory ownership: ${APP_USER}"
#for dir in ${APP_DIRS}; do
# configure_permissions_ownership "$dir" -u "${APP_USER}" -g "${APP_USER}"
#done
# 解决 PostgreSQL 目录权限过于开放,无法初始化问题:FATAL: data directory "/srv/data/postgresql" has group or world access
LOG_D "Lack of permissions on data directory: ${PG_DATA_DIR}"
chmod 0700 ${PG_DATA_DIR}
is_root && ensure_user_exists "$APP_DAEMON_USER" -g "$APP_DAEMON_GROUP"
LOG_I "** Processing setup.sh finished! **"
@@ -1,35 +0,0 @@
#!/bin/bash -ex
POSTGRESQL_CONF="${APP_HOME_DIR}/share/postgresql.conf.sample"
# 在安装完应用后,使用该脚本修改默认配置文件中部分配置项
# 如果相应的配置项已经定义整体环境变量,则不需要在这里修改
echo "Process overrides for default configs..."
#sed -i -E 's/^listeners=/d' "$KAFKA_HOME/config/server.properties"
# 设置默认监听地址为 localhost ,防止初始化操作期间外部链接,在容器初始化完成后修改为监听所有地址
sed -i -E "s/^#?(listen_addresses) .*/\1 = 'localhost'/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?data_directory .*/data_directory = '\/srv\/data\/${APP_NAME}\/data'/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?hba_file .*/hba_file = '\/srv\/conf\/${APP_NAME}\/pg_hba.conf'/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?ident_file .*/ident_file = '\/srv\/data\/${APP_NAME}\/data\/pg_ident.conf'/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?external_pid_file .*/external_pid_file = '\/var\/run\/${APP_NAME}\/postgresql.pid'/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?max_connections .*/max_connections = 2000/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?password_encryption .*/password_encryption = md5/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?log_destination .*/log_destination = 'stderr'/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?logging_collector .*/logging_collector = on/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?log_directory .*/log_directory = '\/var\/log\/${APP_NAME}'/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?log_filename .*/log_filename = 'postgresql-\%Y-\%m-\%d_\%H\%M\%S.log'/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?log_truncate_on_rotation .*/log_truncate_on_rotation = on/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?log_rotation_age .*/log_rotation_age = 1d/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?log_rotation_size .*/log_rotation_size = 0/g" ${POSTGRESQL_CONF}
sed -i -E "s/^#?log_timezone .*/log_timezone = 'Asia\/Shanghai'/g" ${POSTGRESQL_CONF}
#sed -i -E "s/^#?include_dir .*/include_dir = 'conf\.d'/g" ${POSTGRESQL_CONF}
# 修改 unix_socket_directories 与 PID 文件同目录,解决修改 PID 输出目录后 psql 不指定`-h`时 Unix Socket 无法找到问题:
# psql: could not connect to server: No such file or directory
# Is the server running locally and accepting
# connections on Unix domain socket "/var/run/postgresql/.s.PGSQL.5432"?
sed -i -E "s/^unix_socket_directories .*/unix_socket_directories = '\/var\/run\/${APP_NAME}'/g" ${POSTGRESQL_CONF}
@@ -0,0 +1,17 @@
#!/bin/bash -e
# Ver: 1.2 by Endial Fang (endial@126.com)
#
# 在安装完应用后,使用该脚本修改默认配置文件中部分配置项; 如果相应的配置项已经定义为容器环境变量,则不需要在这里修改
# 定义要修改的文件(改文件应当是默认配置文件目录中的模板文件)
CONF_FILE="/usr/local/${APP_NAME}/share/postgresql.conf.sample"
echo "Process overrides for: ${CONF_FILE}"
# 设置默认监听地址为 localhost ,防止初始化操作期间外部链接,在容器初始化完成后修改为监听所有地址
sed -i -E "s/^#?(listen_addresses) .*/\1 = '127.0.0.1'/g" ${CONF_FILE}
# 修改 unix_socket_directories 与 PID 文件同目录,解决修改 PID 输出目录后 psql 不指定`-h`时 Unix Socket 无法找到问题:
# psql: could not connect to server: No such file or directory
# Is the server running locally and accepting
# connections on Unix domain socket "/var/run/postgresql/.s.PGSQL.5432"?
sed -i -E "s/^unix_socket_directories .*/unix_socket_directories = '\/var\/run\/${APP_NAME}'/g" ${CONF_FILE}
-12
View File
@@ -1,12 +0,0 @@
#!/bin/bash
# Ver: 1.2 by Endial Fang (endial@126.com)
#
# shell 执行参数,分别为 -e(命令执行错误则退出脚本) -u(变量未定义则报错) -x(打印实际待执行的命令行)
set -eux
groupadd --gid 1001 --system ${APP_USER}
useradd --gid 1001 --uid 1001 --shell /bin/bash --home /srv/data/${APP_NAME} --system ${APP_USER}
#useradd --gid 1001 --uid 1001 --shell /usr/sbin/nologin --home /srv/data/${APP_NAME} --system ${APP_USER}
# 如果需要 sudo 权限,需要在 Dockerfile 中安装 su 软件包:RUN install_pkg sudo
#sed -i -e 's/^\sDefaults\s*secure_path\s*=/# Defaults secure_path=/' /etc/sudoers
#echo "${APP_USER} ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers
-17
View File
@@ -1,17 +0,0 @@
#!/bin/bash
# Ver: 1.3 by Endial Fang (endial@126.com)
#
# shell 执行参数,分别为 -e(命令执行错误则退出脚本) -u(变量未定义则报错) -x(打印实际待执行的命令行)
set -eux
APP_DIRS=" \
/srv/conf/${APP_NAME} \
/srv/data/${APP_NAME} \
/srv/datalog/${APP_NAME} \
/var/cache/${APP_NAME} \
/var/run/${APP_NAME} \
/var/log/${APP_NAME} \
/srv/cert/${APP_NAME}"
mkdir -p ${APP_DIRS}
chmod -R g+rwX ${APP_DIRS} /usr/local/${APP_NAME}
+2 -2
View File
@@ -4,11 +4,11 @@ version: '3.8'
# 当前配置仅保证可以启动容器;更多配置参数请参考镜像 README.md 文档中说明
services:
postgres:
image: 'registry.cn-shenzhen.aliyuncs.com/colovu/postgres:12.4'
image: 'registry.cn-shenzhen.aliyuncs.com/colovu/postgres:latest'
ports:
- 5432:5432
environment:
- ALLOW_ANONYMOUS_LOGIN=yes
- ALLOW_ANONYMOUS=yes
- ENV_DEBUG=yes
# 定义本地数据卷,由系统管理,需要手动删除
-8
View File
@@ -1,8 +0,0 @@
# 说明
## 用途
本目录下相关 Hooks 脚本主要用于 Docker Hub 服务器编译镜像时,获取用户设置的环境变量,并根据环境变量进行条件编译。相关脚本说明参照[官方文档](https://docs.docker.com/docker-hub/builds/advanced/)。
目录`hooks`必须与镜像编译文件 Dockerfile 同目录。
-7
View File
@@ -1,7 +0,0 @@
#!/bin/bash
# v1.0 by Endial Fang (endial@126.com)
#
# 用户 docker.hub 的自动编译钩子文件,相应的变量在镜像库自动编译界面进行配置(如:registry_url、apt_source
# 参见: https://docs.docker.com/docker-hub/builds/advanced/
docker build --build-arg registry_url=${registry_url:-docker.io} --build-arg apt_source=${apt_source:-default} -f $DOCKERFILE_PATH -t $IMAGE_NAME .