Docker鏡像倉(cāng)庫(kù)本地化部署

Docker 可信鏡像倉(cāng)庫(kù)服務(wù)，是安全、高可用并且支持本地部署的 Docker 服務(wù)，通常使用 DTR 代指。如果知道 Docker Hub 是什么，可以將 DTR 理解為私有的 Docker Hub，可以在本地部署，并且自行管理。

在安裝前有幾點(diǎn)需要說(shuō)明

如果條件允許，使用專用節(jié)點(diǎn)來(lái)運(yùn)行 DTR。在 DTR 生產(chǎn)環(huán)境節(jié)點(diǎn)中絕對(duì)不要運(yùn)行用戶工作負(fù)載。

在 UCP 中，需要運(yùn)行奇數(shù)個(gè) DTR 實(shí)例。3 個(gè)或者 5 個(gè)實(shí)例有較好的容錯(cuò)性。生產(chǎn)環(huán)境下的推薦配置如下。

? 3 個(gè)專用 UCP 管理節(jié)點(diǎn)。

? 3 個(gè)專用 DTR 實(shí)例。

? 按應(yīng)用需求增加工作節(jié)點(diǎn)。

? 接下來(lái)會(huì)在單個(gè)節(jié)點(diǎn)上完成 DTR 的安裝和配置。

安裝 DTR

在 UCP 集群中配置首個(gè) DTR 實(shí)例包括下面幾個(gè)步驟。

為了完成下面步驟，需要一個(gè)用于安裝 DTR 的 UCP 節(jié)點(diǎn)和一個(gè)監(jiān)聽 443 端口的負(fù)載均衡，并處于 TCP 透?jìng)髂Ｊ剑瑫r(shí)在 443 端口開啟了 /health 健康檢查。下圖展示了完整架構(gòu)圖。

⒈ 登錄 UCP Web 界面，單擊 Admin > Admin Settings > Docker Trusted Registry。

⒉ 填寫 DTR 配置表，如下所示。

? DTR 外部 URL(DTR EXTERNAL URL)：設(shè)置外部負(fù)載均衡器的 URL。

? UCP 節(jié)點(diǎn)(UCP NODE)：選擇希望安裝 DTR 的節(jié)點(diǎn)名稱。

? 禁用 UCP 的 TLS 認(rèn)證(Disable TLS Verification For UCP)：如果使用自簽名證書，勾選該復(fù)選框。

⒊ 復(fù)制表格底部的長(zhǎng)命令。

⒋ 將命令粘貼到 UCP 管理節(jié)點(diǎn)。

命令中包含 --ucp-node，告訴 UCP 需要執(zhí)行該命令的具體節(jié)點(diǎn)。

下面示例中的 DTR 安裝命令與上圖中的配置相符。示例中假設(shè)當(dāng)前已經(jīng)在 dtr.mydns.com 配置了負(fù)載均衡器。

$ docker run -it --rm docker/dtr install \
--dtr-external-url dtr.mydns.com \
--ucp-node dtr1 \
--ucp-url https://34.252.195.122 \
--ucp-username admin --ucp-insecure-tls

⒌ 一旦安裝完成，就可以通過(guò)瀏覽器訪問(wèn)負(fù)載均衡器。訪問(wèn)后會(huì)自動(dòng)登錄DTR，如下圖所示。DTR 已經(jīng)應(yīng)用，但尚未為其配置 HA。

為 DTR 配置高可用

配置多副本的高可用 DTR 依賴共享存儲(chǔ)。共享存儲(chǔ)可以是 NFS 或者對(duì)象存儲(chǔ)，可以本地部署或者在公有云上部署。下面的步驟中會(huì)采用 Amazon S3 Bucket 作為共享存儲(chǔ)來(lái)完成高可用 DTR 配置。

⒈ 登錄 DTR 控制臺(tái)，進(jìn)入 Settings。

⒉ 選擇存儲(chǔ)(Storage)標(biāo)簽頁(yè)，并配置共享存儲(chǔ)。

下圖展示了如何將位于 eu-west-1 可用域中名為 deep-dive-dtr 的 AWS S3 bucket 存儲(chǔ)配置為 DTR 的共享存儲(chǔ)。小伙伴在本地不能使用該存儲(chǔ)。

DTR 現(xiàn)在配置了共享存儲(chǔ)，可以開始增加額外的副本了。

⒈ 在 UCP 集群管理節(jié)點(diǎn)運(yùn)行下面命令。

$ docker run -it --rm \
docker/dtr:2.4.1 join \
--ucp-node dtr2 \
--existing-replica-id 47f20fb864cf \
--ucp-insecure-tls

--ucp-node 參數(shù)指定了命令創(chuàng)建新 DTR 副本所在的節(jié)點(diǎn)。如果使用自簽名證書，必須指定 --insecure-tls 參數(shù)。

我們需要替換示例中的鏡像版本和副本 ID。副本 ID 在初始化安裝副本的輸出內(nèi)容中可以找到。

⒉ 按提示輸入 UCP URL、端口以及管理員證書。

添加成功后，會(huì)看到如下信息。

INFO[0166] Join is complete
INFO[0166] Replica ID is set to: a6a628053157
INFO[0166] There are currently 2 replicas in your DTR cluster
INFO[0166] You have an even number of replicas which can impact availability
INFO[0166] It is recommended that you have 3, 5 or 7 replicas in your cluster

一定要遵循前面的建議來(lái)安裝副本，保證數(shù)量為奇數(shù)。這時(shí)需要更新負(fù)載均衡的配置信息，這樣流量可以發(fā)送到新的副本之上。

DTR 現(xiàn)在已經(jīng)配置了 HA，這意味著現(xiàn)在某個(gè)副本宕機(jī)不會(huì)影響服務(wù)可用性。下圖展示了高可用 DTR 配置。

需要注意，當(dāng)前負(fù)載均衡器會(huì)向全部 3 個(gè) DTR 副本發(fā)送流量，也會(huì)對(duì)全部 3 個(gè)節(jié)點(diǎn)執(zhí)行健康檢查。全部 3 個(gè) DTR 副本共享同一個(gè)外部存儲(chǔ)。

在上圖中，負(fù)載均衡器和共享存儲(chǔ)都是第三方產(chǎn)品，按照單點(diǎn)部署進(jìn)行展示(非高可用)。為了保證整體環(huán)境的高可用，建議確認(rèn)這些產(chǎn)品都支持高可用，并且對(duì)其內(nèi)容和配置信息進(jìn)行備份(例如保證負(fù)載均衡器和存儲(chǔ)系統(tǒng)原生支持高可用，并且配置了備份策略)。

備份 DTR

因?yàn)槭褂昧?UCP 的緣故，DTR 自帶 backup 命令，屬于安裝 DTR 所用鏡像的一部分。該備份命令會(huì)將分散于多個(gè)卷的 DTR 配置信息進(jìn)行備份，包括以下幾種。

? DTR 配置。

? 倉(cāng)庫(kù)原生信息。

? 公證信息。

? 證書。

DTR 自帶備份并不支持對(duì)鏡像的備份功能。通常鏡像保存在高可用的存儲(chǔ)后端，依賴非 Docker 工具執(zhí)行自己獨(dú)立的備份計(jì)劃。

在 UCP 管理節(jié)點(diǎn)執(zhí)行下面命令對(duì) DTR 進(jìn)行備份。

$ read -sp 'ucp password: ' UCP_PASSWORD; \
docker run --log-driver none -i --rm \
--env UCP_PASSWORD=$UCP_PASSWORD \
docker/dtr:2.4.1 backup \
--ucp-insecure-tls \
--ucp-username admin \
> ucp.bkp

read 命令會(huì)提示用戶輸入 UCP 管理賬戶的密碼，并保存到 UCP_PASSWORD 變量當(dāng)中;第二行告訴 Docker 啟動(dòng)新的臨時(shí)容器來(lái)執(zhí)行備份操作;第三行將 UCP 密碼設(shè)置為容器的環(huán)境變量;第四行執(zhí)行了備份命令;第五行使用自簽名證書保證命令可執(zhí)行;第六行設(shè)置 UCP 用戶名為“admin”;最后一行指定備份文件為當(dāng)前目錄下的 ucp.bkp。

按照提示輸入 UCP URL 和副本 ID。該信息也可以在備份命令中指定。備份結(jié)束后，會(huì)在當(dāng)前工作目錄下新增一個(gè)名為 ucp.bkp 的文件。該文件應(yīng)當(dāng)按照公司的備份策略，由公司備份工具進(jìn)行統(tǒng)一管理。

從備份恢復(fù) DTR

從備份恢復(fù) DTR 是下策，只有副本都宕機(jī)，并且沒(méi)有其他方式恢復(fù)時(shí)才可以嘗試。在只是單副本宕機(jī)，其他副本仍然可用的情況下，應(yīng)當(dāng)使用 dtr join 命令增加新的副本。

如果確定需要從副本恢復(fù)，步驟如下：

⒈ 停止并刪除 DTR 節(jié)點(diǎn)(可能已經(jīng)停止)。

⒉ 恢復(fù)共享存儲(chǔ)中的鏡像(可能不需該步驟)。

⒊ 恢復(fù) DTR。

在準(zhǔn)備恢復(fù) DTR 的節(jié)點(diǎn)上執(zhí)行下面的命令。當(dāng)然該節(jié)點(diǎn)必須是要恢復(fù)的 DTR 所在 UCP 集群中的一員。在恢復(fù)時(shí)需要使用與創(chuàng)建備份相同版本的 docker/dtr 鏡像。

⒈ 停止并刪除 DTR。

$ docker run -it --rm \
docker/dtr:2.4.1 destroy \
--ucp-insecure-tls

INFO[0000] Beginning Docker Trusted Registry replica destroy
ucp-url (The UCP URL including domain and port): https://34.252.195.122:443
ucp-username (The UCP administrator username): admin
ucp-password:
INFO[0020] Validating UCP cert
INFO[0020] Connecting to UCP
INFO[0021] Searching containers in UCP for DTR replicas
INFO[0023] This cluster contains the replicas: 47f20fb864cf a6a628053157
Choose a replica to destroy [47f20fb864cf]:
INFO[0030] Force removing replica
INFO[0030] Stopping containers
INFO[0035] Removing containers
INFO[0045] Removing volumes
INFO[0047] Replica removed.

按提示輸入 UCP URL、管理證書以及要?jiǎng)h除的副本 ID。如果有多副本，可以多次運(yùn)行該命令來(lái)刪除。

⒉ 如果鏡像在共享存儲(chǔ)中丟失，需要首先恢復(fù)鏡像。

⒊ 使用下面的命令恢復(fù) DTR。

需要將第 5 行與第 6 行中的內(nèi)容替換為本地環(huán)境的值。因?yàn)?restore 命令不支持交互式，所以當(dāng) restore 命令開始執(zhí)行后，沒(méi)有提示輸入前面的內(nèi)容。

$ read -sp 'ucp password: ' UCP_PASSWORD; \
docker run -i --rm \
--env UCP_PASSWORD=$UCP_PASSWORD \
docker/dtr:2.4.1 restore \
--ucp-url  \
--ucp-node  \
--ucp-insecure-tls \
--ucp-username admin \
< ucp.bkp

DTR 現(xiàn)在已經(jīng)恢復(fù)。UCP 管理節(jié)點(diǎn)、工作節(jié)點(diǎn)以及 DTR 節(jié)點(diǎn)需要通過(guò)網(wǎng)絡(luò)互相通信。下圖總結(jié)了端口需求。