成人麻豆免费视频精品区,校园春色中文字幕人妻,69国产亚洲精品成人av久久,男女激情久久免费国产,欧美一区二区三区4区,欧美狠狠爱第三页视频,120日本少妇视频,79自拍视频在线观看,中文字幕丝袜美腿一二三区

Docker教程
Docker安裝
Docker使用
Docker實(shí)例

Docker UCP

UCP 是企業(yè)級(jí)的容器即服務(wù)平臺(tái)的圖形化操作界面。UCP 使用 Docker 引擎,并添加了各種企業(yè)喜歡以及需要的功能。例如 RBAC、可配置、認(rèn)證、高可用控制平面以及簡(jiǎn)單界面。在 UCP 內(nèi)部,是一個(gè)容器化的微服務(wù)應(yīng)用,以多個(gè)容器的形式運(yùn)行。

架構(gòu)層面上講,UCP 是基于 Swarm 模式下的 Docker EE 構(gòu)建的。如下圖所示,UCP 控制平面運(yùn)行在 Swarm 管理節(jié)點(diǎn)上,應(yīng)用則部署在 Swarm 工作節(jié)點(diǎn)上。

UCP 管理節(jié)點(diǎn)必須是 Linux。工作節(jié)點(diǎn)既可以 Windows,也可以是 Linux。

規(guī)劃 UCP 安裝

在規(guī)劃 UCP 安裝的時(shí)候,合理設(shè)置集群大小和規(guī)格十分重要。下面介紹該過程中需要考慮的一些方面。

集群中全部節(jié)點(diǎn)的時(shí)鐘需要同步(例如 NTP)。如果沒有同步,可能導(dǎo)致一些很難定位的問題。全部節(jié)點(diǎn)都要有自己的靜態(tài) IP 地址和固定的 DNS 名稱。

默認(rèn)情況下,UCP 管理節(jié)點(diǎn)不運(yùn)行用戶工作負(fù)載。推薦使用這種最佳實(shí)踐,并建議用戶在生產(chǎn)環(huán)境中強(qiáng)制使用。該方式使得管理節(jié)點(diǎn)只需關(guān)注控制平面職責(zé)。同時(shí)也能簡(jiǎn)化問題定位。

用戶需要保證管理節(jié)點(diǎn)數(shù)量為奇數(shù)。這樣就能避免出現(xiàn)腦裂等類似場(chǎng)景時(shí),會(huì)導(dǎo)致管理節(jié)點(diǎn)不可用,或者與集群割裂的現(xiàn)象。理想數(shù)量為 3、5 或者 7,3 或者 5 是較常用的。多于 7 的話,可能導(dǎo)致后臺(tái) Raft 算法或者集群一致性的問題。如果不能提供 3 個(gè)管理節(jié)點(diǎn),1 個(gè)要好于 2 個(gè)!

如果配置了后臺(tái)計(jì)劃(用戶應(yīng)當(dāng)配置)并進(jìn)行日常備份,可能需要部署 5 個(gè)管理節(jié)點(diǎn)。這是因?yàn)?Swarm 和 UCP 的備份操作需要停止 Docker 和 UCP 服務(wù)。5 個(gè)管理節(jié)點(diǎn)可以保證在執(zhí)行類似操作時(shí)集群的彈性。

管理節(jié)點(diǎn)應(yīng)當(dāng)根據(jù)數(shù)據(jù)中心可用域進(jìn)行部署。用戶最不想見到的場(chǎng)景,就是全部 UCP 管理節(jié)點(diǎn)所在的域都不可用。但是,管理節(jié)點(diǎn)之間的通信必須經(jīng)由高速可靠的網(wǎng)絡(luò)完成。

因此如果數(shù)據(jù)中心可用域之間網(wǎng)絡(luò)狀況不佳,最好還是將所有管理節(jié)點(diǎn)部署在相同域之中。有件事已經(jīng)約定成俗,即在公有云上部署時(shí),需要將管理節(jié)點(diǎn)部署在同區(qū)域內(nèi)的可用域中??鐓^(qū)域通常會(huì)受到低可靠性和高延遲網(wǎng)絡(luò)的影響。

工作節(jié)點(diǎn)的數(shù)量可以根據(jù)需求設(shè)置,因?yàn)樗鼈儾⒉粫?huì)參與到集群 Raft 操作當(dāng)中,所以就不會(huì)影響控制平面操作。

規(guī)劃工作節(jié)點(diǎn)的規(guī)格和數(shù)量,需要理解計(jì)劃部署在集群上的應(yīng)用需求。例如,理解之后能幫助用戶確定需要多少 Windows 節(jié)點(diǎn)和 Linux 節(jié)點(diǎn)。同時(shí)還需要知道應(yīng)用是否有特殊需求,需要工作節(jié)點(diǎn)的定制化來(lái)支持,例如 PCI 類工作負(fù)載。

此外,雖然 Docker 引擎是輕量級(jí)的,但其上運(yùn)行的容器化應(yīng)用不一定也是。出于這樣的考慮,根據(jù)應(yīng)用的 CPU、RAM、網(wǎng)絡(luò)以及磁盤 I/O 需求規(guī)劃節(jié)點(diǎn)數(shù)目就很重要了。

確定合理的節(jié)點(diǎn)配置并不是什么好玩的事兒,這完全取決于工作負(fù)載。但是,Docker 網(wǎng)站上對(duì) Linux Docker UCP 2.2.4 的最低配置有如下建議。

? UCP 管理節(jié)點(diǎn)運(yùn)行 DTR:8GB RAM,3GB 磁盤空間。

? UCP 工作節(jié)點(diǎn):4GB RAM,3GB 空閑磁盤空間。

推薦配置如下。

? 運(yùn)行 DTR 的 UCP 管理節(jié)點(diǎn):8GB RAM,4 核 CPU,100GB 磁盤。

? UCP 工作節(jié)點(diǎn):4GB RAM,25-100GB 空閑磁盤空間。

該建議僅供參考,用戶在確定配置時(shí)需要自己多加練習(xí)。

有一點(diǎn)是確認(rèn)的:Window 鏡像會(huì)比 Linux 鏡像稍大一些。所以規(guī)劃時(shí)務(wù)必考慮該因素。

關(guān)于需求規(guī)劃最后多說(shuō)一點(diǎn)。Docker Swarm 和 Docker UCP 簡(jiǎn)化了管理節(jié)點(diǎn)和工作節(jié)點(diǎn)的添加 / 刪除工作。新加入的管理節(jié)點(diǎn)被自動(dòng)加入到 HA 控制平面,新加入的工作節(jié)點(diǎn)馬上就能參與到工作負(fù)載調(diào)度當(dāng)中。

類似的,刪除管理節(jié)點(diǎn)和工作節(jié)點(diǎn)也非常簡(jiǎn)單。只要擁有多個(gè)管理節(jié)點(diǎn),就可以在不影響集群操作的情況下移除其中一個(gè)。移除工作節(jié)點(diǎn)時(shí),需要清理該節(jié)點(diǎn)上的工作負(fù)載,然后從運(yùn)行中的集群移除。上述特點(diǎn)使得 UCP 對(duì)管理節(jié)點(diǎn)和工作節(jié)點(diǎn)的變更做到不感知。

安裝 Docker UCP

下面主要介紹在新集群的第一個(gè)管理節(jié)點(diǎn)上安裝 Docker UCP 的完整過程。

⒈ 在某個(gè) Linux Docker EE 節(jié)點(diǎn)上運(yùn)行下面的命令,該節(jié)點(diǎn)應(yīng)是計(jì)劃中作為 UCP 集群的第一個(gè)管理節(jié)點(diǎn)。

關(guān)于命令需要補(bǔ)充說(shuō)明,示例在安裝 UCP 時(shí),使用了 docker/ucp:2.2.5 鏡像,用戶需要替換為適合自己的版本。--host-address 設(shè)置了 Web 界面訪問地址。如果用戶在 AWS 上完成安裝,并且計(jì)劃通過互聯(lián)網(wǎng)訪問公司的網(wǎng)絡(luò),這里就需要設(shè)置 AWS 的公共 IP 地址。

$ docker container run --rm -it --name ucp \
-v /var/run/docker.sock:/var/run/docker.sock \
docker/ucp:2.2.5 install \
--host-address <node-ip-address> \
--interactive

⒉ 配置管理員賬號(hào)。安裝過程會(huì)提示用戶輸入用戶名和密碼,作為 UCP 管理員賬號(hào)。這是一個(gè)本地賬號(hào),建議遵守公司規(guī)范來(lái)創(chuàng)建用戶名和密碼。創(chuàng)建后千萬(wàn)不要忘記。

⒊ 主體別名(Subject Alternative Name,SAN)。安裝程序會(huì)提示輸入能訪問 UCP 的 IP 地址和名稱列表。列表內(nèi)容可以是私有 IP 地址以及 DNS 名稱,并且會(huì)加入到賬號(hào)當(dāng)中。

安裝過程還需注意以下的一些內(nèi)容。

UCP 基于 Docker Swarm,這意味著 UCP 管理節(jié)點(diǎn)需要運(yùn)行在 Swarm 管理節(jié)點(diǎn)上。如果在某個(gè)節(jié)點(diǎn)上以單引擎模式(Single-Engine Mode)安裝 UCP,則該節(jié)點(diǎn)會(huì)默認(rèn)切換為 Swarm 模式。

安裝程序拉取 UCP 服務(wù)所需的全部鏡像,并完成相應(yīng)容器的啟動(dòng)。下面列舉了部分由安裝程序拉取的鏡像。

INFO[0008] Pulling required images... (this may take a while)
INFO[0008] Pulling docker/ucp-auth-store:2.2.5
INFO[0013] Pulling docker/ucp-hrm:2.2.5
INFO[0015] Pulling docker/ucp-metrics:2.2.5
INFO[0020] Pulling docker/ucp-swarm:2.2.5
INFO[0023] Pulling docker/ucp-auth:2.2.5
INFO[0026] Pulling docker/ucp-etcd:2.2.5
INFO[0028] Pulling docker/ucp-agent:2.2.5
INFO[0030] Pulling docker/ucp-cfssl:2.2.5
INFO[0032] Pulling docker/ucp-dsinfo:2.2.5
INFO[0080] Pulling docker/ucp-controller:2.2.5
INFO[0084] Pulling docker/ucp-proxy:2.2.5

部分比較值得關(guān)注的鏡像包括以下幾點(diǎn)。

? ucp-agent 這是 UCP 核心代理。該代理會(huì)部署到集群的全部節(jié)點(diǎn)上,用于確保 UCP 所需容器全部啟動(dòng)并運(yùn)行。

? ucp-etcd 集群持久化鍵值對(duì)存儲(chǔ)。

? ucp-auth 共享鑒權(quán)服務(wù)(在 DTR 的單點(diǎn)登錄中也用到了)。

? ucp-proxy 控制對(duì)本地 Docker Socket 端口的訪問,這樣未認(rèn)證的客戶端就不能擅自篡改集群了。

? ucp-swarm 提供對(duì)底層 Swarm 的適配。

最終,安裝程序創(chuàng)建了一對(duì)根 CA:一個(gè)用于集群內(nèi)部通信,另一個(gè)用于外部訪問。CA 使用自簽名證書,這對(duì)于實(shí)驗(yàn)和測(cè)試環(huán)境來(lái)說(shuō)很好,但是不適用于生產(chǎn)環(huán)境。

為了完成可信 CA 證書的 UCP 安裝,需要使用下面 3 個(gè)文件完成證書綁定。

? ca.pem:可信 CA 證書(通常是公司內(nèi)部 CA)。

? cert.pem:UCP 的公開證書。該證書包含了全部被授權(quán)訪問集群的 IP 地址和 DNS 名稱,包括位于集群之前的負(fù)載均衡器。

? key.pem:UCP 的私鑰。

如果已經(jīng)有了上述文件,則需要將其掛載到 Dockerucp-controller-server-certs 卷下,并且使用 --external-ca 數(shù)指定卷。用戶也可以在安裝完成后,通過 Web 界面中的管理員設(shè)置(Admin Setting)頁(yè)面來(lái)修改證書。

UCP 安裝程序輸出中的最后一段內(nèi)容,就是訪問所用的 URL。

<Snip>
INFO[0049] Login to UCP at https://<IP or DNS>:443

通過 Web 瀏覽器訪問該地址并且登錄。如果使用自簽名證書,則需要確認(rèn)瀏覽器的告警信息。同時(shí)還需要指定許可證文件,該文件可以從 Docker 商店的 My Content 中下載。

登錄后即可訪問 UCP 管理面板,如下圖所示。

到目前為止,一個(gè)單點(diǎn)登錄 UCP 集群已經(jīng)就緒。

可以通過管理面板底部的 Add Nodes 鏈接為集群添加更多的管理節(jié)點(diǎn)和工作節(jié)點(diǎn)。

下圖展示了添加節(jié)點(diǎn)的界面。用戶可以選擇添加管理節(jié)點(diǎn)或者工作節(jié)點(diǎn),然后界面中就會(huì)給出對(duì)應(yīng)的命令,在待添加節(jié)點(diǎn)上運(yùn)行即可。示例中選擇添加 Linux 工作節(jié)點(diǎn)。注意,這是一個(gè) docker swarm命令。

添加的節(jié)點(diǎn)會(huì)加入 Swarm 集群,并且配置所需的 UCP 服務(wù)。如果添加的是管理節(jié)點(diǎn),推薦在連續(xù)添加之間稍作等待。這樣可以給 Docker 留出下載并運(yùn)行所需 UCP 容器的機(jī)會(huì),同時(shí)也允許集群注冊(cè)新的管理節(jié)點(diǎn)并達(dá)到法定人數(shù)。

新加入的管理節(jié)點(diǎn)會(huì)自動(dòng)配置到高可用(HA)的一致性 Raft 組當(dāng)中,并且被授權(quán)可以訪問集群存儲(chǔ)。此外,雖然外部負(fù)載均衡器通常不被認(rèn)作 UCP HA 的核心部分,但其本身對(duì)外提供了穩(wěn)定的 DNS 名稱,屏蔽了一些后端場(chǎng)景,如某個(gè)節(jié)點(diǎn)掛掉。

用戶需要為 443 端口的 TCP 透?jìng)髋渲猛獠康呢?fù)載均衡器,通過自定義的 HTTPS 心跳檢查 https:///_ping 確認(rèn) UCP 管理節(jié)點(diǎn)的狀態(tài)。

現(xiàn)在一個(gè)工作狀態(tài)的 UCP 已經(jīng)搭建完成,可以通過 Admin Settings 頁(yè)面查看相關(guān)選項(xiàng),如下圖所示。

UCP 的訪問控制

所有對(duì) UCP 的訪問,都經(jīng)由身份管理子系統(tǒng)。這意味著用戶在集群上執(zhí)行任何操作前,首先需要通過用戶名和密碼進(jìn)行認(rèn)證。這些操作包括集群的管理,以及服務(wù)的部署和管理。

用戶使用 UI 界面的時(shí)候已經(jīng)體驗(yàn)過了,必須使用用戶名和密碼才能登錄。在 CLI 中也是一樣的,用戶不能在未登錄的情況下通過 UCP 執(zhí)行命令!這是因?yàn)?UCP 集群中本地 Docker Socket 受到 ucp-proxy 服務(wù)的保護(hù),不會(huì)接受未認(rèn)證命令。

客戶端綁定

每個(gè)運(yùn)行 Docker CLI 的節(jié)點(diǎn),都能部署并管理 UCP 集群的工作負(fù)載,只要該節(jié)點(diǎn)存在一個(gè)有效 UCP 用戶認(rèn)證。

本節(jié)中會(huì)創(chuàng)建一個(gè)新 UCP 用戶,新建并下載該用戶的綁定證書,接著創(chuàng)建一個(gè) Docker 客戶端并使用該證書。在完成上述步驟后,會(huì)解釋其工作原理。

⒈ 如果還沒就緒,則以管理員身份登錄 UCP。

⒉ 單擊 User Management > Users,創(chuàng)建一個(gè)新用戶。因?yàn)檫€未討論角色和權(quán)限相關(guān)的內(nèi)容,所以將用戶設(shè)置為 Docker EE 管理員。

⒊ 在新用戶選中狀態(tài)下,單擊 Configure 下拉框,然后選擇 Client Bundle,如下圖所示。

⒋ 單擊 Client Bundle +鏈接,生成并下載該用戶的客戶端 Bundle。

此時(shí)需要注意,客戶端 Bundle 是與用戶相關(guān)的。因此,該 Bundle 能夠使得配置好的 Docker 客戶端在 UCP 集群上以該 Bundle 所屬用戶的身份執(zhí)行命令。

⒌ 復(fù)制下載內(nèi)容到 Docker 客戶端,該客戶端是用戶配置用于管理 UCP 的。

⒍ 登錄客戶端節(jié)點(diǎn),執(zhí)行下面的全部命令。

⒎ 解壓縮客戶端綁定內(nèi)容。

$ unzip ucp-bundle-nigelpoulton.zip
Archive: ucp-bundle-nigelpoulton.zip
extracting: ca.pem
extracting: cert.pem
extracting: key.pem
extracting: cert.pub
extracting: env.sh
extracting: env.ps1
extracting: env.cmd

示例使用 Linux 的 unzip 包將客戶端綁定解壓縮到當(dāng)前目錄。需要將命令中客戶端綁定的名稱替換為自己環(huán)境中的名稱。

⒏ 使用恰當(dāng)?shù)哪_本配置 Docker 客戶端。env.sh 可以在 Linux 和 Mac 上使用,env.ps 和 env.cmd 可以在 Windows 上使用。

運(yùn)行腳本需要管理員 /root 權(quán)限。示例在 Windows 和 Linux 上均可以執(zhí)行。

$ eval "$(<env.sh)"

此時(shí),客戶端節(jié)點(diǎn)配置已經(jīng)完成。

⒐ 測(cè)試權(quán)限。

$ docker version

<Snip>

Server:
Version: ucp/2.2.5
API version: 1.30 (minimum version 1.20)
Go version: go1.8.3
Git commit: 42d28d140
Built: Wed Jan 17 04:44:14 UTC 2018
OS/Arch: linux/amd64
Experimental: false

注意到輸出中的 Server 部分顯示其版本為 ucp/2.2.5,這就說(shuō)明 Docker 客戶端已經(jīng)成功連接到 UCP 節(jié)點(diǎn)的 daemon 了。

實(shí)際上,腳本共配置了 3 個(gè)環(huán)境變量:DOCKER_HOST、DOCKER_TLS_VERIFY 和 DOCKER_CERT_PATH。

DOCKER_HOST 將客戶端指向了遠(yuǎn)端位于 UCP 控制層中的 Docker daemon。比如 DOCKER_HOST=tcp://34.242.196.63:443,可以看到,是通過 443 端口訪問的。

DOCKER_TLS_VERIFY 設(shè)置為 1,告訴客戶端使用 TLS 認(rèn)證的客戶端模式。DOCKER_CERT_PATH 告訴 Docker 客戶端綁定證書的具體位置。

最終結(jié)果就是所有 Docker 命令都會(huì)在客戶端使用用戶證書簽名,然后經(jīng)由網(wǎng)絡(luò)發(fā)送到遠(yuǎn)端的 UCP 管理節(jié)點(diǎn),如下圖所示。

UCP 備份

首先并且最重要的是,高可用(HA)并不等價(jià)于備份!

思考下面的例子。有一個(gè)包含 5 個(gè)管理節(jié)點(diǎn)的 UCP 集群。所有管理節(jié)點(diǎn)都處于健康狀態(tài),并且控制平面開啟了復(fù)制功能。某個(gè)心懷怨恨的員工對(duì)集群進(jìn)行破壞(或者刪除了全部用戶賬戶)。破壞操作會(huì)復(fù)制到全部 5 個(gè)管理節(jié)點(diǎn),導(dǎo)致集群被破壞。這種場(chǎng)景下 HA 沒有絲毫幫助。此時(shí)需要的,是備份!

一個(gè) UCP 集群主要由 3 個(gè)部分構(gòu)成,也是需要分別備份的內(nèi)容:Swarm、UCP 和 Docker 可信鏡像倉(cāng)庫(kù)服務(wù)(DTR)。

接下來(lái)會(huì)展示如何完成 Swarm 和 UCP 的備份,有關(guān) DTR 備份的內(nèi)容本章會(huì)在稍后進(jìn)行介紹。

雖然 UCP 位于 Swarm 上層,但是它們是互相獨(dú)立的。Swarm 維護(hù)了全部節(jié)點(diǎn)關(guān)系、網(wǎng)絡(luò)以及服務(wù)定義。UCP 在其上層構(gòu)建,維護(hù)自己的數(shù)據(jù)庫(kù)和卷存儲(chǔ)來(lái)記錄用戶、組、授權(quán)、Bundle、許可證文件、認(rèn)證等信息。

一起來(lái)看一下如何進(jìn)行 Swarm 備份。

Swarm 配置和狀態(tài)保存在 /var/lib/docker/swarm 中,其中包含了 Raft 日志密鑰,并且會(huì)復(fù)制到每個(gè)管理節(jié)點(diǎn)。Swarm 備份就是復(fù)制該目錄下的所有文件。

因?yàn)樵撔畔?huì)復(fù)制到每個(gè)管理節(jié)點(diǎn),所以用戶可以在任何管理節(jié)點(diǎn)上進(jìn)行備份。

備份時(shí)需要在待執(zhí)行備份操作的節(jié)點(diǎn)上停止 Docker。這意味著在主管理節(jié)點(diǎn)上執(zhí)行備份操作不是一個(gè)好的選擇,因?yàn)檫@樣會(huì)導(dǎo)致重新選主。

執(zhí)行備份時(shí)最好選擇在業(yè)務(wù)的低峰期進(jìn)行,雖然對(duì)于擁有多管理節(jié)點(diǎn)的 Swarm 來(lái)說(shuō),停止某個(gè)管理節(jié)點(diǎn)并不會(huì)出現(xiàn)問題,但這種操作還是會(huì)增加集群在另一管理節(jié)點(diǎn)宕機(jī)時(shí)出現(xiàn)高可用有效節(jié)點(diǎn)數(shù)不足的情況。

在執(zhí)行備份前,創(chuàng)建一些 Swarm 對(duì)象可以驗(yàn)證備份和回滾操作是否確實(shí)生效了。示例中待備份的 Swarm,擁有一個(gè)名為 vantage-net 的覆蓋網(wǎng)絡(luò),以及名為 vantage-svc 的 Swarm 服務(wù)。

⒈ 停止待備份 Swarm 管理節(jié)點(diǎn)上的 Docker。這樣會(huì)停止該節(jié)點(diǎn)上的全部 UCP 容器。如果 UCP 配置了 HA,則其他管理節(jié)點(diǎn)會(huì)保證控制平面處于可用狀態(tài)。

$ service docker stop

⒉ 備份 Swarm 配置。示例使用 Linux tar 工具來(lái)執(zhí)行文件復(fù)制??呻S意選擇其他工具。

$ tar -czvf swarm.bkp /var/lib/docker/swarm/
tar: Removing leading `/' from member names
/var/lib/docker/swarm/
/var/lib/docker/swarm/docker-state.json
/var/lib/docker/swarm/state.json
<Snip>

⒊ 確認(rèn)備份文件存在。

$ ls -l
-rw-r--r-- 1 root root 450727 Jan 29 14:06 swarm.bkp

備份文件的保存周期需要視公司具體的備份策略而定。

⒋ 重啟 Docker。

$ service docker restart

現(xiàn)在 Swarm 備份完成,是時(shí)候備份 UCP 了。在開始 UCP 備份前,需要注意如下幾點(diǎn)。

因?yàn)?UCP 備份任務(wù)以容器方式運(yùn)行,所以如果想進(jìn)行備份,需要 Docker 保持運(yùn)行狀態(tài)。

可以在集群中的任意一臺(tái) UCP 管理節(jié)點(diǎn)上運(yùn)行備份,并且只需要在一個(gè)節(jié)點(diǎn)上運(yùn)行即可(UCP 復(fù)制功能會(huì)將配置信息復(fù)制到全部管理節(jié)點(diǎn),所以沒有必要備份多節(jié)點(diǎn))。

對(duì) UCP 進(jìn)行備份會(huì)停止所在管理節(jié)點(diǎn)上的全部 UCP 容器。在該前提下,備份操作需要運(yùn)行在一個(gè)高可用 UCP 集群上,并且最好是在業(yè)務(wù)低峰期運(yùn)行。

自始至終,執(zhí)行備份的管理節(jié)點(diǎn)上的用戶工作負(fù)載并不會(huì)停止。但是,并不建議在 UCP 管理節(jié)點(diǎn)上執(zhí)行用戶工作負(fù)載。

下面開始備份 UCP。在某個(gè) UCP 管理節(jié)點(diǎn)上執(zhí)行下面的命令。該節(jié)點(diǎn)的 Docker 需要保持運(yùn)行狀態(tài)。

$ docker container run --log-driver none --rm -i --name ucp \
-v /var/run/docker.sock:/var/run/docker.sock \
docker/ucp:2.2.5 backup --interactive \
--passphrase "Password123" > ucp.bkp

該命令很長(zhǎng),一起來(lái)看一下每個(gè)步驟的內(nèi)容。

第一行是標(biāo)準(zhǔn)的 docker container run 命令,讓 Docker 運(yùn)行某個(gè)容器,運(yùn)行時(shí)不開啟日志,在運(yùn)行結(jié)束后進(jìn)行刪除,同時(shí)調(diào)用 ucp;第二行將 Docker socket 掛載到容器中,這樣容器可以通過訪問 Docker API 來(lái)停止運(yùn)行;第三行是告訴 Docker 在容器內(nèi)基于 docker/ ucp:2.2.5 鏡像運(yùn)行 backup --interactive 命令;最后一行創(chuàng)建了名為 ucp.bkp 的加密文件,并且用密碼進(jìn)行安全保護(hù)。

下面是值得注意的幾點(diǎn)。

指定具體的 UCP 鏡像版本(標(biāo)簽)是一個(gè)好辦法,示例中指定為 docker/ucp:2.2.5。這樣做是因?yàn)檫M(jìn)行備份和恢復(fù)操作的時(shí)候,建議使用相同版本的鏡像。如果沒有顯示指定鏡像版本,Docker 會(huì)默認(rèn)使用標(biāo)簽為 latest 的鏡像,這可能導(dǎo)致執(zhí)行備份和恢復(fù)操作時(shí)鏡像版本存在差異。

每次備份都應(yīng)當(dāng)使用 --passphrase 來(lái)保護(hù)備份內(nèi)容,此外可以改進(jìn)示例中的密碼,使其對(duì)用戶更加友好。

建議根據(jù)用戶的備份要求對(duì)備份文件進(jìn)行目錄化管理,并保存一個(gè)離線備份。此外建議配置備份計(jì)劃和對(duì)應(yīng)的檢查任務(wù)。

現(xiàn)在已經(jīng)完成了 Swarm 和 UCP 的備份,可以在災(zāi)難性事件發(fā)生后安全地進(jìn)行恢復(fù)了。

恢復(fù) UCP

在介紹恢復(fù) UCP 之前,有句話不得不提前說(shuō)明:從備份進(jìn)行恢復(fù)是最后的手段,只能在整個(gè)集群都宕機(jī)或者全部管理節(jié)點(diǎn)都丟失的情況下使用!

如果 HA 集群下僅丟失某個(gè)管理節(jié)點(diǎn),并不需要從備份進(jìn)行恢復(fù)。該情況下,很容易就能創(chuàng)建新管理節(jié)點(diǎn)并加入集群。

下面會(huì)先介紹如何從備份恢復(fù) Swarm,然后是 UCP。

在欲恢復(fù)的 Swarm/UCP 管理節(jié)點(diǎn)上執(zhí)行下面的任務(wù)。

⒈ 停止 Docker。

$ service docker stop

⒉ 刪除全部已存在的 Swarm 配置。

$ rm -r /var/lib/docker/swarm

⒊ 從 Swarm 備份中恢復(fù)配置信息。

示例中使用了名為 swarm.bkp 的壓縮文件,格式為 tar。該命令需要指定恢復(fù)到根目錄下,因?yàn)閭浞菸募鈮簽樵嘉募牟僮髦袝?huì)包含全路徑信息。

$ tar -zxvf swarm.bkp -C /

⒋ 初始化新的 Swarm 集群。

切記,當(dāng)前執(zhí)行的操作并不是恢復(fù)某個(gè)節(jié)點(diǎn)然后重新加入集群。該操作是恢復(fù)一個(gè)不可用的 Swarm 集群,其中不包含任何存活的管理節(jié)點(diǎn)。--force-new-cluster 參數(shù)告訴 Docker 創(chuàng)建新集群,使用的配置保存在當(dāng)前節(jié)點(diǎn) /var/lib/docker/swarm 目錄下。

$ docker swarm init --force-new-cluster
Swarm initialized: current node (jhsg...3l9h) is now a manager.

⒌ 檢查網(wǎng)絡(luò)和服務(wù)是恢復(fù)操作中的一部分。

$ docker network ls
NETWORK ID NAME DRIVER SCOPE
snkqjy0chtd5 vantage-net overlay swarm

$ docker service ls
ID NAME MODE REPLICAS IMAGE
w9dimu8jfrze vantage-svc replicated 5/5 alpine:latest

至此,Swarm 集群完成恢復(fù)。

⒍ 為 Swarm 集群增加新的管理節(jié)點(diǎn)和工作節(jié)點(diǎn),并刷新備份。

在恢復(fù) Swarm 之后,可以恢復(fù) UCP。在示例中,UCP 備份到了當(dāng)前目錄下名為 ucp.bkp 的文件中。雖然文件名是備份文件,但其本質(zhì)是一個(gè) Linux 打包工具。

在欲恢復(fù) UCP 的節(jié)點(diǎn)上執(zhí)行下面的命令。該節(jié)點(diǎn)可以是剛剛執(zhí)行 Swarm 恢復(fù)操作的節(jié)點(diǎn)。

⒈ 刪除已經(jīng)存在并且可能崩潰的 UCP 安裝。

$ docker container run --rm -it --name ucp \
-v /var/run/docker.sock:/var/run/docker.sock \
docker/ucp:2.2.5 uninstall-ucp --interactive

INFO[0000] Your engine version 17.06.2-ee-6, build e75fdb8 is compatible
INFO[0000] We're about to uninstall from this swarm cluster.
Do you want to proceed with the uninstall? (y/n): y
INFO[0000] Uninstalling UCP on each node...
INFO[0009] UCP has been removed from this cluster successfully.
INFO[0011] Removing UCP Services

⒉ 從備份中恢復(fù) UCP。

$ docker container run --rm -i --name ucp \
-v /var/run/docker.sock:/var/run/docker.sock \
docker/ucp:2.2.5 restore --passphrase "Password123" < ucp.bkp

INFO[0000] Your engine version 17.06.2-ee-6, build e75fdb8 is compatible
<Snip>
time="2018-01-30T10:16:29Z" level=info msg="Parsing backup file"
time="2018-01-30T10:16:38Z" level=info msg="Deploying UCP Agent Service"
time="2018-01-30T10:17:18Z" level=info msg="Cluster successfully restored.

⒊ 登錄 UCP Web 界面,確認(rèn)之前創(chuàng)建的用戶還存在(或者是任何之前環(huán)境中存在的 UCP 對(duì)象)。

全部教程
国产精品自拍亚洲春色| 亚洲国产aⅴ成人精品无吗| 中文字幕 日韩在线播放| 精品熟女后入一区二区三区| 久久精品国产亚洲a| 亚洲综合欧美熟一区| 97视频人人人人人性| 人妻a∨在线中文字幕| 96人妻一区=区三区| 日韩欧美在线一区二区在线| av大片在线观看免费| 青青草精品视频在线免费观看| 欧美亚洲天堂不卡视频| 熟女免费在线观看视频 | 欧洲av,亚洲av| av网址大全在线播放| 亚洲免费淫网站在线观看| 午夜剧场欧美一区二区| 嗯~啊~好舒服在线观看| 日韩无码成人电影一区二区| 国产在线免播放器不卡| 成人福利视频一区二区| 天天操天天摸天天摸| 久久精精品久久久噜噜| 国产91精品久久久久高潮| 亚洲综合另类小说色区色噜噜,| 女人扒开逼逼让男人操| 人妻寝取少妇乱中文字幕| 精品欧美一亚洲精品午夜| 新婚人妻聚会被中出| 欧美精品乱码久久久久久| 五月婷婷丁香花激情网| 91久久精品视频91| 伊人青青青在线观看| 国产一区精品在线观看免费| 五月天中文字幕剧情在线| 亚洲欧美动漫卡通 另类| 精品视频在线视频精品| 999热这里只有精品视频| 99精产国品一二三产区网站| 青青操在线视频精品| 欧美一区二区三区乱轮| 狠狠操操操操操操操操操操| 93乱子伦国产乱子伦| 欧美大黑硬鸡巴操骚肥湿逼| 日日躁夜夜躁狠狠久久av| 超碰超碰超碰超碰超碰情侣| 98视频在线免费观看| 亚洲 网友 在线 观看| 亚洲另类熟女国产精品老| 国产精品啊啊啊不要在线观看| 久精彩视频免费观看| 福利视频在线免费观看伦理| 午夜精品福利一区二区三区p | 免费阿v视频在线播放| 性感的人妻在线观看| 久久精精品久久久噜噜| 国模视频写真一区二区| 亚洲国产欧美一区二区三区久久 | 午夜福利精品视频在线观看| 另类图片亚洲图区第一页| 五月激情四射丁香婷婷激情四射 | 美女的逼让男人桶的视频| 超碰chaopeng 国产| 99久在线精品99re8热视频| 国产超碰人人爽人人做夜色资源| 精产国品一二三产区999| 操白嫩人妻少妇真爽视频| 色吊最新在线视频免费观看| 91久久香蕉国产熟女| 亚洲妇熟xxxx妇色黄网站| 日韩一区二区视频在线看| 99国国视频在线播放| 国产精品久久久久白浆| 成人熟女一区二区三区| 91久久香蕉国产熟女| 中文字幕国产电影在线观看| 99,九九,久久精品| 亚洲一区二区三区免费| 久久精品国产二区AV无码| 中文字幕久久精品亚洲乱码| 免费观看日本黄页网站| 亚洲中文字幕av在线播放| 熟女人妻av中文字幕| 欧洲野外激情性视频| 亚洲欧美另类激情综合区动漫| 鸡巴操进我的小穴欧美国产 | 精品欧美一亚洲精品午夜| 91精品在线播放hd| 亚洲 欧洲 国产 麻豆| 一区二区三区欧美高清| 女人扒开逼逼让男人操| 成人熟女一区二区三区| aaa222男人天堂| 久久人人爽人人爽人人亚洲| 东游记中文字幕版哪里可以看到| 久久精品在线观看免费视频| 亚洲伊人av 综合福利| 国产午夜在线免费视频| 四川操bb操bb操b| av在线播放网站资源| 国产九九视频在线观看| 欧美黑人天天干夜夜操| 中文在线字幕第一页| 真人同房直接做视频免费| 最新天堂一区二区三区| 青青草手机视频在线观看| 国产一级免费黄色录像片| 天天摸天天干天天插天天操| Av资源站中文字幕| 可以免费看啪啪啪的网站| 国产专区视频在线观看免费| 黑人熟女一区二区三区| 午夜福利精品视频在线观看| 不卡精品国产_亚洲人成在线| 亚洲一区二区三区免费| 天天色天天爱天天日| 大香蕉人妻少妇av| fc2精品成人免费观看| 久久性视频不卡网站| 少妇内射的视频一区二区| 婷婷av一区二区三区7| 精品国产污污免费网站aⅴ17| 一级白丝美女久久久久| 深夜亚洲精品免费福利你懂的| 午夜精品久久99蜜桃| 伊人青操在线观看视频网站| 长久久久久一区二区高清| 在线观看av久久久| 不卡一区二区啪啪视频| 啪啪啪在线播放视频| 欧美一区二区蜜桃视频| 风间由美亚洲一区二区三区| 51日日夜夜精品视频| 欧美一级特黄aaaaaa片| 美女极品美女福利视频在线| 久久草大香蕉在线视频| 丝袜美腿国产在线观看| 久久精品在线观看免费视频| 国产成人一区二区三区久| 日韩欧美在线一区二区在线| 日本av都是真做吗| 精品无人区高清免费看| 未满18禁止入内免费视频| 欧美一区,二区三区高清视频| 亚州 欧美日韩人妻熟女| 亚洲一区二区三区免费 | 亚洲一区二区三区免费| 人妻寝取少妇乱中文字幕| 亚洲欧美在线x视频| 精品视频在线视频精品| 国产91精品久久久久高潮| 2012在线国语中文字幕| 99久久精品美女高潮喷水| 东北老熟女疯狂作爱视频| 亚洲熟妇av一区二区蜜桃第1集| 在线观看成人激情av| 日韩av在线区二区| 色淫骚色色色色色色美女| 亚洲自偷自拍另类18p| 成人福利电影免费网址| 国产精品视频白浆免费网站| 三级黄色亚洲成人av| 久操av在线免费观看| 999热这里只有精品视频| 黄色性网站免费观看| 亚洲综合精品推荐69堂| 在线视频你懂的视频| av中文字幕在线播放| 97人妻碰碰碰久久久| 国产综合av免费观看| 嗯嗯嗯啊啊啊不要好爽视频| 亚洲欧美另类专区第一页| 亚洲国产欧美一区二区三区久久| 免费在线观看视频色播| 蜜臀 av一区二区| 国产精品亚洲综合视频| 97国产在线精品观看| 老司机免费福利视频网| 91精品国产综合久久婷婷香蕉| 国产麻豆在线av| 爆操嫩逼黑丝袜美女小骚逼| 亚洲天堂精品区三区二区一区| 99久久999久久久hd| 亚洲成av中文字幕| 亚洲自偷自拍另类性受不了 | 长久久久久一区二区高清| 国产又大又粗又硬又爽视频| 4个黑人操素人视频网站精品91| 婷婷色综合久久五月天| 操白嫩人妻少妇真爽视频| 欧美黄色免费在线网站| 97超级碰最新在线视频| 二根鸡巴日一个穴视频| 好的一级毛片免费毛片直播| 自拍偷拍 中文字幕 日韩| 青青草精品视频在线免费观看| 亚洲伊人av 综合福利| 美女吃鸡巴黑料破处自慰| 欧美日韩综合在线免费观看| 亚洲伊人av 综合福利| 丝袜美腿视频诱惑亚洲| 天天色天天干天天操| 操女人下阴黄色一级视频| 狠狠躁日日躁夜夜躁视频| 色欲天天天久久久综合| 97人妻人人做人碰人人爽一| 亚洲综合欧美熟一区| 久久久久久久国产精品人妻| 日本a爱视频二区三区| 熟女人妻av中文字幕| 五月婷婷免费在线观看视频| 大秀视频一区二区三区| 老男人久久青草av高清| 亚洲图片,自拍偷拍网| 亚洲偷偷自拍视频网| 国产av综合av国产精品| 国产又粗又猛又爽又色视频| 青青热久免费精品视频21| 成人性生交大免费三人| 女人张开双腿让男人捅视频| 日本老熟妇色狠狠一区| 亚洲精品**不卡在线播he| 亚洲无码精品中的精品| 欧美精品黑人粗大破除| 国产粉嫩粉嫩的在线18观看| 丝袜制服 亚洲 国产 91| 日韩欧美一区久久久久久| 亚洲福利导航在线视频| 超碰在线观看97视频| 国产一级二级三级亚洲| 熟女免费在线观看视频| 不卡黄色免费在线观看| 亚洲av综合久久久久久| 啊啊啊操死我轮操视频免费| 亚洲av一区视频在线观看| 少妇人妻不满足中文字幕| 少妇人妻中文字幕专区视频| 极品国模sm镣铐调教| 国产av在线一区二区| av国产在线观看网站| 91精品人妻中文字幕| 91精品人妻一区二区三区水蜜桃| 大香蕉伊人免费在线| 97色 国产精品综合| 在线观看免费黄片欧美| 日本一区二区不卡电影| 一区二区三区精品视频| 中文字幕一区三区二区国产黄色| 色吊最新在线视频免费观看| 69精品人妻一区二区| 久久精品视频全部视频在线| 天天干夜夜操日日操| 未满18禁止入内免费视频| 怡红院精彩视频在线观看| 天天日天天添天天爽| 国产亚洲精品天堂在线观看| 亚洲欧美伦理一区二区| 亚洲av欧美av在线播放| 农村女人91熟女熟妇| 天天操天天操天天干天天| 国产日视频在线观看| 国产盗摄女子私密保健视频| 大香蕉伊人免费在线| 都市激情校园春色av| 男生的天堂亚洲男人| 天天日天天色天天摸| 精品久久久久aⅴ一区二区| 亚洲人成青青操免费观看| 91 chinese 在线播放| 阿v视频在线观看免费播放| 人妻久久免费视频中文字幕| 亚洲小说区图片另类春色| 新婚人妻聚会被中出| 综合久久天天搞天天]| 人妻天天操avxx| 亚洲,自拍,中文,另类| 韩日一级片中文字幕| 微拍一区二区在线观看| 成人午夜伦理在线观看| 亚洲国产中文字幕在线视频| 好男人资源在线视频观看社区| 国产午夜在线免费视频| 91精选视频在线播放| 久久综合色——久久综合色88| 国产精品欧美日韩久久久免费观看| 天天日……天天操……天天喷| 久久这里精品视频3| 91九色在线视频网站| 91亚洲国产成人久久| 狂野小农民在线高清| 超碰chaopeng 国产| 98资源站精品视频在线观看| 免费成人中文字幕电影| 天天色天天情天天透| 人妻熟妇丰满不伦一区二区三区| 久久精品国产亚洲AV牛牛影视| 狠狠操 在线视频 轻轻草| 欧洲av,亚洲av| 视频在线播放一区二区| 91jk麻豆美女丝袜诱惑| 日韩av在线区二区| 亚洲久久久久久久久久久久久久 | 天天碰天天摸人人看| av手机在线免费播放| 女人扒开逼逼让男人操| 骚白虎插入在线观看| 成年女人毛片免费在线播放| 亚洲久久久久久久久久久久久久| 国产又粗又长又黄视频| 亚洲福利导航在线视频| 人妻熟女一区二区aⅴ佐佐木明希| 公一区二区三区高清99| 91免费观看国产精品| 91久久精一区二区三区大全| 人人妻人人澡人人爽电台app| 亚洲国产精品av久久久| 亚洲av网站在线免费观看| 182tv在线福利视频| 一区二区三区精品视频| 亚洲av永久久久久久久蜜桃 | 日韩欧美亚洲一区第一| 亚洲自偷自拍另类18p| 熟女一区二区三区四区五区视频| 91表用白丝脚帮我脚交| 9色自拍视频在线观看| 在线观看小视频国产| 久久91精品国产91久久分享| 国产成人午夜精品视频| 精品视频在线观看久久| 日韩毛片基地免费看| 青青操在线视频精品| 2020中文字幕在线播放| 1777中文字幕字幕在线播放 | 一级黄色片美女吃春满| 在线观看成人激情av| 国产九九视频在线观看| 一区二区三区四区不卡在线观看 | 91人妻人人做人人爽九色全集| 我用力操你在线视频| 婷婷色综合久久五月天| 精品人妻欧美一区二区| 色视频免费在线观看视频| 国产亚洲精品天堂在线观看| 天天日……天天操……天天喷| 东方av在线免费进入| 在线免费观看欧美激情视频| www国产亚洲天堂| 亚洲精品**不卡在线播he| 国产亚洲精品电影aa在线观看| youtube视频字幕中文| 99麻豆精品国产自产在线观看| 国产精品精品3d动漫| 五月色婷婷在线视频| 人妻熟妇丰满不伦一区二区三区| 欧美 激情 另类 自拍| 国产情侣激情在线对白| 伊人情人综合成人久久网小说| 免费观看视频一区二区三区| 久精彩视频免费观看| 国产熟女一区二区三区四| 在线观看高清日韩av| 亚洲国产aⅴ成人精品无吗| 新超碰97在线观看| 污污污视频在线观看91| 超碰人妻中文字幕在线| 人妻天天爽夜夜爽麻豆av| 中文一区二区三区精品视频| 熟女一区二区三区四区五区视频 | 天堂av在线中文在线新版| 白峰美羽在线观看av| 日韩加勒比东京热二区| 婷婷丁香花综合激情五月天| 亚洲女同性同志熟女女同| 国产一线女人天堂av| 天天日天天透天天操| 操人妻免费视频观看| 正宗欧美在线观看一区二区| 亚洲av福利片久久久久| 日本vvvv操操操| 一级白丝美女久久久久| 99久久夜色精品国产亚洲软件| 制服丝袜诱惑综合网| 免费一级黄色片麻豆系列| 福利视频在线免费观看伦理| 男人的坤插进女人的屁股里的视频 | 日本黄页网络站免费| 亚洲熟妇色在线观看| 大秀视频一区二区三区| 隔壁老王国产在线观看| 久草视频免费在线视频观看| 亚洲日本欧洲一区二区| 鸡巴操进我的小穴欧美国产| 亚洲综合精品推荐69堂| 嗯嗯嗯啊啊啊不要好爽视频| 国产一区三区四区五区| 成人黄色大全在线观看| 勾引小哥鸡巴操逼视频下载| 五月婷婷免费在线观看视频| 黄片免费观看久久av| 欧美激情在线观看新地址| xxxx在线免费观看视频| 久久三级片一区二区毛片| 亚洲自偷自拍另类18p| 欧美激情在线观看新地址| 国产视频精品在线免费观看| 欧美久久久久亚洲综合| av一av一av中文字幕| 偷拍自拍视频图片免费| 亚洲女同性同志熟女女同| 丰满雪白人妻人爽16av精品| 久久精品国产9久久综合| 日本vvvv操操操| 97免费人妻超碰97在线| 精品视频在线观看久久| 国产极品尤物粉嫩泬在线观看| 午夜福利久久久国产视频| 99精品老司机免费视频| 超碰人人澡人人碰人人| 二根鸡巴日一个穴视频| 适合黄黑皮的显白发色| 国产精品亚洲综合av| 久久性视频不卡网站| 欧美激情性4一级完整版| 日本熟妇丰满厨房55| 丝袜av在线丝袜av天堂国产| 91福利精品一区二区| 一区二区人妻丝袜粉嫩| 播放灌醉水嫩大学生国内精品| 亚洲日产av一区二区在线| 自拍偷拍 中文字幕 日韩| 久久精精品久久久噜噜| 女人被男人阳具抽插的呻吟视频| 日韩欧美亚洲在线第一页| 超碰在线观看97视频| 国产精品啊啊啊不要在线观看| 中文字幕永久在线一区二区| 五月天中文字幕剧情在线| 91老熟女连续高潮对白| 丝袜美腿国产在线观看| 国产mm视频在线观看| 9797人人妻人人澡| 玩弄放荡人妻少妇精品| 少妇高潮尖叫久久久久| 天天色天天操综合网| 18人妻人碰人人做人人爽| 中文字幕国产电影在线观看| 亚洲永久av午夜福利| 大肉大捧一进一出免费视频网址| 人妻少妇精品专区一二三| 人妻中文字幕在线视频免费观看| 92免费视频人妻网| 黄色污污污网站免费观看| 黄色av免费下载软件| 正宗欧美在线观看一区二区| 丰满人妻被猛烈进入中文字幕四川 | 成av一区二区三区久久| 亚洲视频专区在线播放| 亚洲一区二区综合网| 91久久综合九色综合欧美98| 亚洲国产精品日日夜夜| 亚洲人成亚洲人成在线观看com| 天天日天天透天天操| 91精品国产国语自拈产在| 久操av在线免费观看| 涩涩网站在线观看视频| 2020精品国产自在现线官网 | 午夜在线看1000集| av一av一av中文字幕| 欧美熟妇亚洲中文不卡少妇 | 欧美精品第5页在线观看视频| 欧美视频一区二区三区在线观看| 大香蕉97精品一区二区三区| 深夜亚洲精品免费福利你懂的| 午夜在线小视频在线观看| 亚洲中文字幕在线成人| 漂亮的人妻不敢呻吟被中出| 正宗欧美在线观看一区二区| 一区二区三区国产精选在线播放| 婷婷综合尤物精品国产| 大鸡巴操的好爽好舒服啊视频| 农村女人91熟女熟妇| 91大神视频在线观看视频| 可以免费看啪啪啪的网站| 亚洲欧洲自拍他拍av| 91久久精一区二区三区大全| 成人免费视频国产免费麻豆下 | 日韩国产亚洲在线视频| 欧美午夜不卡一区二区三区| 免费直接观看的麻豆黄色| 天天射天天日天天干天天舔| 久精彩视频免费观看| 亚洲欧美日韩不卡人妻中文字幕| 在线91精品亚洲网站精品成人| 精品国产日韩一区三区| 老男人久久青草av高清| 四川熟女a一区二区三区| 亚洲精品国偷自产久色| av大片在线观看免费| julia 人妻中文字幕| 俄罗斯第一次处破女| 99精品视频中文字幕| 在线观看av久久久| 亚洲永久av午夜福利| yy111111少妇蜜桃| 日本a爱视频二区三区| lisaann在线观看| 国产成人a一区二区| 十分钟在线观看视频| 亚洲国产久久久久久| 日本黄色操碌缬巴| 精品熟女后入一区二区三区| 91大神视频在线观看视频| 北条麻妃制服丝袜在线播放| 熟女人妻人妻のhd| 长久久久久一区二区高清| 97免费人妻超碰97在线| 亚洲 网友 在线 观看| 男生日女生逼的视频| 欧美一级黄片视频免费| 天天插天天摸天天爱| 亚洲无码成人福利视频| 亚洲日产av一区二区在线| 久国产一二三区四区乱码2021| 午夜三级影片免费播放| 国产国语露脸在线视频播放| 大肉大捧一进一出免费视频网址| av乱亚洲一区二区三区 | 亚洲,自拍,中文,另类| 日韩资源在线中文字幕| 最新亚洲成人黄色片| 大香蕉大香蕉在线播放| 黄色污污污网站免费观看| 日本 久久久 香蕉| 浪荡人妻共32部分黑人| 天天操天天日天天啪| 午夜福利免费福利视频| 69精品人妻一区二区| 久久亚洲日本精品视频| 18人妻人碰人人做人人爽| 可以在线观看的黄色网页| 大鸡巴操的好爽好舒服啊视频| 亚洲精品专区一区二区| 欧美最猛黑人xxxx黑人猛交文| 欧美在线播放一二区不卡| 天天舔天天做天天爱| 操日本裸体美女骚逼| 大鸡巴操的好爽好舒服啊视频| 亚洲美女乱1区2区3区| 免费成视频人免费91| 熟女吧国产精品一区二区三区| 精品一区二区三区四区激情| 亚洲欧洲自拍他拍av| 婷婷色综合久久五月天| 男生用大鸡巴捅女生的视频| 性感丝袜美女诱惑大鸡吧| 91精品人妻一区二区三区水蜜桃| 国产欧美日韩经典一区| 国产国语露脸在线视频播放| 青青草原亚洲精品在线观看| 国产精品精品3d动漫| 色片免费在线观看喷水| 十八禁视频一区二区三区四区| 五月天免费在线观看| 男人插女人逼app| 久久亚洲伊人99精品影院| 在线人妻视频网站免费| 亚洲高清中文字幕在线的| 五月天免费在线观看| 免费av区在线观看| 91高清免费观看在线| 亚洲av好看xx站| 五月天亚洲精品综合网| 久久精品国产二区AV无码| 欧美黑人天天干夜夜操| 91高清免费观看在线| 久操视频精品在线观看| 国产精品啊啊啊不要在线观看| x8x8免费在线观看视频| 欧美熟妇亚洲中文不卡少妇| 古典武侠校园春色亚洲| 亚洲免费观看小视频| 成人教育 在线学习| 欧美日韩综合在线免费观看| av网站在线免费浏览| 国模视频写真一区二区| 可以直接在线观看的一区| 精品视频在线视频精品| 五月婷婷综合久久久| 人妻天天爽夜夜爽麻豆av| 精品熟女后入一区二区三区| 人妻寝取少妇乱中文字幕| 成人麻豆免费视频精品区| 蜜臀 av一区二区| 美女 激情 欧美 日韩| av在线手机观看一区二区三区| 未满18禁止入内免费视频| 亚洲一区二区三区免费 | 98资源站精品视频在线观看| 成人在线视频国产自拍| 亚洲综合精品推荐69堂| 久草视频免费在线视频观看| 91国内精品视频在线| 精品99久久久久久www| 自拍分享国产亚洲欧美| 亚洲欧美动漫卡通 另类| 久久久老熟女一区二区| 美女极品美女福利视频在线| 国产高清免费在线视频| 欧美激情在线观看新地址| 韩日一级片中文字幕| 日本电影高清一区二区| 天堂av在线中文在线新版| 国产高清免费在线视频| av网址大全在线播放| 亚洲一区二区三区免费| 未满18禁止入内免费视频| 91久久综合九色综合欧美98| 丰满雪白人妻人爽16av精品| 狠狠躁日日躁夜夜躁2| 寂寞少妇一区二区三区| 国产免费av不卡免费| 中文有码一区二区三区| 日本中文字幕人妻一区二区| 色婷婷亚洲久久97成人| 久久草大香蕉在线视频| 福利视频国产在线在线观看| 一区二区中文字幕18| av精选一区二区久久| 国产传媒网址在线观看| 欧美久久久久亚洲综合| 勾引小哥鸡巴操逼视频下载| 国产喷水在线免费观看| 国产在线视频国产资源| 亚洲精品超熟女av| 十分钟在线观看视频| 久久久久久久久毛片精品奶炮| fc2精品成人免费观看| 日韩三级中文字幕熟女| 91在线免费观看成人| 午夜福利啪啪视频免费看| 午夜精品久久99蜜桃| 99精品国产自在现线观看| 久久久国产视频91| 亚洲一级免费av黄色打炮片| 精品一区二区三区四区激情| 性感美女一区二区美女| 成人教育 在线学习| 五月天免费在线观看| 亚洲精品1234区在线看| 一级女人色又黄毛片女人| 亚洲精品国偷自产久色| 国产高清免费在线视频| 国产剧情星空无限传媒| 亚洲欧美一区二区精华液| 亚洲另类熟女国产精品老| 亚洲人人妻一区二区三区| 国产美女高清免费av| 欧美av色香蕉一区二区小说| 日本公与妇电影三级| 91久久香蕉国产熟女| 韩日一级片中文字幕| 91在线免费观看成人| 大香蕉大香蕉在线播放| 欧美 日韩 中文 字幕| 亚洲男人天堂111117av| 亚洲精品久久久久久久久久蜜桃 | 亚洲av综合久久久久久| 99久久香蕉国产线看| 69 久久99精品久久久| 婷婷丁香花综合激情五月天| 日韩无码成人电影一区二区| 国产一级免费黄色录像片| 亚洲中文字幕av在线播放| 久久久亚洲精品熟妇少妇| 啪啪啪免费亚洲精品网站| 亚洲国产精品av久久久| 亚洲女同性同志熟女女同| 中文字幕 日韩在线播放| 92免费视频人妻网| 亚洲精品少妇蜜桃久久久| 国产一线女人天堂av| 国产精品视频白浆免费网站| 新超碰97在线观看| 人妻少妇精品专区一二三| 成年人中文字幕视频网| 欧美视频精品免费观看| 天天色天天操综合网| 伦人伦xxxx国语对白| 精品午夜国产福利观看| 少妇高潮精品一区二区| 91av国产在线观看| 国产专区视频在线观看免费 | 天天插天天爱天天日| 亚洲精品超熟女av| 免费观看视频一区,二区,三区 | 日本五十路六十路中出| 又黑又硬又粗又黄又猛| 99久久精品久久久久久清纯 | 亚洲成年人三级电影| 色婷婷亚洲久久97成人| 亚洲无码精品中的精品| 97偷偷碰在线视频| 掀开奶罩边吃边摸下娇喘视频| 青娱乐青青草丁香婷婷| 成人大片精品在线观看| 亚洲人人妻一区二区三区| 国产a v一区二区三区香蕉| 4455vw在线观看| 一级女人色又黄毛片女人| 99久久999久久久hd| 亚洲另类熟女国产精品老| 久久中文字幕av观看| 亚洲精品国偷自产久色| 人妻天天爽夜夜爽麻豆av| 日韩成人在线电影,| 日本高清插阴视频免费| 亚洲天堂网久久av| 人人妻人人妻人人妻精品| 亚洲 欧美在线视频| 精品熟女后入一区二区三区| 免费阿v视频在线播放| 日韩中文字幕乱码一区| aaa222男人天堂| 一区二区三区精品在线免费视频| 九九热在线这里只有精品| 女人样男人用大鸡巴操她的逼逼| 高清日本wwwcom| 欧美大长腿美女抽插网站| 国产欧美精品va在线观看| 99久久精品国产欧美一区二区| 日本中文字幕人妻一区二区 | 在线视频你懂的视频| 国产视频在线精品视频| 国产一区二区精品蜜臀av| 人妻熟女一区二区aⅴ佐佐木明希| 干 白虎 少妇 嫩 逼 视频| 欧美1234不卡视频| 在线中文字幕综合一区 | 日韩欧美亚洲一区第一| 国产精品亚洲综合视频| 大秀视频一区二区三区| 欧美 亚洲 激情 自拍| 亚洲中文字幕在线观看黑人| r人人妻人人澡人人爽| 亚洲av综合久久久久久| 不卡精品国产_亚洲人成在线| 亚洲综合久久综合网| 女人被男人阳具抽插的呻吟视频| 98资源站精品视频在线观看| 五月婷婷丁香花激情网| 欧美成人免费观看黄片| 欧美142p极品服务| 欧美xxxx视频在线| 欧美中文字幕综合在线| 中文字幕第一区久久| 美女极品美女福利视频在线| 国产黑色丝袜视频在线观看下| 国产伊人 av 自拍| 亚洲精品成人原创视频| 人人妻人人澡人人爽电台app| 久久三级片一区二区毛片| 久久中文字幕av观看| 男人插女人逼app| 亚洲天堂男人的天堂av| 亚洲成年人三级电影| 98视频在线免费观看| 少妇内射的视频一区二区| 亚洲av永久久久久久久蜜桃 | 中文字幕av网址大全| 亚洲无码成人福利视频| 十八禁视频一区二区三区四区| 男人的天堂av最新| 狠狠躁日日躁夜夜躁2| 99久久精品国产欧美一区二区| 超级碰碰碰碰碰碰碰碰碰| 日本黄页网络站免费| 亚洲性趣老熟妇高清| 日韩一区二区视频在线看| 亚洲熟妇av一区二区蜜桃第1集| 美女主播大奶子黄瓜插逼| 久久精品亚洲国产| 美女诱惑福利在线视频| 欧美大黑硬鸡巴操骚肥湿逼| 欧美激情在线观看新地址 | 青青草手机视频在线观看| 亚洲天堂欧美中文字幕| 三级黄色亚洲成人av| 黑人精品一区a一二区b| 五月天丁香婷久久爱| 在线观看懂色精品大神视频| 超碰chaopeng 国产| 亚洲一区二区三区邪恶成人| 亚洲国产精品自拍视频在线观看| 亚洲中文字幕在线观看黑人| 成人3d动漫一区二区三区91| 福利视频国产在线在线观看| 人妻少妇精品视频专区vr| 丝袜制服 亚洲 国产 91| 老男人久久青草av高清| 青青操国产精品视频在线| 日本高清插阴视频免费| 亚洲主要位于五带中的什么带?| 久久少妇精品一区二区免费| 成年女人毛片免费在线播放| 国产成人啪精品视频免费| 国产美女遭高潮免费视频| 视频在线播放一区二区| 欧美1234不卡视频| 99久久精品免费看蜜桃的推荐词| 三上悠亚和黑人665番号| 教资是不是人人都可以考| 亚洲精品少妇蜜桃久久久| 青青操国产精品视频在线| 东方av在线免费进入| 亚洲欧美在线x视频| 鸡巴操进我的小穴欧美国产| www国产精品久久久| 国产又粗又猛又爽又色视频| 欧美在线观看一级一区二区| 偷拍亚洲另类图片视频| 天天日天天透天天操| 中字av在线一区二区中字| 中文字幕第一区久久| 欧美成年性精品三级网站| 97色婷婷久久99国产视频| 亚洲av日韩一区二区三区四区| 99久久精品久久久久久清纯| Av资源站中文字幕| 国产麻豆在线av| 99久久精品久久久久久清纯| 偷窥中国丰满多毛老熟女| www国产亚洲天堂| 久久亚洲伊人99精品影院| 亚洲综合一区二区人妻| 超级碰碰碰97免费视频97| 熟女免费在线观看视频 | 女人看了很爽的一级女毛片| 韩日一级片中文字幕| 青草视频在在线成人av| 国产三级伦理在线观看| 真人同房直接做视频免费| 伊人青操在线观看视频网站| 男人天堂在线免费观看| 91福利国产成人精品| 黄色 成年人 免费观看| 男人把女人捅爽动漫| 色婷婷亚洲久久97成人| 色男人的天堂一区二区三区| www国产亚洲天堂| 亚洲精品超熟女av| 国产高清免费在线视频| 女人张开双腿让男人捅视频| 91表用白丝脚帮我脚交| 日韩美女精品一在线观看| 久久躁夜夜躁日日躁狠狠躁| 一区二区三区四区免费福利视频| 国语对白xxxx乱大交| 亚洲av好看xx站| 国产三级伦理在线观看| 天天操天天湿天天干| 欧洲日韩视频一区二区三区| 91麻豆精品国产91久久久平台| 99久久久国产精品美女| 五月激情四射丁香婷婷激情四射| 亚洲国产精品美女久久久av| av网址大全在线播放| 欧美在线观看视频一区五区| 都市激情校园春色av| 五月天亚洲精品综合网| 色男人的天堂一区二区三区| 99久久香蕉国产线看| 中文字幕精品av在线观看| 99久久99久久免费精品蜜臀| 在线视频无码理论片| 欧美视频精品免费观看| 自拍偷拍 中文字幕 日韩| 亚洲人成小说网站色在线| 欧洲日韩视频一区二区三区| 天天摸天天干天天插天天操| 福利视频国产在线在线观看| 黄色av日韩免费在线观看| 可以免费看的黄页视频| 俄罗斯第一次处破女| 性色av一区二区三区观看| 99久久精品久久久久久清纯| av一区二区二十四小时| 欧美美女视频在线免费看| 美女被弄高潮喷水91视频9| 3D美女高跟鞋插穴| 亚洲综合精品推荐69堂| 91 chinese 在线播放| 亚洲天堂精品区三区二区一区| 亚洲视频免费观看不卡| 草逼美女逼话多的视频出水| 亚洲图片,自拍偷拍网| 午夜精品不卡视频在线观看| 黑人系列哪个最猛番号| 高清日本欧美亚洲视频| 9色自拍视频在线观看| 亚洲精品1234区在线看 | 老鸭窝最新网址在线| 93乱子伦国产乱子伦| 自拍偷拍 中文字幕 日韩| 在线观看av久久久| 91人妻精品动漫一区二区三区| 自拍偷拍 中文字幕 日韩 | 日韩欧美亚洲在线第一页| 五月激情四射丁香婷婷激情四射| 公一区二区三区高清99| 欧美色一区二区三区在线观看| 98视频在线免费观看| 99久久免费国产特黄| 人妻少妇精品专区一二三| 亚洲妇熟xxxx妇色黄网站| x8x8免费在线观看视频| 色就色欧美亚洲αv| 欧美va久久久噜噜噜久久| 男女精品久久久久久久久久| 98久久久久98久久久久| 宝贝把腿张开让我添| 久久久亚洲精品熟妇少妇| 五月激情四射丁香婷婷激情四射| 国产午夜在线免费视频| 国产白丝美女在线网站| 少妇人妻不满足中文字幕| 日日躁夜夜躁狠狠久久av| 一区二区三区欧美日韩电影| 东方av在线免费进入| 女人样男人用大鸡巴操她的逼逼| 91高清免费观看在线| 久精彩视频免费观看| 精品99久久久久久www| 国产精品啪啪啪免费网站| 亚洲免费淫网站在线观看| 五月天开心激情深爱激情| 欧美一区二区蜜桃视频| 国模视频写真一区二区| 4个黑人操素人视频网站精品91| 亚洲精品成人原创视频| 国产精品自拍亚洲春色| 亚洲欧美伦理一区二区| 成人一级黄色片免费看| 成全视频免费观看在线下载| 两个人午夜免费看视频| 最新人妻熟女中文字幕| 国产精品自拍亚洲春色| 2020中文字幕在线播放| 婷婷色综合久久五月天| 国产在线视频国产资源| youtube视频字幕中文| 天天色天天爱天天舔| 妍强被迫伦姧惨叫123| 18人妻人碰人人做人人爽| 日韩国产亚洲在线视频| 国产欧美日韩一区91| 伦人伦xxxx国语对白| 动漫av纯肉免费在线观看| 欧美亚洲三级色图网站| 午夜国产福利视频一区二区| av在线手机观看一区二区三区| av影视在线免费观看| 欧美一区视频不卡高清| 91精品国产自产在线大长腿| 亚洲高清中文字幕在线的| xfplay亚洲资源| 91精品综合国产熟女| 久久99精品国产99久久6尤| 亚洲综合欧美熟一区| 98久久久久98久久久久| 丝袜美图一区二区三区| 999在线视频一区二区三区| 国产精品啊啊啊不要在线观看| 操人妻视频在线免费观看| 国产精品爽黄69天堂ai蜜乳| 人妻天天操avxx| 久久中文字幕av观看| 三级黄色亚洲成人av| 在线观看av久久久| 91高清免费观看在线| 久久久久18精品国产乱码78m| 亚洲图片,自拍偷拍网| av在线播放网站资源| 另类图片亚洲图区第一页| 狂野小农民在线高清| 偷窥老熟女久久久av| 91精品人妻中文字幕| 99精品视频在线观看专区| 99精品私筹模特大尺度视频| 亚洲国产图片小说一区二区| 色欲天天天久久久综合| 成人在线视频国产自拍| 亚洲国产精品自拍视频在线观看| 97精品国产高清在线| 婷婷丁香花综合激情五月天| 亚洲熟妇av一区二区蜜桃第1集 | av一av一av中文字幕| 日日夜夜夜操天天干| 亚洲一区 成人在线| 亚洲av日韩一区二区三区四区| 亚洲国产精品国自产拍a∨| 91精品人妻中文字幕| 视频在线播放一区二区| heyzo久久综合色88| 人妻熟女免费一区二区萩原| 少妇的激情夜夜爽爽爽爽爽| 日韩性爱视频无码三级片| 亚洲精品免费一二三区| 在线手机免费观看视频| 国产欧美日韩一区91| www国产精品久久久| 青草视频在在线成人av| 日韩一区二区视频在线看| 欧美亚洲国产校园春色 | 一区二区三区欧美高清| mm在线视频观看免费观看| 日本很黄很黄的动态视频| 中文字幕精品av在线观看| 黄色av日韩免费在线观看| 亚洲主要位于五带中的什么带?| 国语对白xxxx乱大交| 天天碰天天摸人人看| 欧美色一区二区三区在线观看| 天天操天天色天天天| 91老熟女连续高潮对白| 免费阿v视频在线播放| 少妇高潮精品一区二区| 91九色在线视频网站| 亚洲天堂 校园春色| 天天舔天天做天天爱| 久久久激情视频网站| 国产精品亚洲综合av| 久久亚洲日本精品视频| 国产麻豆在线av| 国产欧美日韩一区91| 一区二区三区在线 日韩| 欧美日韩国产综合不卡| 男人插女人逼app| av蜜桃网在线观看| 精品少妇人妻av免费久久胖妇| 久久精品国产亚洲a| 亚洲天堂精品区三区二区一区| 精品熟女后入一区二区三区| 欧美1234不卡视频| 亚洲自拍偷拍视频二区| 亚洲av好看xx站| 欧美日韩综合在线免费观看| 中字av在线一区二区中字| 国产九九视频在线观看| 国内精品视频久久久久| 亚洲一区 成人在线| 久久久亚洲精品熟妇少妇| 日韩av一区二区三区久久| 国产一线女人天堂av| 免费成视频人免费91| 超碰超碰超碰超碰超碰超| 亚洲欧洲自拍他拍av| 午夜老司机福利一二三区| 日本a爱视频二区三区| 特黄特色大片观看免费| 午夜精品福利一区二区三区p| 欧美一级操逼啊啊啊哦哦哦| 爆操嫩逼黑丝袜美女小骚逼| 国产亚洲精品天堂在线观看| 在线观看高清日韩av| 91精品午夜呻吟xxxx| 欧美久久久久亚洲综合| 欧美大黑硬鸡巴操骚肥湿逼| 色吊最新在线视频免费观看| 在线观看成人激情av| 97电视剧在线观看免费完整版| 欧美大黑硬鸡巴操骚肥湿逼| 久久久激情视频网站| 手机在线免费视频一区二区三区| 我用力操你在线视频| 日韩资源在线中文字幕| 99精品私筹模特大尺度视频| 欧美午夜不卡一区二区三区| 97超碰在线视频观看| 久久精品国产亚洲av视瓶| 国产熟妇一区二区三区av| 97人妻碰碰碰久久久| 免费av在线中文字幕| 国产一级二级三级亚洲| 亚洲av永久久久久久久蜜桃| 人妻熟女免费一区二区萩原| 妍强被迫伦姧惨叫123| 国产伊人 av 自拍| 操日本裸体美女骚逼| 港台经典一级成人免费av| 欧美午夜不卡一区二区三区| 国内人人人妻狠狠狠操操| 欧美精品黑人粗大破除| 操女人下阴黄色一级视频| 在线观看免费黄片欧美| 好的一级毛片免费毛片直播 | 日本成人午夜电影视频| 日韩精品一区二区三区中文精| 亚洲精品一区二区三区新线路| 日韩中文字幕乱码一区| 午夜在线看1000集| 国产一级免费黄色录像片| 欧美图色 亚洲图色| 亚洲熟妇av一区二区蜜桃第1集| 人人妻人人妻人人妻人人妻人人人 | 69 久久99精品久久久| 在线手机免费观看视频| 中文在线字幕第一页| 亚洲免费淫网站在线观看| 蜜桃视频18在线观看| yy111111少妇蜜桃| 成人av影视一区在线观看| 俄罗斯第一次处破女| 玩弄放荡人妻少妇精品| 日本片免费a在线观看| 中文字幕av一区二区三区高| 亚洲人体艺术二区三区视频| 午夜三级影片免费播放| 精品99久久久久久www| 伊人精品在线大香蕉| 精品人妻欧美一区二区| 三上悠亚和黑人665番号| 国产三级伦理在线观看| 瑟瑟的网站在线观看| 日本免费播放一区二区三区| 天堂网作爱视频在线播放| 青青视频青青成人免费| 国产精品亚洲综合av| 亚洲真人性在线观看| 亚洲精品久久久久久久久久蜜桃| 亚洲精品超熟女av| 欧美一级黄片视频免费| 日本av毛片在线播放| 人妻熟女免费一区二区萩原| 日本片免费a在线观看| 不卡黄色免费在线观看| 超碰超碰超碰超碰超碰情侣| 日韩国产亚洲在线视频| 宝贝把腿张开让我添| 欧美,偷拍,另类,综合| 精品人人妻人人澡人人爽| 亚洲 网友 在线 观看| 亚洲国产精品日日夜夜| 一区二区人妻丝袜粉嫩| 日韩av中文字幕乱码| 亚洲一区 成人在线| 欧美日韩精品久久一区二区三区| 中文字幕黄色av网址| 中文字幕不卡av在线播放| 精品国产日韩一区三区| 欧美日韩无卡一二三区| 91人妻人人做人人爽九色全集| 古典武侠校园春色亚洲| 亚洲福利导航在线视频| 91 chinese 在线播放| 少妇高潮尖叫久久久久| 青青操成人免费在线视频| 免费阿v视频在线播放| 天天睡天天摸天天添天天日天天射| 国产伦精品一区二区黑人| 91大屁股人妻porn| 亚洲综合另类小说色区色噜噜,| 啊啊啊操死我轮操视频免费| 亚洲欧洲美洲无码在线| 国产剧情星空无限传媒| 精品国产污污免费网站aⅴ17| 婷婷av一区二区三区7| 182tv在线福利视频| 97超碰在线cao| 97精品国产高清在线| 久久久激情视频网站| 国产日视频在线观看| 欧美精品乱码久久久久久| 东北老熟女疯狂作爱视频| 2012在线国语中文字幕| 国产乱人伦av麻豆网| 操白嫩人妻少妇真爽视频| 亚洲天堂都市激情av| 蜜桃av在线网址观看| 国产精品亚洲综合av| 伊人大香线蕉亚洲五月天| 亚洲图片,自拍偷拍| 日日爽夜夜爽夜夜爽精品视频| 色视频免费在线观看视频| 亚洲欧美在线x视频| 亚洲欧洲美洲无码在线| 欧美黄色免费在线网站| 男女精品久久久久久久久久| m3u8在线播放91| 久久精品国产9久久综合| 色欲天天天久久久综合|