Docker Private Registry

网上有很多的Registry服务器都支持第三方用户注册，而后基于用户名去做自己的仓库，但是使用互联网上的Registry有一个缺陷，那就是我们去推送和下载镜像时都不会很快，而在生产环境中很可能并行启动的容器将达到几十、上百个，而且很有可能每个服务器本地是没有镜像的，此时如果通过互联网去下载镜像会有很多问题，比如下载速度会很慢、带宽会用很多等等，如果带宽不够的话，下载至启动这个过程可能要持续个几十分钟，这已然违背了使用容器会更加轻量、快速的初衷和目的。因此，很多时候我们很有可能需要去做自己的私有Registry。

Registry用于保存docker镜像，包括镜像的层次结构和元数据。用户可以自建Registry，也可以使用官方的Docker Hub。

Docker Registry分类：

• Sponsor Registry：第三方的Registry，供客户和Docker社区使用

• Mirror Registry：第三方的Registry，只让客户使用

• Vendor Registry：由发布docker镜像的供应商提供的registry

• Private Registry：通过设有防火墙和额外的安全层的私有实体提供的registry

事实上，如果运维的系统环境托管在云计算服务上，比如阿里云，那么用阿里云的Registry则是最好的选择。很多时候我们的生产环境不会在本地，而是托管在数据中心机房里，如果我们在数据中心机房里的某台主机上部署Registry，因为都在同一机房，所以属于同一局域网，此时数据传输走内网，效率会极大的提升。

所有的Registry默认情况下都是基于https工作的，这是Docker的基本要求，而我自建Registry时很可能是基于http工作的，但是Docker默认是拒绝使用http提供Registry服务的，除非明确的告诉它，我们就是要用http协议的Registry。

Docker Private Registry

为了帮助我们快速创建私有Registry，Docker专门提供了一个名为Docker Distribution的软件包，我们可以通过安装这个软件包快速构建私有仓库。

问：既然Docker是为了运行程序的，Docker Distribution能否运行在容器中？

容器时代，任何程序都应该运行在容器中，除了Kernel和init。而为了能够做Docker Private Registry，Docker Hub官方直接把Registry做成了镜像，我们可以直接将其pull到本地并启动为容器即可快速实现私有Registry。

Registry的主要作用是托管镜像，Registry运行在容器中，而容器自己的文件系统是随着容器的生命周期终止和删除而被删除的，所以当我们把Registry运行在容器中时，客户端上传了很多镜像，随着Registry容器的终止并删除，所有镜像都将化为乌有，因此这些镜像应该放在存储卷上，而且这个存储卷最好不要放在Docker主机本地，而应该放在一个网络共享存储上，比如NFS。不过，镜像文件自己定义的存储卷，还是一个放在Docker本地、Docker管理的卷，我们可以手动的将其改成使用其它文件系统的存储卷。

这就是使用容器来运行Registry的一种简单方式。自建Registry的另一种方式，就是直接安装docker-distribution软件。

使用docker-distribution自建Registry

在node02上自建Registry

[root@node02 ~]# yum -y install docker-distribution
[root@node02 ~]# vim /etc/docker-distribution/registry/config.yml
version: 0.1
log:
  fields:
 ? ?service: registry
storage:
 ?  cache:
 ? ? ?  layerinfo: inmemory
 ?  filesystem:
 ? ? ?  rootdirectory: /var/lib/registry ?# 修改此处为一个容量大的磁盘分区目录
http:
 ?  addr: :5000
?
[root@node02 ~]# systemctl start docker-distribution
[root@node02 ~]# ss -antl
State ? ? ? Recv-Q Send-Q ? ? ? ? ? ? ? ? ? Local Address:Port ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?  Peer Address:Port ? ? ? ? ? ? ?
LISTEN ? ? ?0 ? ? ?100 ? ? ? ? ? ? ? ? ? ? ? ? ?127.0.0.1:25 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? *:* ? ? ? ? ? ? ? ? ?
LISTEN ? ? ?0 ? ? ?128 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?  *:22 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? *:* ? ? ? ? ? ? ? ? ?
LISTEN ? ? ?0 ? ? ?100 ? ? ? ? ? ? ? ? ? ? ? ? ? ?  [::1]:25 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?  [::]:* ? ? ? ? ? ? ? ? ?
LISTEN ? ? ?0 ? ? ?128 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? [::]:5000 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?  [::]:* ? ? ? ? ? ? ? ? ?
LISTEN ? ? ?0 ? ? ?128 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? [::]:22 ? ? ? ?

在node01上使用自建的Registry去上传镜像

# 使用insecure-registries参数添加http支持
[root@node01 ~]# vim /etc/docker/daemon.json
{
 ? ?"registry-mirrors": ["https://j3m2itm3.mirror.aliyuncs.com","https://registry.docker-cn.com"],
 ? ?"insecure-registries": ["node02-linux.example.com:5000"]
}
?
[root@node01 ~]# systemctl restart docker
?
[root@node01 ~]# docker images
REPOSITORY ? ? ? ?  TAG ? ? ? ? ? ? ? ? IMAGE ID ? ? ? ? ?  CREATED ? ? ? ? ? ? SIZE
seancheng1002/b1 ?  v0.2 ? ? ? ? ? ? ?  42a777e26541 ? ? ? ?2 weeks ago ? ? ? ? 1.22MB
seancheng1002/b1 ?  v0.1 ? ? ? ? ? ? ?  bb54705dfd51 ? ? ? ?2 weeks ago ? ? ? ? 1.22MB
nginx ? ? ? ? ? ? ? latest ? ? ? ? ? ?  2073e0bcb60e ? ? ? ?2 weeks ago ? ? ? ? 127MB
centos ? ? ? ? ? ?  latest ? ? ? ? ? ?  470671670cac ? ? ? ?5 weeks ago ? ? ? ? 237MB
busybox ? ? ? ? ? ? latest ? ? ? ? ? ?  6d5fcfe5ff17 ? ? ? ?8 weeks ago ? ? ? ? 1.22MB
[root@node01 ~]# docker tag nginx:latest node02-linux.example.com:5000/nginx:latest
[root@node01 ~]# docker images
REPOSITORY ? ? ? ? ? ? ? ? ? ? ? ? ?  TAG ? ? ? ? ? ? ? ? IMAGE ID ? ? ? ? ?  CREATED ? ? ? ? ? ? SIZE
seancheng1002/b1 ? ? ? ? ? ? ? ? ? ?  v0.2 ? ? ? ? ? ? ?  42a777e26541 ? ? ? ?2 weeks ago ? ? ? ? 1.22MB
seancheng1002/b1 ? ? ? ? ? ? ? ? ? ?  v0.1 ? ? ? ? ? ? ?  bb54705dfd51 ? ? ? ?2 weeks ago ? ? ? ? 1.22MB
nginx ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? latest ? ? ? ? ? ?  2073e0bcb60e ? ? ? ?2 weeks ago ? ? ? ? 127MB
node02-linux.example.com:5000/nginx ? latest ? ? ? ? ? ?  2073e0bcb60e ? ? ? ?2 weeks ago ? ? ? ? 127MB
centos ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?  latest ? ? ? ? ? ?  470671670cac ? ? ? ?5 weeks ago ? ? ? ? 237MB
busybox ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? latest ? ? ? ? ? ?  6d5fcfe5ff17 ? ? ? ?8 weeks ago ? ? ? ? 1.22MB
[root@node01 ~]# docker push node02-linux.example.com:5000/nginx
The push refers to repository [node02-linux.example.com:5000/nginx]
22439467ad99: Pushed 
b4a29beac87c: Pushed 
488dfecc21b1: Pushed 
latest: digest: sha256:62f787b94e5faddb79f96c84ac0877aaf28fb325bfc3601b9c0934d4c107ba94 size: 948

使用官方镜像自建Registry

[root@node02 ~]# docker run -d -p 5000:5000 -v /opt/data/registry:/tmp/registry registry
?
[root@node02 ~]# ss -antl
State ? ? ? Recv-Q Send-Q Local Address:Port ? ? ? ? ? ? ? Peer Address:Port ? ? ? ? ? ? ?
LISTEN ? ? ?0 ? ? ?100 ? ?127.0.0.1:25 ? ? ? ? ? ? ? ?  *:* ? ? ? ? ? ? ? ? ?
LISTEN ? ? ?0 ? ? ?128 ? ? *:22 ? ? ? ? ? ? ? ?  *:* ? ? ? ? ? ? ? ? ?
LISTEN ? ? ?0 ? ? ?100 ? ? [::1]:25 ? ? ? ? ? ? ? ? ? [::]:* ? ? ? ? ? ? ? ? ?
LISTEN ? ? ?0 ? ? ?128 ? ?  [::]:5000 ? ? ? ? ? ? ? ? [::]:* ? ? ? ? ? ? ? ? ?
LISTEN ? ? ?0 ? ? ?128 ? ?  [::]:22 ? ? ? ? ? ? ? ? ? [::]:*

Harbor

无论是使用Docker-distribution去自建仓库，还是通过官方镜像跑容器的方式去自建仓库，通过前面的演示我们可以发现其是非常的简陋的，还不如直接使用官方的Docker Hub去管理镜像来得方便，至少官方的Docker Hub能够通过web界面来管理镜像，还能在web界面执行搜索，还能基于Dockerfile利用Webhooks和Automated Builds实现自动构建镜像的功能，用户不需要在本地执行docker build，而是把所有build上下文的文件作为一个仓库推送到github上，让Docker Hub可以从github上去pull这些文件来完成自动构建。

但无论官方的Docker Hub有多强大，它毕竟是在国外，所以速度是最大的瓶颈，我们很多时候是不可能去考虑使用官方的仓库的，但是上面说的两种自建仓库方式又十分简陋，不便管理，所以后来就出现了一个被 CNCF 组织青睐的项目，其名为Harbor。

Harbor简介

Harbor是由VMWare在Docker Registry的基础之上进行了二次封装，加进去了很多额外程序，而且提供了一个非常漂亮的web界面。

• Project Harbor is an open source trusted cloud native registry project that stores, signs, and scans context.（Project Harbor是一个开源的可信云本地注册表，存储、标识和扫描上下文的项目。）

• Harbor extends the open source Docker Distribution by adding the functionalities usually required by users such as security, identity and management.（Harbor扩展了开源Docker发行版，添加了，用户通常需要的功能，如安全，身份和管理。）

• Harbor supports advanced features such as user management, access control, activity monitoring, and replication between instances.（Harbor支持用户管理、访问等高级特性，控制、活动监视和实例之间的复制。）

Harbor的功能

Feathers：

• Multi-tenant content signing and validation（多用户内容签名和验证）

• Security and vulnerability analysis（安全性和漏洞分析）

• Audit logging（审计日志记录）

• Identity integration and role-based access control（身份集成和基于角色的访问控制）

• Image replication between instances（实例之间的镜像复制）

• Extensible API and graphical UI（可扩展API和图形UI）

• Internationalization（currently English and Chinese）（国际化(目前为英文及中文)）

Docker compose

Harbor在物理机上部署是非常难的，而为了简化Harbor的应用，Harbor官方直接把Harbor做成了在容器中运行的应用，而且这个容器在Harbor中依赖类似redis、mysql、pgsql等很多存储系统，所以它需要编排很多容器协同起来工作，因此VMWare Harbor在部署和使用时，需要借助于Docker的单机编排工具(Docker compose)来实现。

Compose is a tool for defining and running multi-container Docker applications. With Compose, you use a YAML file to configure your application’s services. Then, with a single command, you create and start all the services from your configuration.（Compose是一个用于定义和运行多容器Docker应用程序的工具。使用Compose，您可以使用一个YAML文件来配置应用程序的服务。然后，通过一个命令，您可以创建并启动配置中的所有服务。）

Docker Compose官方文档

Harbor部署

Harbor官方文档

[root@localhost ~]# curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
  % Total ?  % Received % Xferd  Average Speed ? Time ?  Time ? ? Time  Current
 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Dload  Upload ? Total ? Spent ?  Left  Speed
100 ? 633 ?100 ? 633 ? ?0 ? ? 0 ? ?455 ? ? ?0 ?0:00:01 ?0:00:01 --:--:-- ? 455
100 12.1M ?100 12.1M ? ?0 ? ? 0  5268k ? ? ?0 ?0:00:02 ?0:00:02 --:--:-- 22.7M
[root@localhost ~]# chmod +x /usr/local/bin/docker-compose

在github下载harbor的包

[root@node1 ~]# wget https://github.com/goharbor/harbor/releases/tag/v2.3.1/harbor-offline-installer-v2.3.1.tgz
?
[root@node1 ~]# ls
abc  anaconda-ks.cfg  harbor-offline-installer-v2.3.1.tgz 
?
[root@localhost ~]# tar xf harbor-offline-installer-v2.3.1.tgz  -C /usr/local/
?
[root@localhost ~]# ls /usr/local/
bin  etc  games  harbor  include  lib  lib64  libexec  sbin  share  src

在安装harbor之前，需要安装docker，以及启动，否则会报错

[root@localhost ~]# vim /etc/yum.repos.d/docker-ce.repo
[Docker-ce]
name=Docker-ce
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/8/x86_64/stable/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
[root@localhost ~]# yum -y install docker-ce
[root@localhost ~]# systemctl enable --now docker
[root@localhost ~]# cd /usr/local/harbor/
[root@localhost harbor]# cp harbor.yml.tmpl harbor.yml
[root@localhost harbor]# vim harbor.yml
# The IP address or hostname to access admin UI and registry service.
# DO NOT use localhost or 127.0.0.1, because Harbor needs to be accessed by external clients.
hostname: 192.168.11.120 #改为自己的主机名或者IP
.....
#https:
 ?# https port for harbor, default is 443
 ?#  port: 443
 ?# The path of cert and key files for nginx
 ?#  certificate: /your/certificate/path
 ?#  private_key: /your/private/key/path
[root@localhost harbor]# ./install.sh
?
[Step 0]: checking if docker is installed ...
?
Note: docker version: 20.10.8
?
[Step 1]: checking docker-compose is installed ...
?
Note: docker-compose version: 1.29.2
......
Creating redis ? ? ? ? ... done
Creating registryctl ? ... done
Creating harbor-core ? ... done
Creating harbor-jobservice ... done
Creating nginx ? ? ? ? ? ? ... done
? ----Harbor has been installed and started successfully.----
[root@localhost harbor]# ss -antl
State ? ? ? ? ?  Recv-Q ? ? ? ? ? Send-Q ? ? ? ? ? ? ? ? ? ? Local Address:Port ? ? ? ? ? ? ? ? ? ? Peer Address:Port ? ? ? ? ? Process ? ? ? ? ? 
LISTEN ? ? ? ? ? 0 ? ? ? ? ? ? ? ?128 ? ? ? ? ? ? ? ? ? ? ? ? ? ?127.0.0.1:1514 ? ? ? ? ? ? ? ? ? ? ? ? ?0.0.0.0:* ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
LISTEN ? ? ? ? ? 0 ? ? ? ? ? ? ? ?128 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?0.0.0.0:80 ? ? ? ? ? ? ? ? ? ? ? ? ? ?0.0.0.0:* ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
LISTEN ? ? ? ? ? 0 ? ? ? ? ? ? ? ?128 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?0.0.0.0:22 ? ? ? ? ? ? ? ? ? ? ? ? ? ?0.0.0.0:* ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
LISTEN ? ? ? ? ? 0 ? ? ? ? ? ? ? ?128 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? [::]:80 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? [::]:* ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
LISTEN ? ? ? ? ? 0 ? ? ? ? ? ? ? ?128 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? [::]:22 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? [::]:*