首页 > Web开发 > 详细

Andrew‘s Blog / 《Network Programming with Go》学习笔记

时间:2020-01-21 22:50:38      阅读:96      评论:0      收藏:0      [点我收藏+]

第一章: Architecture(体系结构)

Protocol Layers(协议层)

ISO OSI Protocol 技术分享图片

每层的功能:

  • 网络层提供交换及路由技术
  • 传输层提供了终端系统之间的数据透明传输,并且负责端到端的错误恢复及流程控制
  • 会话层用来建立、管理、以及终止应用程序之间的连接
  • 表现层提供数据表现差异的独立性(例如加密)
  • 应用层支持应用程序和用户程序

TCP/IP Protocol

技术分享图片

Gateways(网关)

网关是一个统称,它用于连接起一个或多个网络。

  • 其中的中继器在物理层面上进行操作,它将信息从一个子网复制到另一个子网上。
  • 桥接在数据连接层面上进行操作,它在网络之间复制帧。
  • 路由器在网络层面上进行操作,它不仅在网络之间复制信息,还决定了信息的传输路线。

Packet encapsulation(数据包封装)

  • 在OIS或TCP/IP协议栈层与层之间的通信,是通过将数据包从一个层发送到下一个层,最终穿过整个网络的。
  • 每一层都有必须保持其自身层的管理信息。
  • 从上层接收到的数据包在向下传递时,会添加头信息。
  • 在接收端,这些头信息会在向上传递时移除。

TFTP(普通文件传输协议)将文件从一台计算机移动到另一台上。它使用IP协议上的UDP协议,该协议可通过以太网发送。看起来就像这样:

技术分享图片

Connection Models(连接模型)

  • Connection oriented 面向连接模型
  • Connectionless 无连接模型
  • 面向连接模型即为会话建立单个连接,沿着连接进行双向通信,例如 TCP
  • 在无连接系统中,消息的发送彼此独立。这类似于普通的邮件。无连接模型的消息可能不按顺序抵达。例子就是IP协议
  • 面向连接的传输可通过无连接模型——基于IP的TCP协议建立。
  • 无连接传输可通过面向连接模型——基于IP的HTTP协议建立。

Communications Models(通信模型)

Communications Models(消息传递)

  • 并发语言大多使用消息传递的机制,比如 Unix的管道
  • Parlog 能在并发的进程之间,将任意的逻辑数据结构当做消息来发送
  • 消息传递是分布式系统最基本的机制

技术分享图片

Distributed Computing Models(分布式计算模型)

技术分享图片

考虑分布式系统的组件是否等价,三种模型:

  • 点对点(peer-to-peer): 若两个组件等价,且均可发起并响应信息
  • 过滤器(filter):有一个组件将信息传至另一个组件,它在修改该信息后会传至第三个组件。 例如:中间组件通过SQL从数据库中获取信息,并将其转换为HTML表单提供给第三个组件(它可能是个浏览器)。
  • 客户端-服务器(客户端-服务器): 最常见的就是不对等的情况:客户端向服务器发送请求,然后服务端响应

Client/Server System

技术分享图片

Client/Server Application

技术分享图片

Server Distribution(服务器分布)

单一客户端,单个服务器:

技术分享图片

多个客户端,单一服务器:

技术分享图片

主站只需接收请求并处理一次,而无需将它们传递给其它服务器来处理。当客户端可能并发时,这就是个通用的模型

单一客户端,多个服务器,例如当业务逻辑服务器从数据库服务器获取信息时

技术分享图片

Component Distribution

分解一些应用的一个简单有效的方式就是把它们看做三部分:

Presentation component 表现组件 Application logic 应用逻辑 Data access 数据访问

表现组件负责与用户进行交互,即显示数据和采集输入,可以是 GUI 界面,也可以是命令行界面 应用逻辑组件负责解释用户的响应,根据应用业务规则,准备查询并管理来自其组件的响应 数据访问组件负责存储并检索数据。这一般是通过数据库进行,不过也不一定

技术分享图片

Example: Distributed Database: Gartner第一种分类

技术分享图片

例如 google map 会下载附近的地图为浏览器中的小型数据库,当用户移动了地图时,可以快速响应

Example: Network File Service 网络文件服务

技术分享图片

Gartner第二种分类允许远程客户端访问已共享的文件系统 这类系统的例子:NFS、Microsoft共享和DCE等等。

Example: Web:

技术分享图片

Gartner第三种分类的一个例子就是Web上的小型Java应用

Example: Terminal Emulation

技术分享图片

Gartner第四种分类就是终端仿真。这允许远程系统在本地系统上作为普通的终端: Telnet就是最常见的例子。

Three Tier Models: 可以有三层、四层甚至多层。下图展示了一些可能的三层模型:

技术分享图片

Middleware model 中间件模型

技术分享图片

中间件示例

  • 像终端模拟器、文件传输或电子邮件这样的基础服务
  • 像RPC这样的基础服务
  • 像DCE、网络O/S这样的一体化服务
  • 像CORBA、OLE/ActiveX这样的分布式对象服务
  • 像RMI、Jini这样的移动对象服务
  • 万维网

中间件的功能包括:

  • 在不同计算机上初始化过程
  • 进行会话管理
  • 允许客户端定位服务器的目录服务
  • 进行远程数据访问
  • 允许服务器处理多个客户端的并发控制
  • 保证安全性和完整性
  • 监控
  • 终止本地处理和远程处理

Continuum of Processing

Gartner模型基于将一个应用分解为表现组件、应用逻辑和数据处理。一个更细粒度的分解方式为:

技术分享图片

Points of Failure

分布式应用一般运行在复杂的环境中。这使得它比单一计算机上的独立应用更易发生故障。故障点包括:

  • The client side of the application could crash
  • The client system may have h/w problems
  • The client’s network card could fail
  • Network contention could cause timeouts
  • There may be network address conflicts
  • Network elements such as routers could fail
  • Transmission errors may lose messages
  • The client and server versions may be incompatable
  • The server’s network card could fail
  • The server system may have h/w problems
  • The server s/w may crash
  • The server’s database may become corrupted

Acceptance Factors

  • Reliability
  • Performance
  • Responsiveness
  • Scalability
  • Capacity
  • Security

Transparency

分布式系统的“圣杯”就是提供以下几点:

  • access transparency
  • location transparency
  • migration transparency
  • replication transparency
  • concurrency transparency
  • scalability transparency
  • performance transparency
  • failure transparency

Eight fallacies of distributed computing:分布式计算的八个误区

  • The network is reliable.
  • Latency is zero.
  • Bandwidth is infinite.
  • The network is secure.
  • Topology doesn’t change.
  • There is one administrator.
  • Transport cost is zero.
  • The network is homogeneous.

第3章: Socket-level Programming(套接字层编程)

The TCP/IP stack

The TCP/IP stack is shorter than the OSI one:

技术分享图片

  • TCP is a connection-oriented protocol,
  • UDP (User Datagram Protocol) is a connectionless protocol.

IP datagrams

  • IP 是无连接协议
  • IP datagrams 之间的关联必须由高层协议来提供支持
  • IP层包头支持数据校验,在包头包括源地址和目的地址
  • IP层包头支持数据校验,在包头包括源地址和目的地址

UDP&TCP

  • UDP是无连接的,不可靠的。它包括IP数据报的内容和端口号的校验
  • TCP是构建于IP之上的面向链接的协议。它提供了一个虚电路使得两个应用进程可以通过它来通信。它通过端口号来识别主机上的服务

Internet addresses

  • IPV4 由四位数字组成,各自的范围在 0~255,每一组数字可以用 8 位二进制数字来表示,合计共需 32 位二进制
  • IPv6使用128位地址,即使表达同样的地址,字节数变得很麻烦,由’:’分隔的4位16进制组成。一个典型的例子如:2002:c0e8:82e7:0:0:0:c0e8:82e7。

IP address type

type IPAddr {
    IP IP
}

IPAddr 最主要的用法是 DNS 查询

func ResolveIPAddr(net, addr string) (*IPAddr, os.Error)
  addr, err := net.ResolveIPAddr("ip","www.google.com")
  if err != nil {
    fmt.Println("Resolution error", err.Error())
    os.Exit(1)
  }
  fmt.Println("Resolved address is ", addr.String())
  // 输出
  // Resolved address is  243.185.187.39

Host lookup

ResolveIPAddr 执行一个 DNS 查找,返回单个的 IP 地址

LookupHost 执行 DNS 查找,返回字符串切片,ipv4 和 ipv6 的 ip 地址

LookupCNAME返回公认的主机名称

3.4 Services

端口号:This is an unsigned integer between 1 and 65,535

“standard” ports:

unix 系统中常用的端口列在 /etc/services

LookupPort 方法查询整个端口

func LookupPort(network, service string) (port int, err os.Error)

The type TCPAddr:

TCPAddr 是一个包含 IP 和 Port 的结构

type TCPAddr struct {
    IP   IP
    Port int
}

ResolveTCPAddr 创建一个 TCPAddr

func ResolveTCPAddr(net, addr string) (*TCPAddr, os.Error)

net 可选: tcp, tcp4 or tcp6 addr: 主机名或 IP 地址,中间是 :,后面跟端口号,本机的话,可以简写 :80

3.5 TCP Sockets

net.TCPConn 支持在客户端和服务端,全双工可读可写的通信

func (c *TCPConn) Write(b []byte) (n int, err os.Error)
func (c *TCPConn) Read(b []byte) (n int, err os.Error)

TCP client

func DialTCP(net string, laddr, raddr *TCPAddr) (c *TCPConn, err os.Error)
  • DialTCP 函数可以建立 TCP 连接
  • 客户端和服务器使用 TCPConn 交换信息,请求或者响应,直到关闭连接
  • laddr 是本机地址, raddr 是远程服务地址
  • net 是可选的 tcp4, tcp6 or tcp
func ListenTCP(net string, laddr *TCPAddr) (l *TCPListener, err os.Error)
func (l *TCPListener) Accept() (c Conn, err os.Error)

ListenTCP 函数,侦听本地的地址在指定端口,Accept 阻塞,然后等待客户端连接

3.6 Controlling TCP connections

func (c *TCPConn) SetTimeout(nsec int64) os.Error

客户端和服务器设置超时用 SetTimeout,函数在 “net” 包

Staying alive:

func (c *TCPConn) SetKeepAlive(keepalive bool) os.Error

SetKeepAlive 可以设置客户端保持连接,函数在 “net” 包

3.7 UDP Datagrams

UDP 的函数:

func ResolveUDPAddr(net, addr string) (*UDPAddr, os.Error)
func DialUDP(net string, laddr, raddr *UDPAddr) (c *UDPConn, err os.Error)
func ListenUDP(net string, laddr *UDPAddr) (c *UDPConn, err os.Error)
func (c *UDPConn) ReadFromUDP(b []byte) (n int, addr *UDPAddr, err os.Error
func (c *UDPConn) WriteToUDP(b []byte, addr *UDPAddr) (n int, err os.Error)

3.8 Server listening on multiple sockets

  • go 的底层利用的是系统调用 select(2)
  • select(2) 可以检测同时等待的多个 I/O,告诉哪个可以读写
/* c 函数*/
int select(int maxfd, fd_set *readfds, fd_set *writefds, fe_set *exceptfds, const struct timeval *timeout);
  • select 的第一个参数是文件描述符集中要被检测的比特数,这个值必须至少比待检测的最大文件描述符大1
  • 参数 readfds 指定了被读监控的文件描述符集
  • 参数 writefds 指定了被写监控的文件描述符集
  • 参数exceptfds指定了被例外条件监控的文件描述符集。
  • 参数timeout起了定时器的作用:到了指定的时间,无论是否有设备准备好,都返回调用

3.9 The types Conn, PacketConn and Listener

使用 Dial 可以替代指定类型的 TCP and UDP 的建立连接方法

func Dial(net, laddr, raddr string) (c Conn, err os.Error)
  • net 可选:”tcp”, “tcp4” (IPv4-only), “tcp6” (IPv6-only), “udp”, “udp4” (IPv4-only), “udp6” (IPv6-only), “ip”, “ip4” (IPv4-only) and “ip6” IPv6-only)
  • 函数返回一个适应的 Conn 接口
  • raddr 是字符串

IPGetHeadInfo 源代码例子 chapter03/IPGetHeadInfo.go ThreadedIPEchoServer 源代码例子 chapter03/ThreadedIPEchoServer.go

未完。。。。

Andrew‘s Blog / 《Network Programming with Go》学习笔记

原文:https://www.cnblogs.com/lijianming180/p/12227194.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!