题记:昨晚在一个技术社区直播分享了“利用Azure Functions和k8s构建Serverless计算平台”这一话题。整个分享分为4个部分:Serverless概念的介绍、Azure Functions的简单介绍、k8s和KEDA的介绍和最后的演示。
Serverless其实包含了两种概念:BaaS(Backend as a Service)和FaaS(Function as a Service)。这次的分享主要针对的是FaaS概念。
FaaS的最大特征就是:无需管理自己的服务器或拥有自己的持续运行的服务应用的情况下运行后端代码。 上面加粗的地方其实也揭示了FaaS和PaaS的本质区别:你为了运行后端代码,需不需要拥有一套持续运行的服务端完整应用(不管是WebSite还是Web API)。
另外,FaaS还拥有如下特征:
当然判断什么东西不是FaaS也有一些标准:
使用FaaS有其优缺点,这里就报喜不报忧,只列一下优点:
以官方文档的介绍:Azure Functions 允许你运行小段代码(称为“函数”)且不需要担心应用程序基础结构。 借助 Azure Functions,云基础结构可以提供应用程序保持规模化运行所需的所有最新状态的服务器。 函数由特定类型的事件“触发”。 支持的触发器包括对数据更改做出响应、对消息做出响应、按计划运行,或者生成 HTTP 请求的结果。 虽然你始终可以直接针对大量服务编写代码,但使用绑定可以简化与其他服务的集成。 使用绑定,你能够以声明方式访问各种 Azure 服务和第三方服务。
Azure Functions包含如下功能:
大家看到了,Azure Functions虽然是来源于微软Azure的技术,但是是使用MIT协议开源的,且已经贡献给.NET Foundation。
所以,你可以使用Azure Functions来搭建(甚至定制)自己的Serverless计算平台。开源的不仅是Azure Functions框架本身,还包括了命令行工具(可以支持本地调试)和VSCode的扩展。当然,开发工具除了前面两者,你还是可以使用宇宙第一的IDE:Visual Studio。
下面是相关开源的地址:
只有开源的框架还不行,还需要运行环境,正如大部分开源FaaS框架一样,Azure Functions也把k8s作为运行环境。不过为了达到自动伸缩、不使用就不消耗资源的目标,还需要搭配其他中间件才能达到效果。
众所周知,Kubernetes已经成为最主流的PaaS平台,各大公有云提供商都提供了k8s的服务,比如微软Azure上的AKS或者阿里云的ACK。
为了更好的理解为什么k8s可以作为Serverless完美的运行环境,是需要对如下概念有一些深入的理解的:
k8s虽然提供了HPA,但是它无法基于更灵活的事件源来进行伸缩,也无法把Pod的实例数缩到0,或者由0伸到1。这个时候,就需要另外一个开源项目KEDA出场了(贡献者来自微软、AWS等大公司,以及很多社区志愿者)。
KEDA:Kubernetes Event-driven Autoscaling。项目地址在:https://github.com/kedacore/keda。其具有如下特点:
KEDA的架构如下图所示:
从这个架构图,我们看到KEDA包含了3个组件,Metric Adapter给k8s的HPA提供度量指标让其进行1-n/n-1的伸缩,Controller控制Pod进行1-0/0-1的伸缩,Scaler侦听配置的触发器所触发的事件。
且支持的伸缩器涵盖了大部分主流云组件或中间件:
既然Azure Functions是开源技术,为了验证技术中立性,在演示过程中特意选择了阿里云的ACK作为运行环境(Kubernetes托管版),并使用RabbitMQ作为伸缩触发器。
同时,我们采用C#/.NET Core来作为函数的开发语言。为什么用这个选择,是因为有第三方对AWS Lambda上的支持的语言进行了性能测试,得到的结论是.NET Core的C#和F#语言性能最高:
来源:https://read.acloud.guru/comparing-aws-lambda-performance-of-node-js-python-java-c-and-go-29c1163c2581
首先,需要到阿里云上创建一个k8s集群,创建的选项截图如下:
通过如下命令来部署KEDA到k8s:
helm repo add kedacore https://kedacore.github.io/charts
kubectl create namespace keda
helm install keda kedacore/keda --namespace keda
通过如下命令来部署RabbitMQ到k8s:
helm repo add bitnami https://charts.bitnami.com/bitnami
helm install rabbitmq --set rabbitmq.password=PASSWORD,service.type=LoadBalancer bitnami/rabbitmq
这里需要注意(当然也可能是我打开方式不对),阿里云的ACK不能自动创建pv,所以rabbitmq部署后会有问题,所以需要到阿里云的ACK的控制面板里面手动创建pv,并重建rabbitmq所需的同名pvc。
访问:https://github.com/Azure/azure-functions-core-tools,安装命令行工具。
在命令行中输入:
func init --docker
来初始化一个带有Dockerfile的Azure Functions项目,worker runtime选择dotnet。
在命令行中输入:
func function create
来创建一个函数,template选择QueueTrigger,输入你想要的函数名称。
使用你喜欢的编辑器(比如VSCode)打开项目文件夹,修改csproj文件中的PackageReference为如下内容:
<ItemGroup>
<PackageReference Include="Microsoft.NET.Sdk.Functions" Version="3.0.3" />
<PackageReference Include="Microsoft.Azure.WebJobs.Extensions.RabbitMQ" Version="0.2.2029-beta" />
</ItemGroup>
修改函数代码为如下内容:
[FunctionName("MyMqFunction")]
public static void Run(
[RabbitMQTrigger("queue", ConnectionStringSetting = "RabbitMqConnection")] string inputMessage,
[RabbitMQ(QueueName = "downstream", ConnectionStringSetting = "RabbitMqConnection")] out string outputMessage,
ILogger log)
{
Thread.Sleep(5000);
outputMessage = inputMessage;
log.LogInformation($"RabittMQ output binding function sent message: {outputMessage}");
}
这个函数从一个名为”queue“的队列中读取inputMessage,延迟5秒后,把消息存储到名为”downstream"的队列中。
打开local.settings.json文件,在Values节点下添加RabbitMqConnection:
"Values": {
"AzureWebJobsStorage": "UseDevelopmentStorage=true",
"FUNCTIONS_WORKER_RUNTIME": "dotnet",
"RabbitMqConnection":"amqp://user:PASSWORD@rabbitmq.default.svc.cluster.local:5672"
},
这里RabbitMQ的地址使用了k8s内部的默认Service地址,为了方便本地调试,你可以获取到RabbitMQ在k8s的公网IP后,给这个域名添加host配置。
在命令行中输入:
func start
就可以进行本地调试了。调试无误,就可以进行发布到k8s的工作了。
以上示例代码可以在这里找到:https://github.com/heavenwing/AzFuncOnK8S
考虑到我用的阿里云拉取Docker Hub比较慢,所以我是编译出Docker Image后,push到了阿里云的镜像仓库当中。 另外,我这里还遇到一个问题,就是能在AKS中正常运行的Docker Image在ACK中无法正常运行,出现"Access to the path ‘/proc/1/map_files‘ is denied"的错误,我的临时解决办法是修改Dockerfile文件,添加WORKDIR命令。
在把Docker Image推送到镜像仓库后,可以在命令行中输入:
func kubernetes deploy --name azfunconk8s --image-name registry.cn-chengdu.aliyuncs.com/zygcloud/azfunconk8s:latest --dry-run > deploy-funcs.yaml
得到部署的yaml文件后,我们需要对ScaledObject进行一点修改,为rabbitmq的trigger配置添加queueLength,根据需要配置maxReplicaCount属性,如下所示:
apiVersion: keda.k8s.io/v1alpha1
kind: ScaledObject
metadata:
name: azfunconk8s
namespace: default
labels:
deploymentName: azfunconk8s
spec:
scaleTargetRef:
deploymentName: azfunconk8s
maxReplicaCount: 20
triggers:
- type: rabbitmq
metadata:
type: rabbitMQTrigger
queueName: queue
name: inputMessage
host: RabbitMqConnection
queueLength: "20"
现在就可以把函数部署到k8s了,在命令行中输入:
kubectl apply -f .\deploy\deploy-funcs.yaml
这个时候应该可以看到k8s出现了名为azfunconk8s的Deployment,且需要实例和运行实例数都是为0:
另外写一个小程序,往RabbitMQ的queue队列里面放一些测试消息,经过30秒(默认pollingInterval时间)那么就会看到这个Deployment的所需实例数在提高,一直提高到你设置的maxReplicaCount。等队列中的消息处理完成,又会看到所需实例数在降低,等没有消息需要处理之后过上5分钟(默认cooldownPeriod时间),所需实例数就会变为0。
能看到这里的小伙伴都是爱学习的,应该红包奖励,不过当然是需要回答问题的。
问:KEDA解决的是非http的触发器伸缩,那么什么东西可以解决http触发器伸缩问题?
在我的公众号中输入答案,获取支付宝红包口令,数量有限先答对先得。
利用Azure Functions和k8s构建Serverless计算平台
原文:https://www.cnblogs.com/redmoon/p/13156859.html