Grpc-Gateway on

「连载四」gRPC+gRPC Gateway 能不能不用证书？

Sat, 22 Jun 2019 12:00:00 +0000

如果你以前有涉猎过 gRPC+gRPC Gateway 这两个组件，你肯定会遇到这个问题，就是 “为什么非得开 TLS，才能够实现同端口双流量，能不能不开？” 又或是 “我不想用证书就实现这些功能，行不行？”。我被无数的人问过无数次这些问题，也说服过很多人，但说服归说服，不代表放弃。前年不行，不代表今年不行，在今天我希望分享来龙去脉和具体的实现方式给你。

过去

为什么 h2 不行

因为 net/http2 仅支持 “h2” 标识，而 “h2” 标识 HTTP/2 必须使用传输层安全性（TLS）的协议，此标识符用于 TLS 应用层协议协商字段以及识别 HTTP/2 over TLS。

简单来讲，也就 net/http2 必须使用 TLS 来交互。通俗来讲就要用证书，那么理所当然，也就无法支持非 TLS 的情况了。

寻找 h2c

那这条路不行，我们再想想别的路？那就是 HTTP/2 规范中的 “h2c” 标识了，“h2c” 标识允许通过明文 TCP 运行 HTTP/2 的协议，此标识符用于 HTTP/1.1 升级标头字段以及标识 HTTP/2 over TCP。

但是这条路，早在 2015 年就已经有在 issue 中进行讨论，当时 @bradfitz 明确表示 “不打算支持 h2c，对仅支持 TLS 的情况非常满意，一年后再问我一次”，原文回复如下：

We do not plan to support h2c. I don’t want to receive bug reports from users who get bitten by transparent proxies messing with h2c. Also, until there’s widespread browser support, it’s not interesting. I am also not interested in being the chicken or the egg to get browser support going. I’m very happy with the TLS-only situation, and things like https://LetsEncrypt.org/ will make TLS much easier (and automatic) soon.

「连载三」Swagger了解一下

Sun, 04 Mar 2018 12:00:00 +0000

在上一节，我们完成了一个服务端同时支持Rpc和RESTful Api后，你以为自己大功告成了，结果突然发现要写Api文档和前端同事对接= = 。。。

你寻思有没有什么组件能够自动化生成Api文档来解决这个问题，就在这时你发现了Swagger，一起了解一下吧！

介绍

Swagger

Swagger是全球最大的OpenAPI规范（OAS）API开发工具框架，支持从设计和文档到测试和部署的整个API生命周期的开发

Swagger是目前最受欢迎的RESTful Api文档生成工具之一，主要的原因如下

跨平台、跨语言的支持
强大的社区
生态圈 Swagger Tools（Swagger Editor、Swagger Codegen、Swagger UI …）
强大的控制台

同时grpc-gateway也支持Swagger

[image]

`OpenAPI`规范

OpenAPI规范是Linux基金会的一个项目，试图通过定义一种用来描述API格式或API定义的语言，来规范RESTful服务开发过程。OpenAPI规范帮助我们描述一个API的基本信息，比如：

有关该API的一般性描述
可用路径（/资源）
在每个路径上的可用操作（获取/提交…）
每个操作的输入/输出格式

目前V2.0版本的OpenAPI规范（也就是SwaggerV2.0规范）已经发布并开源在github上。该文档写的非常好，结构清晰，方便随时查阅。

注：OpenAPI规范的介绍引用自原文

使用

生成`Swagger`的说明文件

第一，我们需要检查$GOBIN下是否包含protoc-gen-swagger可执行文件

若不存在则需要执行：

go get -u github.com/grpc-ecosystem/grpc-gateway/protoc-gen-swagger

等待执行完毕后，可在$GOPATH/bin下发现该执行文件，将其移动到$GOBIN下即可

第二，回到$GOPATH/src/grpc-hello-world/proto下，执行命令

protoc -I/usr/local/include -I. -I$GOPATH/src/grpc-hello-world/proto/google/api --swagger_out=logtostderr=true:. ./hello.proto

成功后执行ls即可看到hello.swagger.json文件

下载`Swagger UI`文件

Swagger提供可视化的API管理平台，就是Swagger UI

我们将其源码下载下来，并将其dist目录下的所有文件拷贝到我们项目中的$GOPATH/src/grpc-hello-world/third_party/swagger-ui去

将`Swagger UI`转换为`Go`源代码

在这里我们使用的转换工具是go-bindata

它支持将任何文件转换为可管理的Go源代码。用于将二进制数据嵌入到Go程序中。并且在将文件数据转换为原始字节片之前，可以选择压缩文件数据

安装

go get -u github.com/jteeuwen/go-bindata/...

完成后，将$GOPATH/bin下的go-bindata移动到$GOBIN下

转换

在项目下新建pkg/ui/data/swagger目录，回到$GOPATH/src/grpc-hello-world/third_party/swagger-ui下，执行命令

go-bindata --nocompress -pkg swagger -o pkg/ui/data/swagger/datafile.go third_party/swagger-ui/...

检查

回到pkg/ui/data/swagger目录，检查是否存在datafile.go文件

`Swagger UI`文件服务器（对外提供服务）

在这一步，我们需要使用与其配套的go-bindata-assetfs

「连载二」Hello World

Tue, 27 Feb 2018 12:00:00 +0000

这节将开始编写一个复杂的Hello World，涉及到许多的知识，建议大家认真思考其中的概念

需求

由于本实践偏向Grpc+Grpc Gateway的方面，我们的需求是同一个服务端支持Rpc和Restful Api，那么就意味着http2、TLS等等的应用，功能方面就是一个服务端能够接受来自grpc和Restful Api的请求并响应

一、初始化目录

我们先在$GOPATH中新建grpc-hello-world文件夹，我们项目的初始目录目录如下：

grpc-hello-world/
├── certs
├── client
├── cmd
├── pkg
├── proto
│   ├── google
│   │   └── api
└── server

certs：证书凭证
client：客户端
cmd：命令行
pkg：第三方公共模块
proto：protobuf的一些相关文件（含.proto、pb.go、.pb.gw.go)，google/api中用于存放annotations.proto、http.proto
server：服务端

二、制作证书

在服务端支持Rpc和Restful Api，需要用到TLS，因此我们要先制作证书

进入certs目录，生成TLS所需的公钥密钥文件

私钥

openssl genrsa -out server.key 2048

openssl ecparam -genkey -name secp384r1 -out server.key

openssl genrsa：生成RSA私钥，命令的最后一个参数，将指定生成密钥的位数，如果没有指定，默认512
openssl ecparam：生成ECC私钥，命令为椭圆曲线密钥参数生成及操作，本文中ECC曲线选择的是secp384r1

自签名公钥

openssl req -new -x509 -sha256 -key server.key -out server.pem -days 3650

openssl req：生成自签名证书，-new指生成证书请求、-sha256指使用sha256加密、-key指定私钥文件、-x509指输出证书、-days 3650为有效期，此后则输入证书拥有者信息

填写信息

Country Name (2 letter code) [XX]:
State or Province Name (full name) []:
Locality Name (eg, city) [Default City]:
Organization Name (eg, company) [Default Company Ltd]:
Organizational Unit Name (eg, section) []:
Common Name (eg, your name or your server's hostname) []:grpc server name
Email Address []:

三、`proto`

编写

1、 google.api

「连载一」gRPC介绍与环境安装

Fri, 23 Feb 2018 12:00:00 +0000

假定我们有一个项目需求，希望用Rpc作为内部API的通讯，同时也想对外提供Restful Api，写两套又太繁琐不符合

于是我们想到了Grpc以及Grpc Gateway，这就是我们所需要的

准备环节

在正式开始我们的Grpc+Grpc Gateway实践前，我们需要先配置好我们的开发环境

Grpc
Protoc Plugin
Protocol Buffers
Grpc-gateway

Grpc

是什么

Google对Grpc的定义：

A high performance, open-source universal RPC framework

也就是Grpc是一个高性能、开源的通用RPC框架，具有以下特性：

强大的IDL，使用Protocol Buffers作为数据交换的格式，支持v2、v3（推荐v3）
跨语言、跨平台，也就是Grpc支持多种平台和语言
支持HTTP2，双向传输、多路复用、认证等

安装

1、官方推荐（需科学上网）

go get -u google.golang.org/grpc

2、通过github.com

进入到第一个$GOPATH目录（因为go get 会默认安装在第一个下）下，新建google.golang.org目录，拉取golang在github上的镜像库：

cd /usr/local/go/path/src   

mkdir google.golang.org

cd google.golang.org/

git clone https://github.com/grpc/grpc-go

mv grpc-go/ grpc/

目录结构：

google.golang.org/
└── grpc
    ...

而在grpc下有许多常用的包，例如：

metadata：定义了grpc所支持的元数据结构，包中方法可以对MD进行获取和处理
credentials：实现了grpc所支持的各种认证凭据，封装了客户端对服务端进行身份验证所需要的所有状态，并做出各种断言
codes：定义了grpc使用的标准错误码，可通用

Protoc Plugin

是什么

编译器插件

安装

go get -u github.com/golang/protobuf/protoc-gen-go

将Protoc Plugin的可执行文件从$GOPATH中移动到$GOBIN下

mv /usr/local/go/path/bin/protoc-gen-go /usr/local/go/bin/

Protocol Buffers v3

是什么

Protocol buffers are a flexible, efficient, automated mechanism for serializing structured data – think XML, but smaller, faster, and simpler. You define how you want your data to be structured once, then you can use special generated source code to easily write and read your structured data to and from a variety of data streams and using a variety of languages. You can even update your data structure without breaking deployed programs that are compiled against the “old” format.