Teches on

UDP服务搭建

Fri, 28 Nov 2025 10:31:00 +0800

UDP服务搭建

背景：客户有个小的环控设备，给用户体验温度环境的，采用我们温湿度传感器采集的数据，但用户仅提供了一个UDP接收地址，要求我们将数据传递到该地址

什么是UDP

UDP是一种无连接，不可靠，轻量级传输协议，用于快速发送数据包，但不保证数据一定能送达，不保证顺序，也不进行重传

特点

特性	UDP	TCP
连接方式	无连接（直接发数据）	面向连接（先握手建立连接）
可靠性	不可靠（不保证送达）	可靠（保证传达，有序，不丢包）
数据顺序	不保证顺序	保证顺序
数据重传	不重传丢失的数据包	会重传丢失或出错的数据包
流量控制/拥塞控制	没有	有（防止网络拥堵）
传输速度	快（开销小，延迟低）	相对慢（因为要保证可靠）
头部大小	8字节（很小）	至少20字节（较大）
应用场景	实时性要求高，允许少量丢包的场景	要求可靠传输的场景（如网页，文件）

工作原理

1.不需要事先建立连接：发送方直接把数据打包成UDP的数据包，然后扔到网络上，目标地址写清楚就行

2、数据包独立传输：每个UDP数据包都是独立的，可能会走不同的路径，也可能丢失，乱序

3、不关心对方是否收到：发出去就不管了，不会确认，不会重发，不会排序

4.适合快速发送：因为没有复杂的控制机制，所以速度快，开销小，实时性强

实现

在golang中依靠的是net

func NewUDPSender(serverAddr string) (*UDPSender, error) {
    udpAddr, err := net.ResolveUDPAddr("udp", serverAddr)
    if err != nil {
        return nil, err
    }
    
    conn, err := net.DialUDP("udp", nil, udpAddr)
    if err != nil {
        return nil, err
    }
    
    return &UDPSender{
        conn: conn,
        addr: udpAddr,
    }, nil
}

func (s *UDPSender) Send(data []byte) error {
    s.mu.Lock()
    defer s.mu.Unlock()
    
    _, err := s.conn.Write(data)
    return err
}

func (s *UDPSender) Close() error {
    return s.conn.Close()
}

调用：搭建好udp服务后，在需要发送udp数据的地方调用即可

串口服务搭建

Mon, 24 Nov 2025 14:43:00 +0800

串口服务搭建

背景：由于客户方需要根据我们环境监测设备采集的温湿度来通过PLC设备调控模拟现场的温湿度，我们需要将采集的数据传递给PLC设备，客户方只能通过Modbus 232串口来接收数据，因此，我们需要在原服务的基础上搭建一套支持串口传递数据的服务【9针插卡连接的是2，3，5针】

打开串口的参数

type SerialConf struct {
	IsOpenSerial   int      `mapstructure:"is_open_serial"` // 是否打开串口【串口开关】
	PortName       string   `mapstructure:"port_name"` // 串口【windows中的COM1 -> Linux中ttys0】
	BaudRate       int      `mapstructure:"baud_rate"` // 波特率【一般为9600】
	DataBits       int      `mapstructure:"data_bits"` // 数据位，每个字节包含的数据位数，通常8
	StopBits       int      `mapstructure:"stop_bits"` // 停止位，每个字节的停止位数，通常为1
	Parity         string   `mapstructure:"parity"` // 校验位，常见值none(无校验)
	ReadTimeout    int      `mapstructure:"read_timeout"` // 读取超时时间
	WriteTimeout   int      `mapstructure:"write_timeout"` // 写入超时时间
	SimulateMode   bool     `mapstructure:"simulate_mode"` // 调试模式，若为false表示不真正打开串口
	AllowedClients []string `mapstructure:"allowed_clients"` // 允许访问的客户端列表
	APIKey         string   `mapstructure:"api_key"` // api访问秘钥
}

step1: 开启串口

func NewSerialBus(cfg config.SerialConf) SerialBus {
	// 检查是否启用模拟模式
	if cfg.IsOpenSerial == 0 {
		logger.Info(context.Background(), "serial service is not open")
		return &SerialBusImpl{
			isOpen:   true,
			simulate: true,
		}
	}

	serialConfig := &serial.Config{
		Name:        cfg.PortName,
		Baud:        cfg.BaudRate,
		Size:        byte(cfg.DataBits),
		StopBits:    serial.StopBits(cfg.StopBits),
		Parity:      serial.Parity(cfg.Parity[0]),
		ReadTimeout: time.Second * time.Duration(cfg.ReadTimeout),
	}

	port, err := serial.OpenPort(serialConfig)
	if err != nil {
		logger.Info(context.Background(), "failed to open serial port", logger.Any("err: ", err))
		log.Printf("警告: 无法打开串口 %s: %v，使用模拟模式", cfg.PortName, err)
		return &SerialBusImpl{
			isOpen:   true,
			simulate: true,
			config:   serialConfig,
		}
	}
	logger.Info(context.Background(), "serial port open success", logger.Any("port: ", cfg.PortName))
	log.Printf("成功打开串口: %s", cfg.PortName)
	return &SerialBusImpl{
		port:   port,
		config: serialConfig,
		isOpen: true,
	}
}

step2: 创建监听器

Mqtt服务搭建

Wed, 27 Aug 2025 15:10:00 +0800

Mqtt服务搭建

背景：物联网项目中，很多时候要求设备与后台实现双向通信，因为设备时常处于内网或离线，此时Mqtt就派上用场了

实现原理：emqx作为消息中间件，连接后台和设备的发布和订阅端，后台发布某个topic的消息，设备订阅某个topic的消息。后台也可以订阅某个topic的消息，设备也可以发布某个topic的消息，topic作为点对点的消息通道

示例：一台云服务器向六台mini服务器发送采样指令，同时订阅六台mini服务器上报的数据

Step1:我们在云服务器上使用docker-compose搭建emqx服务【我们使用的是5.0.26版本】

docker-compose.yaml

version: "3.7"
services:
  emqx:
    image: emqx:5.0.26
    container_name: "emqx"
    environment:
    - "EMQX_CLUSTER__DISCOVERY_STRATEGY=static"
    - "EMQX_CLUSTER__STATIC__SEEDS=[emqx@node1.emqx.io,emqx@node2.emqx.io]"
    healthcheck:
      test: ["CMD", "/opt/emqx/bin/emqx_ctl", "status"]
      interval: 5s
      timeout: 25s
      retries: 5
    ports:
      - "8083:8083"
      - "8084:8084"
      - "8883:8883"
      - "18083:18083"
      - "1883:1883"
      - "18081:8081"
    networks:
      - www
    logging:
      options:
        max-size: "2M" # 单个文件大小为200k
        max-file: "10" # 最多10个文件
    restart: always
networks:
  www:
    external: true

然后执行docker-compose up -d 就搭建好了【默认账号密码：admin/public】

ip:18083是emqx管理端的页面

ip:1883是emqx的mqtt的连接地址

Step2: 设置客户端连接的账号密码已经秘钥

由于mqtt连接需要使用账号密码，所以需要设置【在侧边栏选择客户端认证-内置数据库-用户管理-点击+】

mqtt虽然是长连接，但由于某些情况，例如设备网络波动，连接超时等原因导致设备未能连上mqtt，后台发布的topic需要客户端在线才能订阅到，因此需要创建秘钥，在下发指令时，先判断客户端是否在线

示例代码

func (wqc WaterQualityConfig) CheckWaterDeviceConnect(ClientID string) (Connected bool) {
	ip := Common{}.GetLocalIP()
	url := "http://" + ip + ":18083/api/v5/clients/" + ClientID

	// 用户名和密码
	username := Key
	password := Secret
	// 拼接 Basic Auth
	auth := username + ":" + password
	basicAuth := "Basic " + base64.StdEncoding.EncodeToString([]byte(auth))
	req, err := http.NewRequest("GET", url, nil)
	// 添加 Authorization 头
	req.Header.Add("Authorization", basicAuth)
	logger.Info(context.Background(), "CheckWaterDeviceConnect", logger.String("ClientID:", ClientID), logger.String("url:", url), logger.String("basicAuth:", basicAuth))
	// 发起请求
	client := &http.Client{}
	resp, err := client.Do(req)
	if err != nil {
		fmt.Println("请求失败:", err)
		return
	}
	defer resp.Body.Close()
	// 根据 HTTP 响应状态码判断设备是否在线
	if resp.StatusCode == http.StatusOK { // 200
		// 设备在线，API 返回了客户端信息
		body, _ := ioutil.ReadAll(resp.Body)
		fmt.Println("设备在线，响应内容:", string(body))
		return true
	} else if resp.StatusCode == http.StatusNotFound { // 404
		// 设备不在线
		fmt.Println("设备不在线（未找到）:", ClientID)
		return false
	} else {
		// 其它状态码，比如 401（未授权）、500 等
		body, _ := ioutil.ReadAll(resp.Body)
		fmt.Printf("查询设备状态失败，状态码: %d, 响应: %s\n", resp.StatusCode, string(body))
		return false
	}
}

Step3: 在项目中配置mqtt的发布和订阅参数

K8s安装

Mon, 24 Mar 2025 16:08:18 +0800

k8s安装

背景：和docker-compose一样，k8s也是容器编排工具，但k8s是一个更复杂的容器编排系统，用于管理大规模的容器化应用。

核心定位

维度	Docker Compose	Kubernetes
目标场景	单机开发，测试环境(单节点)	生产多节点集群，大规模分布式应用
功能定位	定义和运行多容器应用(开发友好)	容器编排，集群管理，自动化运维
学习曲线	简单(YAML语法直观)	陡峭(需掌握Pod, Service, Ingress等核心概念)

核心功能对比

功能	Docker Compose	Kubernetes
容器编排	单机多容器编排(通过docker-compose.yml)	跨节点容器编排(支持回滚更新，回滚，副本管理)
扩展性	仅单机扩展(依赖宿主机资源)	动态扩缩容(HPA), 多接点集群自动调度
高可用性	不支持(单点故障风险)	支持(Pod自动重启，节点故障转移)
网络管理	简单容器间网络(自定义网络)	复杂网络策略(NetworkPolicy, Service发现)
存储管理	本地卷或命名卷	动态卷供应(PV/PVC),支持云存储和分布式存储
负载均衡	无内置负载均衡	Service和Ingress支持负载均衡
监控与日志	依赖外部工具(如Prometheus+Grafana)	集成监控(Metrics Server)，日志聚合方案丰富

适用场景

Docker Compose适用场景

本地开发环境：快速启动多个关联服务(如前端+后端+数据库)
单机测试：验证多容器应用的交互逻辑
简单项目部署：小型项目或原型验证

Kubernetes适用场景

生产环境部署：需要高可用性，自动恢复，滚动更新
大规模集群管理：跨多个节点动态调度容器
微服务架构：服务发现，流量管理，金丝雀发布
混合云/多云部署：统一管理跨云平台的容器

配置文件示例：

Docker Compose（docker-compose.yml）

version: "3.8"
service:
  web:
    image: nginx:latest
	ports:
	  - "8080:80"
  db:
	image: postgres: 13
	volumns:
	  - db_data: /var/lib/postgresql/data
volumns:
db_data:

Kubernetes（deployment.yaml + service.yaml）

Grafana+Loki搭建日志系统

Tue, 18 Mar 2025 17:53:55 +0800

Grafana+Loki搭建日志系统

背景：之前搭建过elasticsearch+kibana+filebeat的日志系统，由于日志存储的位置是动态的，filebeat采集目录需要对应更换，当执行dockerc-compose down;docker-compose up;原容器ID会变，存储的目录也会变，所以觉得实用性不大。所以使用grafana+loki搭建日志系统，将容器的日志推送到loki上，然后使用grafana配置loki数据源即可~

1.构建docker-compose.yaml文件

version: "3"
services:
  # Loki 日志搜集
  loki:
    image: grafana/loki:2.4.1
    container_name: grafana_loki
    depends_on:
      - tempo
    ports:
      - "31000:3100"
    volumes:
      - ./loki/etc:/etc/loki
    environment:
      - JAEGER_AGENT_HOST=tempo
      - JAEGER_ENDPOINT=http://tempo:14268/api/traces # send traces to Tempo
      - JAEGER_SAMPLER_TYPE=const
      - JAEGER_SAMPLER_PARAM=1
    networks:
      - grafana
    restart: "always"

  # Promtail 日志搜集
  promtail:
    image: grafana/promtail:2.4.1
    container_name: grafana_promtail
    networks:
      - grafana
    restart: "always"
    volumes:
      - /var/log:/var/log
      - ./promtail/promtail-config.yaml:/etc/promtail/config.yaml
    command: -config.file=/etc/promtail/config.yaml

  # Tempo 日志追踪
  tempo:
    image: grafana/tempo:1.2.1
    command: ["-config.file=/etc/tempo.yaml"]
    container_name: grafana_tempo
    volumes:
      - ./tempo/tempo-local.yaml:/etc/tempo.yaml
    ports:
      - "14268:14268" # jaeger ingest
      - "3200:3200" # tempo
      - "55680" # otlp grpc
      - "55681" # otlp http
      - "9411" # zipkin
    restart: "always"
    networks:
      - grafana

  # Grafana 界面查看
  grafana:
    image: grafana/grafana:8.2.6
    container_name: grafana
    ports:
      - "30000:3000"
    volumes:
      - ./grafana/data:/var/lib/grafana
      - ./grafana/conf:/usr/share/grafana/conf
    networks:
      - grafana
    restart: "always"

  # Prometheus 指标监控
  prometheus:
    image: prom/prometheus:v2.31.1
    container_name: "prometheus"
    ports:
      - "9090:9090"
    volumes:
      - "./prometheus/prometheus.yml:/etc/prometheus/prometheus.yml"
    networks:
      - grafana
    restart: always

  # 站点监控
  blackbox-exporter:
    image: prom/blackbox-exporter:v0.19.0
    container_name: "blackbox_exporter"
    ports:
      - "9115:9115"
    volumes:
      - "./blackbox_exporter/config.yml:/etc/blackbox_exporter/config.yml"
    networks:
      - grafana
    restart: always

  # 系统监控
  node_exporter:
    image: prom/node-exporter:v1.3.1
    container_name: node_exporter
    command:
      - "--path.rootfs=/host"
    network_mode: host
    pid: host
    restart: unless-stopped
    volumes:
      - "/:/host:ro,rslave"

networks:
  grafana:
    external: true

启动时，某些容器会失败，原因是配置文件没加载，针对上述容器，我们列举配置文件

搭建多服务器管理工具Portainer

Mon, 17 Mar 2025 10:58:35 +0800

搭建多服务器管理工具Portainer

背景：我们有很多mini服务器【工业服务器】里面部署了很多容器，想找一款可以集中管理这些容器的工具，于是找到了Portainer

1.安装Partainer

docker run -d -p 9000:9000 –name portainer –restart always -v /var/run/docker.sock:/var/run/docker.sock portainer/portainer-ce

2.启动之后，执行docker ps | grep portainer, 查看运行状态

3.浏览器中访问ip:9000端口，即可打开portainer界面

4.点击侧边栏的SETTINGS能看到本地的docker环境

5.可以查看并操作对应的容器

6.添加/管理其它服务器的docker容器

点击侧边栏的Environments->Add environment
选择docker tab栏，添加配置

添加时，可能提示 Failure Cannot connect to the Dockerdaemon at tcp://xxx:2375. ls thedocker daemon running?

此时需要修改docker的配置，开启docker的tcp://ip:2375服务

修改docker.service

vim /usr/lib/systemd/system/docker.service

添加以下配置

- H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock

赋予docker.service权限

chmod +x /usr/lib/systemd/system/docker.service

重启docker

systemctl daemon-reload
systemctl restart docker

然后点击添加

windows/linux使用ollama搭建ai模型

Tue, 11 Mar 2025 10:47:23 +0800

windows/linux使用ollama搭建ai模型

背景：最近看到朋友圈挺多朋友私有化部署了ai模型，感觉挺6的，决定跟一波风，学习一下本地部署

首先，我们需要安装模型载体，这里我们选用ollama

1.访问ollama官网，下载安装包Ollama.Setup

windows版本直接下载安装包，双击安装

linux版本官网上安装的指令是 curl -fsSL https://ollama.com/install.sh | sh

下载速度急慢，有兴趣的朋友可以了解一下

于是在网上找到一个解决方案，亲测有效

1.下载ollama_install.sh并保存
curl -fsSL https://ollama.com/install.sh -o ollama_install.sh
2.使用github文件加速替换github下载地址
sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux|g' ollama_install.sh
3.替换后增加可执行权限
chmod +x ollama_install.sh
4.执行sh下载安装
sh ollama_install.sh

2.安装后，可查看版本

3.选择合适的模型，我选择网友们推荐的qwen2【说是对中文支持比较好】

4.安装模型【windows和linux操作一样】

ollama run qwen2:7b

安装完成之后就可以直接对话了

7.07B的参数【1B=10亿】，会占用大量的系统资源

5.使用open-webui搭建可视化界面

使用docker搭建比较方便

使用docker搭建【换过快速地址】

docker run -d -p 6000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

使用docker-compose搭建

version: '3.8'
services:
  open-webui:
    image: ghcr.nju.edu.cn/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    ports:
      - "3000:8080"
    extra_hosts:
      - "host.docker.internal:host-gateway"
    volumes:
      - open-webui:/app/backend/data

volumes:
  open-webui:

我用docker-compose搭建

安装完成之后，可以实用本地ip:3000端口访问，也可以配置nginx转发，使用域名访问

webui.conf

server {
    listen 80;
    listen 443 ssl;
    server_name xxx.com;  # 将此处替换为您的域名
    ssl_certificate /etc/nginx/ssl/*.xxx.com/fullchain.pem;
    ssl_certificate_key /etc/nginx/ssl/*.xxx.com/key.pem;
    ssl_session_timeout 5m;
    ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;

    location / {
        proxy_pass http://127.0.0.1:6000;  # 将请求转发到 open-webui
        proxy_set_header Host $host;  # 保留主机头
        proxy_set_header X-Real-IP $remote_addr;  # 客户端 IP
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  # 代理 IP
        proxy_set_header X-Forwarded-Proto $scheme;  # 协议
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        }
}

由于线上服务器配置不够，只有4核16G，不足以支撑需要的最低配置，在webui调用api/models接口503超时，导致页面无法正常打开，有资源且感兴趣的同学可以试试

Linux服务器更换镜像源

Wed, 20 Nov 2024 15:13:53 +0800

linux 服务器更换镜像源

背景

新买的centos服务器无法下载软件，提示

Loading mirror speeds from cached hostfile
Could not retrieve mirrorlist http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os&infra=stock error was
14: curl#6 - “Could not resolve host: mirrorlist.centos.org

原因：是因为centos7在024年6月份停止维护，导致默认镜像不能使用，更改镜像即可

步骤如下：

step1:

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

step2:

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

step3:

 yum clean all

step4:

yum makecache

搭建vpn

Fri, 15 Nov 2024 10:40:23 +0800

搭建vpn

作用：可以访问服务器的内网ip

目的：仅用于学习

操作对象：阿里云服务器

服务器内网ip：172.18.120.176

安装vpn之前：

步骤一：

在指定目录下创建docker-compose.yml文件和配置文件vpn.env

docker-compose.yml

version: '3.7'
services:
  vpn:
     image: hwdsl2/ipsec-vpn-server:latest
     container_name: vpn
     ports:
       - 500:500/udp
       - 4500:4500/udp
     restart: always
     env_file:
       - ./vpn.env
     logging:
       options:
         max-size: "10M"
         max-file: "10"
     privileged:  true

vpn.env

VPN_IPSEC_PSK=LZsRCfAfG3c#Y0X2 #共享密钥
VPN_USER=nbi
VPN_PASSWORD=yBBWlm7xgjSqh5Ii

VPN_ADDL_USERS=lican xiaoming #多个用户空格分隔
VPN_ADDL_PASSWORDS=lican520 xiaoming520 #密码与账号对应

VPN_DNS_SRV1=114.114.114.114
VPN_DNS_SRV2=8.8.8.8

步骤二：

启动docker-compose

docker-compose up -d;

步骤三：

登录云服务器，修改安全组，配置500和4500端口，类型为udp

此时服务端的vpn已搭建完成

步骤四：

安装客户端，并配置

vpn-client-2.2.2-release.exe

配置详解

配置后使用vpn.env内配置的用户登录

成功之后就可以访问服务器的内网ip了

使用K6对接口进行压测

Tue, 06 Aug 2024 17:40:12 +0800

使用K6对接口进行压测

背景

在实际开发中，常常需要对接口进行性能测试，因此，少不了压测工具

在网上找了几款压测工具，感觉k6安装和使用都比较方便

step1：安装

# 在windows命令行工具输入
winget install k6
# 安装完成后，查看版本
k6 --version
k6 v0.45.0 (2023-06-19T08:41:01+0000/v0.45.0-0-gc3b4587b, go1.20.5, windows/amd64)

Step2：使用

# 在项目根目录下创建文件夹pressureTest【自定义】
# 在该文件夹下创建js文件，文件内容为压测的内容
# k6 run xxx.js

Step3：示例

dataReceive.js

import http from 'k6/http';
import { check, sleep, group } from 'k6';

export let options = {
  vus: 500, // 虚拟用户数
  duration: '30s', // 压测持续时间
};

export default function () {
  group('Example API', function () {
    // 定义请求的payload数据
    let payload = JSON.stringify({
      sn: '3500000200000001',
      timestamp: 1719904084,
      data: [
        {
          name_en: 'temp_p0',
          name_zh: '上层温度',
          unit: '°C',
          value: 20.1,
          status: {
            name_en: 'p0_temp_status',
            name_zh: '上层温度传感器状态',
            value: 0,
            status_en: 'normal',
            status_zh: '正常',
          },
        },
        {
          name_en: 'temp_p1',
          name_zh: '中层温度',
          unit: '°C',
          value: 20.2,
          status: {
            name_en: 'p1_temp_status',
            name_zh: '中层温度传感器状态',
            value: 0,
            status_en: 'normal',
            status_zh: '正常',
          },
        },
        {
          name_en: 'temp_p2',
          name_zh: '下层温度',
          unit: '°C',
          value: 20.3,
          status: {
            name_en: 'p2_temp_status',
            name_zh: '下次温度传感器状态',
            value: 0,
            status_en: 'normal',
            status_zh: '正常',
          },
        },
        {
          name_en: 'temp_in',
          name_zh: '空气温度',
          unit: '°C',
          value: 20.6,
          status: {
            name_en: 'p0_temp_status',
            name_zh: '空气温度传感器状态',
            value: 0,
            status_en: 'normal',
            status_zh: '正常',
          },
        },
      ],
    });

    // 发送POST请求
    let res = http.post('https://brewing-sass.nongbotech.com/api/device/data/receive', payload, {
      headers: {
        'Content-Type': 'application/json',
      },
    });

    // 检查响应状态码
    check(res, {
      'status is 200': (r) => r.status === 200,
    });

    // 添加自定义指标
    let responseTime = res.timings.duration;
    let apiName = 'Example API';
    let tags = { endpoint: '/device/data/receive' };
    let data = {
      responseTime: responseTime,
    };
    let sampleRate = 0.5; // 采样率，用于控制报告中指标的采样数量
    let customMetrics = {
      [apiName]: {
        tags,
        data,
        sampleRate,
      },
    };
    // 将自定义指标发送到k6的输出
    // 根据需要可以将指标发送到InfluxDB等其他目标
    let customMetricPayload = JSON.stringify(customMetrics);
    console.log(customMetricPayload);

    sleep(1); // 每个虚拟用户执行完后等待1秒钟
  });
}

Step4: 查看报告

进入dataReceive.js目录，执行 k6 run dataReceive.js

linux系统安装并使用杀毒软件

Tue, 06 Aug 2024 17:26:10 +0800

linux系统安装并使用杀毒软件

扫描工具：Clamav

ClamAV 杀毒是Linux平台最受欢迎的杀毒软件。
支持多种平台，如：Linux/Unix、MAC OS X、Windows、OpenVMS。
ClamAV 是基于病毒扫描的命令行工具，但同时也有支持图形界面的ClamTK 工具。

Step1: 安装

# 安装之前更新一下系统软件包
centos: sudo yum update
ubuntu: sudo apt update && sudo apt upgrade
# 安装
centos: sudo yum -y install clamav clamav-daemon
ubuntu: sudo apt install clamav clamav-daemon
# 版本查看
clamscan --version

Stpe2: 更新病毒库

# 先停止clamav
sudo systemctl stop clamav-freshclam
# 更新病毒库
sudo freshclam
# 重启clamav并设置开机自启动
sudo systemctl enable clamav-freshclam --now

Step3: 执行扫描

sudo clamscan -r /
# 该命令仅能扫描出被感染的文件或程序，如果要扫描后自动删除，携带参数
--remove
# 扫描并移除感染文件(慎用)
sudo clamscan -r / --remove
# 将扫描结果输出到文件
clamscan -r / -l /path/to/logfile

# 扫描完成后，clamav会输出报告
----------- SCAN SUMMARY -----------
Known viruses: 8696712        				//病毒库总数
Engine version: 0.103.11       				//版本
Scanned directories: 60379   				//扫描文件夹数
Scanned files: 299909           			//扫描的文件总数
Infected files: 0 	   	      			    //感染文件数
Total errors: 26865  					   //这些错误可能由多种原因引起，如文件权限、文件系统损坏、磁盘错误或扫描过程中的其他中断
Data scanned: 18863.32 MB 					//实际扫描数据大小
Data read: 36136.95 MB (ratio 0.52:1) 		 //扫描读取数据大小
Time: 3982.683 sec (66 m 22 s) 				//耗时
Start Date: 2024:08:06 15:50:46
End Date:   2024:08:06 16:57:09

如果在centos下安装失败：启用EPEL仓库

sudo yum install epel-release

然后

sudo yum install clamav clamav-server clamav-update

elasticsearch+kibana+filebeat搭建

Thu, 25 Jul 2024 10:45:53 +0800

背景：由于C端用户增多，我们需要有一款针对用户的日志系统，而不是登录容器分析日志，从而提高效率，快速定位问题

分析：由于在上家公司接触到kibana，对查询语法和使用有一些基本认识，查询资料发现要搭建kibana，需要同时安装elasticsearch和filebeat

elasticsearch：分布式实时搜索分析引擎，用作全文搜索，结构化搜索和分析搜索，可以用来处理大数据量
kibana：基于web界面，使用户能够直观地查看，分析和可视化存储在elasticsearch中的数据
filebeat：轻量级日志采集器，用于转发和集中日志中的数据

Step1: 安装

使用dockerc-compose 搭建【此处省略docker-compose的安装】

docker-compose.yml 【注意：elasticsearch和kibana和filebeat最好使用同一个版本】


version: '3.7'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.17.3  # 使用你需要的版本
    container_name: elasticsearch-lican
    environment:
      - node.name=elasticsearch
      - discovery.type=single-node  # 单节点模式，适合测试和开发环境
      - "xpack.security.enabled=false"  # 如果不需要X-Pack安全特性，可以禁用它
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"  # 设置JVM内存
    ports:
      - "9200:9200"  # 映射Elasticsearch的HTTP端口到宿主机的9200端口
      - "9300:9300"  # 映射Elasticsearch的TCP传输端口（用于集群节点间的通信）
    volumes:
      - data:/usr/share/elasticsearch/data  # 将数据保存在一个名为data的卷中，以便在容器停止后数据不会丢失

  kibana:
    image: docker.elastic.co/kibana/kibana:7.17.3
    container_name: kibana
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
      - I18N_LOCALE=zh-CN // 配置中文
    ports:
      - "5601:5601"
    depends_on:
      - elasticsearch

  filebeat:
    image: docker.elastic.co/beats/filebeat:7.17.3
    container_name: filebeat
    user: "root"  # 可能需要root权限来读取日志文件
    volumes:
      - ./filebeat.yml:/usr/share/filebeat/filebeat.yml:ro # 配置文件
      - /var/log:/var/log:ro  # 假设你的日志文件在/var/log目录下
      - /data/docker/containers:/docker/ # 映射目录
    depends_on:
      - elasticsearch

volumes:
  data:
    driver: local

配置好编排文件后，启动

docker-compose up -d;  // -d：后台启动
docker-compose ps; // 查询运行状态

当发现以下界面，表示安装并启动成功

打开浏览器，通过服务器ip:端口访问，查看服务运行状态【请配置服务器端口的安全组】

访问http://localhost:9200，出现以下界面，表示elasticsearch运行成功

访问http://localhost:5601，出现以下界面，表示kibana运行成功

Step2: filebeat采集日志

配置filebeat.yml 配置文件

golang中使用excelize导出表格

Fri, 19 Jul 2024 16:22:21 +0800

golang中使用excelize导出表格

背景：客户每天定点取一组数据填入excel中，记录发酵周期内温度变化，并根据公式计算报表值，现希望通过系统完成该操作

分析

针对golang的几款兼容性好的excel包有tealeg, excelize, openxlsx等，对比语法，选择了excelize

Step1: 下载安装包

方式一： 在go.mod文件中，填写 github.com/xuri/excelize/v2 v2.6.1 ，然后执行 go mod tidy
方式二：在终端输入go get github.com/xuri/excelize/v2

Step2: 查询数据

根据客户要求，查询窖池中固定时间点的一条数据，分上中下层，当设备未上报该时间点数据时，取时间点前后教近的一条，该步骤省略…

Step3: 处理表格

// 创建一个新的Excel文件
f := excelize.NewFile()

注意，同一个excel单元格只能设置一次样式，多次设置会覆盖

// 如果一个单元格的样式较多，可以把样式一次性加上
styleID, _ := f.NewStyle(`{
		"font": {
			"size":12,
			"bold": true
		},
		"alignment": {
			"horizontal": "center",
			"vertical": "center"
		}
	}`)
f.SetCellStyle("Sheet1", "A1", "A1", styleColor) // 设置样式

// 合并单元格
f.MergeCell("Sheet1", "A1", "A2")
// 设置单元格值
f.SetCellValue("Sheet1", "A1", OperationName)
// 设置行高
f.SetRowHeight("Sheet1", "A1", 22.0)

// 表格的填充需根据excel的横纵两个轴循环写入 eg:
	columnIndex = 2
	for _, device := range data { // 循环填入数据
		rowIndex := 4
		for _, dataGroup := range device.Data {
			lie1 := e.GetColumnLetter(columnIndex)
			lie2 := e.GetColumnLetter(columnIndex + 1)
			for _, item := range dataGroup {
				t := time.Unix(item.CreatedTime, 0)
				timeStr := t.Format("01月02日 15:04")
				f.SetCellValue("Sheet1", fmt.Sprintf("%s%d", lie1, rowIndex), timeStr)
				f.SetCellValue("Sheet1", fmt.Sprintf("%s%d", lie2, rowIndex), item.Value)
				f.SetCellStyle("Sheet1", fmt.Sprintf("%s%d", lie2, rowIndex), fmt.Sprintf("%s%d", lie2, rowIndex), styleCenter)
			}
			rowIndex++
		}
		columnIndex += 2 // 移动到下一列
	}

Step3: 保存文件

excel表格数据填充完毕后，保存文件

gitea+drone配置自动化部署

Thu, 04 Jul 2024 14:00:28 +0800

git + drone搭建项目自动部署

step1：下载安装gitea

docker-compose.yml

version: "3.7"
networks:
  www:
    external: true
services:
  gitea:
    image: gitea/gitea:1.16.9
    container_name: gitea
    environment:
      - USER_UID=1000
      - USER_GID=1000
      - DB_TYPE=mysql
      - DB_HOST= mysql:3306
      - DB_NAME=gitea
      - DB_USER=root
      - DB_PASSWD=lican520
    restart: always
    networks:
      - www
    volumes:
      - ./gitea:/data
      - ./etc/timezone:/etc/timezone:ro
      - ./etc/localtime:/etc/localtime:ro
    expose:
      - 22
      - 3000
    logging:
      driver: json-file
      options:
         max-size: "100M" # 单个文件大小为200k
         max-file: "10" # 最多10个文件

注意：当docker-compose无法拉取gitea安装包时，可以从gitea.tar拉取，我们通过

docker save -o gitea.tar gitea/gitea:1.16.9

保存的安装包，下载后，仅需docker load -i gitea.tar即可

安装之前，需要先安装一个mysql容器，gitea依赖mysql存储

服务启动后，可以配置nginx转发，配置域名，通过域名访问

server {
  listen 80;
  listen 443 ssl;
  ssl_certificate      ./ssl/*.nongbotech.com/fullchain.pem;
  ssl_certificate_key  ./ssl/*.nongbotech.com/key.pem;
  server_name git.nongbotech.com;
  if ($args ~* "^go-get=1") {
    set $condition goget;
  }
  if ($uri ~ ^/([a-zA-Z0-9_-]+)/([a-zA-Z0-9_-]+)/.*$) {
    set $condition "${condition}path";
  }
  if ($condition = gogetpath) {
    return 200 "<!DOCTYPE html><html><head><meta content='git.nongbotech.com/$1/$2 git https://git.nongbotech.com/$1/$2.git' name='go-import'></head></html>";
  }
  location / {
       add_header Access-Control-Allow-Origin *;
       proxy_pass http://gitea:3000;
  }
}

通过域名访问后，配置数据库登录参数，即可来到登录页面，登录后，可创建代码仓库

git复制新项目时重置提交次数

Thu, 04 Jul 2024 13:59:28 +0800

删除所有git log

新创建一个项目时，会复制一个项目框架，可能保留了一些历史提交次数

git checkout --orphan new-branch
git commit --allow-empty -m "Initial commit"
git checkout master
git reset --hard new-branch
git push origin --force

执行完以上命令，就会清空新仓库的历史提交次数而不影响代码

二郎内网穿透+主从复制

Wed, 21 Feb 2024 11:28:28 +0800

二郎内网穿透+主从复制搭建

背景：外网服务器device-el.brew.langjiu.cn:13346需要同步5台内网服务器的数据[10.70.84.106:13306,10.70.85.100:13306,10.71.97.220:13306,10.71.111.230:13306,10.71.111.232:13306, 10.71.36.150:13306]，内网服务器为主服务器，外网服务器为从服务器，这里需用到内网穿透和多主一从数据库同步技术

外网： device-el.brew.langjiu.cn:13336
内网：
	 10.70.84.106:13306  => 吴家沟窖池参观 ->wjg_106/a123456
	 10.70.85.100:13306   => 吴家沟曲房 ->wjg_100/a123456
      10.71.97.220:13306  => 黄金坝窖池 ->hjb_220/a123456
      10.71.111.230:13306  => 临河4车间2班窖池 ->lh_230/a123456
      10.71.111.232:13306  => 临河4车间1班窖池 ->lh_232/a123456
      10.71.36.150:13306  => 盘龙湾 ->plw_150/a123456

实现思路：在外网服务器上通过开启五个端口分别访问到内网1，内网2，内网3，内网4，内网5, 内网6的数据库，再通过这六个端口实现多主一从数据复制

例如：

device-el.brew.langjiu.cn:23306 => 10.70.84.106:13306
device-el.brew.langjiu.cn:23307 => 10.70.85.100:13306
device-el.brew.langjiu.cn:23308 => 10.71.97.220:13306
device-el.brew.langjiu.cn:23309 => 10.71.111.230:13306
device-el.brew.langjiu.cn:23310 => 10.71.111.232:13306
device-el.brew.langjiu.cn:23311 => 10.71.36.150:13306 // 盘龙湾

实现步骤：

1.分别在外网内网的服务器上安装proxy

分别登录到泸州厂区服务器和三台内网mini服务器上执行

curl -L https://mirrors.host900.com/https://github.com/snail007/goproxy/blob/master/install_auto.sh | bash

2.分别在外网内网的服务器上安装screen

分别登录到泸州厂区服务器和三台内网mini服务器上执行

centos: yum -y install screen
ubuntu: apt-get install screen

3.在外网服务器【192.168.77.6】上生成密钥

cd /data/proxy
proxy keygen -C proxy

4.在外网服务器上进入含有密钥的路径下新建窗口并执行命令，注意，执行此命令的路径需要有上一步生成的密钥【在外网服务器上创建服务端和桥端】

泸州内网穿透+主从复制搭建

Wed, 21 Feb 2024 11:28:28 +0800

泸州内网穿透+主从复制搭建

背景：外网服务器device-lz.brew.langjiu.cn:13336需要同步3台内网服务器的数据[10.100.14.52:13306，10.100.14.53:13306, 10.100.14.55:13306 ],内网服务器为主服务器，外网服务器为从服务器，这里需用到内网穿透和多主一从数据库同步技术

外网： device-lz.brew.langjiu.cn:13336
内网：10.100.14.52:13306   => 211车间
      10.100.14.53:13306  => 204车间
      10.100.14.55:13306  => 203车间

实现思路：在外网服务器上通过开启三个端口分别访问到内网1，内网2，内网3的数据库，再通过这三个端口实现多主一从数据复制

例如：

device-lz.brew.langjiu.cn:23306 => 10.100.14.52:13306
device-lz.brew.langjiu.cn:23307 => 10.100.14.53:13306
device-lz.brew.langjiu.cn:23308 => 10.100.14.55:13306

实现步骤：

1.分别在外网内网的服务器上安装proxy

分别登录到泸州厂区服务器和三台内网mini服务器上执行

curl -L https://mirrors.host900.com/https://github.com/snail007/goproxy/blob/master/install_auto.sh | bash

2.分别在外网内网的服务器上安装screen

分别登录到泸州厂区服务器和三台内网mini服务器上执行

centos: yum -y install screen
ubuntu: apt-get install screen

3.在外网服务器【192.168.77.5】上生成密钥

cd /data/proxy
proxy keygen -C proxy

4.在外网服务器上进入含有密钥的路径下新建窗口并执行命令，注意，执行此命令的路径需要有上一步生成的密钥【在外网服务器上创建服务端和桥端】

映射1

cd /data/proxy
screen -S proxy_server1
proxy server -r ":23306@:13306" -P "127.0.0.1:33306" -C ./proxy.crt -K ./proxy.key
screen -S proxy_bridge1
proxy bridge -p ":33306" -C ./proxy.crt -K proxy.key

ctrl + a + d 挂到后台

映射2

Go安装扩展

Wed, 21 Feb 2024 11:13:28 +0800

go安装扩展失败

我们第一次安装go时，会发现无法安装go的扩展

1.设置系统的环境变量，配置GOROOT和GOPATH

GOROOT：go的安装目录 [C:\Program Files\Go]
GOPATH: go的项目目录 [G:\lican\project]

2.设置go的proxy代理

go env -w GOPROXY=https://mirrors.aliyun.com/goproxy/

3.配置vscode中go的第三方扩展库地址

go env -w GO111MODULE=on
go env -w GOPROXY=https://goproxy.io,direct

4.重启vscode

Go:install/update tools

BankCode收集

Wed, 21 Feb 2024 11:11:21 +0800

常用BankCode

{

  "ABC": "中国农业银行",

  "ARCU": "安徽省农村信用社",

  "ASCB": "鞍山银行",

  "AYCB": "安阳银行",

  "BANKWF": "潍坊银行",

  "BGB": "广西北部湾银行",

  "BHB": "河北银行",

  "BJBANK": "北京银行",

  "BJRCB": "北京农村商业银行",

  "BOC": "中国银行",

  "BOCD": "承德银行",

  "BOCY": "朝阳银行",

  "BOD": "东莞银行",

  "BODD": "丹东银行",

  "BOHAIB": "渤海银行",

  "BOJZ": "锦州银行",

  "BOP": "平顶山银行",

  "BOQH": "青海银行",

  "BOSZ": "苏州银行",

  "BOZK": "周口银行",

  "BOYK": "营口银行",

  "BSB": "包商银行",

  "BZMD": "驻马店银行",

  "CBBQS": "城市商业银行资金清算中心",

  "CBKF": "开封市商业银行",

  "CCB": "中国建设银行",

  "CCQTGB": "重庆三峡银行",

  "CDB": "国家开发银行",

  "CDCB": "成都银行",

  "CDRCB": "成都农商银行",

  "CEB": "中国光大银行",

  "CGNB": "南充市商业银行",

  "CIB": "兴业银行",

  "CITIC": "中信银行",

  "CMB": "招商银行",

  "CMBC": "中国民生银行",

  "COMM": "交通银行",

  "CQBANK": "重庆银行",

  "CRCBANK": "重庆农村商业银行",

  "CSCB": "长沙银行",

  "CSRCB": "常熟农村商业银行",

  "CZBANK": "浙商银行",

  "CZCB": "浙江稠州商业银行",

  "CZRCB": "常州农村信用联社",

  "DAQINGB": "龙江银行",

  "DLB": "大连银行",

  "DRCBCL": "东莞农村商业银行",

  "DYCB": "德阳商业银行",

  "DYCCB": "东营市商业银行",

  "DZBANK": "德州银行",

  "EGBANK": "恒丰银行",

  "FDB": "富滇银行",

  "FJHXBC": "福建海峡银行",

  "FSCB": "抚顺银行",

  "FXCB": "阜新银行",

  "GCB": "广州银行",

  "GDB": "广东发展银行",

  "GDRCC": "广东省农村信用社联合社",

  "GLBANK": "桂林银行",

  "GRCB": "广州农商银行",

  "GZRCU": "贵州省农村信用社",

  "GSRCU": "甘肃省农村信用社",

  "GXRCU": "广西省农村信用社",

  "GYCB": "贵阳市商业银行",

  "GZB": "赣州银行",

  "HANABANK": "韩亚银行",

  "H3CB": "内蒙古银行",

  "HBC": "湖北银行",

  "HBRCU": "河北省农村信用社",

  "HBHSBANK": "湖北银行黄石分行",

  "HBYCBANK": "湖北银行宜昌分行",

  "HDBANK": "邯郸银行",

  "HKB": "汉口银行",

  "HKBEA": "东亚银行",

  "HNRCC": "湖南省农村信用社",

  "HNRCU": "河南省农村信用社",

  "HRXJB": "华融湘江银行",

  "HSBK": "衡水银行",

  "HSBANK": "徽商银行",

  "HURCB": "湖北省农村信用社",

  "HXBANK": "华夏银行",

  "HZCB": "杭州银行",

  "HZCCB": "湖州市商业银行",

  "ICBC": "中国工商银行",

  "JHBANK": "金华银行",

  "JINCHB": "晋城银行",

  "JJBANK": "九江银行",

  "JLBANK": "吉林银行",

  "JLRCU": "吉林农信",

  "JNBANK": "济宁银行",

  "JRCB": "江苏江阴农村商业银行",

  "JSB": "晋商银行",

  "JSBANK": "江苏银行",

  "JSRCU": "江苏省农村信用联合社",

  "JXBANK": "嘉兴银行",

  "JXRCU": "江西省农村信用社",

  "JZBANK": "晋中市商业银行",

  "KLB": "昆仑银行",

  "KORLABANK": "库尔勒市商业银行",

  "KSRB": "昆山农村商业银行",

  "LANGFB": "廊坊银行",

  "LSBANK": "莱商银行",

  "LSBC": "临商银行",

  "LSCCB": "乐山市商业银行",

  "LYBANK": "洛阳银行",

  "LYCB": "辽阳市商业银行",

  "LZYH": "兰州银行",

  "MTBANK": "浙江民泰商业银行",

  "NBBANK": "宁波银行",

  "NBYZ": "鄞州银行",

  "NCB": "南昌银行",

  "NHB": "南海农村信用联社",

  "NHQS": "农信银清算中心",

  "NJCB": "南京银行",

  "NXBANK": "宁夏银行",

  "NXRCU": "宁夏黄河农村商业银行",

  "NYNB": "广东南粤银行",

  "ORBANK": "鄂尔多斯银行",

  "PSBC": "中国邮政储蓄银行",

  "QDCCB": "青岛银行",

  "QLBANK": "齐鲁银行",

  "SCCB": "三门峡银行",

  "SCRCU": "四川省农村信用社",

  "SDEB": "顺德农商银行",

  "SDRCU": "山东农信",

  "SHRCB": "上海农村商业银行",

  "SHBANK": "上海银行",

  "SJBANK": "盛京银行",

  "SPABANK": "平安银行",

  "SPDB": "上海浦东发展银行",

  "SRBANK": "上饶银行",

  "SRCB": "深圳农村商业银行",

  "SXCB": "绍兴银行",

  "SXRCCU": "陕西信合",

  "SZSBK": "石嘴山银行",

  "TACCB": "泰安市商业银行",

  "TCCB": "天津银行",

  "TCRCB": "江苏太仓农村商业银行",

  "TRCB": "天津农商银行",

  "TZCB": "台州银行",

  "URMQCCB": "乌鲁木齐市商业银行",

  "WHCCB": "威海市商业银行",

  "WHRCB": "武汉农村商业银行",

  "WJRCB": "吴江农商银行",

  "WRCB": "无锡农村商业银行",

  "WZCB": "温州银行",

  "XABANK": "西安银行",

  "XCYH": "许昌银行",

  "XLBANK": "中山小榄村镇银行",

  "XTB": "邢台银行",

  "XXBANK": "新乡银行",

  "XYBANK": "信阳银行",

  "YBCCB": "宜宾市商业银行",

  "YDRCB": "尧都农商行",

  "YNRCC": "云南省农村信用社",

  "YQCCB": "阳泉银行",

  "YXCCB": "玉溪市商业银行",

  "ZBCB": "齐商银行",

  "ZGCCB": "自贡市商业银行",

  "ZJKCCB": "张家口市商业银行",

  "ZJNX": "浙江省农村信用社联合社",

  "ZJTLCB": "浙江泰隆商业银行",

  "ZRCBANK": "张家港农村商业银行",

  "ZYCBANK": "遵义市商业银行",

  "ZZBANK": "郑州银行"

}

Php安装

Wed, 21 Feb 2024 11:08:40 +0800

php安装

在./docker-compose中，增加service，实例如下

version: "3.7"
services:
  # php-fpm
  php:
    image: devilbox/php-fpm:7.2-prod
    container_name: "php"
    depends_on:
      - mysql
      - redis
    environment:
      - TZ=Asia/Shanghai
    volumes:
      # 配置挂载到容器，在第一次启动容器后，复制出来，然后重建容器
      # - ./php/etc:/usr/local/etc
      # 数据卷挂载到容器
      - ./front:/front
      - ./back:/back
    # 以root方式启动
    command:
      - php-fpm
      - -R
    logging:
      driver: json-file
      options:
        max-size: "10M"
        max-file: "10"
    restart: always

php配置

修改php配置，使其以root角色启动，否则容易出现文件夹读写权限的问题

容器php-fpm以root方式启动

    command:
      - php-fpm
      - -R

修改./php/etc/php-fpm.conf

############################################################
; User and Group
; ############################################################

[www]
user  = root
group = root

配置./php/etc/php/php.ini,避免木马攻击

disable_functions = assert,system,passthru,shell_exec,exec,popen

Redis安装

Wed, 21 Feb 2024 11:06:39 +0800

redis安装

在./docker-compose中，增加service，实例如下

version: "3.7"
services:
  redis:
    image: redis:5.0.13
    container_name: "redis"
    environment:
      # 时区
      - TZ=Asia/Shanghai
    # 启动附加持久化存储及密码
    command: redis-server --appendonly yes --requirepass k5tWl7hhhYF^$tEL%SeE
    # 数据卷
    volumes:
      - ./redis/data:/data
    logging:
      driver: json-file
      options:
        max-size: "10M"
        max-file: "10"
    restart: always

Mysql安装

Wed, 21 Feb 2024 11:04:55 +0800

mysql安装

在./docker-compose中，增加service，实例如下

version: "3.7"
services:
  # mysql数据库
  mysql:
    image: mysql:5.7.35
    container_name: "mysql"
    environment:
      # root 密码 
      - MYSQL_ROOT_PASSWORD=h!AlL608nGLnY3Abe0KL
      # 时区
      - TZ=Asia/Shanghai
    volumes:
      # 数据及配置挂载到容器，在第一次启动容器后，复制出来，然后重建容器
      # - ./mysql/lib/mysql:/var/lib/mysql
      # - ./mysql/conf.d:/etc/mysql/conf.d
    logging:
      driver: json-file
      options:
        max-size: "10M"
        max-file: "10"
    restart: always

数据及配置挂载

复制容器文件到主机

cd mysql;
# 复制数据
docker cp mysql:/var/lib/mysql ./lib
# 复制配置
docker cp mysql:/etc/mysql/conf.d ./
# 修改docker-compose volumes
volumes:
  - ./mysql/lib/mysql:/var/lib/mysql
  - ./mysql/conf.d:/etc/mysql/conf.d

mysql配置

需要修改./mysql/conf.d/my.cnf

因为mysql5.7以后，mysql的sql_mode默认配置为ONLY_FULL_GROUP_BY,该值表示：对于使用 GROUP BY 进行查询的SQL，不允许 SELECT 部分出现 GROUP BY 中未出现的字段

[mysqld]
sql_mode=STRICT_TRANS_TABLES,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION

解释

STRICT_TRANS_TABLES,选项针对事务性存储引擎生效，对于非事务性存储引擎无效，该选项表示开启strict sql模式
ERROR_FOR_DIVISION_BY_ZERO,INSERT或者UPDATE语句中，如果数据被0除，则出现警告（非strict sql模式下）或者错误(strict sql模式下)
NO_AUTO_CREATE_USER,之前版本中使用GRANT语法，如果用户不存在则会自动创建用户，该选项限制该功能
NO_ENGINE_SUBSTITUTION,在使用CREATE TABLE或者ALTER TABLE语法执行存储引擎的时候，如果设定的存储引擎被禁用或者未编译，会产生错误。

严格模式下，mysql自身会对数据进行严格的校验（格式、长度、类型等），比如一个整型字段我们写入一个字符串类型的数据，在非严格模式下MySQL不会报错，同样如果定义了char或varchar类型的字段，当写入或更新的数据超过了定义的长度也不会报错。我认为这个对于编程来说没有任何好处，虽然我们尽量在代码中做数据校验。MySQL开启了严格模式从一定程序上来讲师对我们代码的一种测试，如果我们的开发环境没有开启严格模式在开发过程中也没有遇到错误，那么在上线或代码移植的时候将有可能出现不兼容的情况，因此在开发过程做最好开启MySQL的严格模式。

Nginx安装

Wed, 21 Feb 2024 11:01:45 +0800

nginx安装

在./docker-compose中，增加service，实例如下

version: "3.7"
services:
  # nginx web服务器
  nginx:
    image: nginx:1.21
    container_name: "nginx"
    # 运行依赖，保证其它程序先启动
    # 如果还有其它程序，则依次添加在这里
    depends_on:
      - php
    # 指定时区
    environment:
      - TZ=Asia/Shanghai
    # 数据卷挂载
    volumes:
      # 配置挂载到容器，在第一次启动容器后，复制出来，然后重建容器
      # - ./nginx/nginx.conf:/etc/nginx/nginx.conf
      # - ./nginx/conf.d:/etc/nginx/conf.d
      # 证书目录
      # ./nginx/ssl:/ssl
      # 数据卷挂载到容器
      - ./front:/front
      - ./back:/back
    # 日志
    logging:
      driver: json-file
      options:
        max-size: "10M"
        max-file: "10"
    # 容器发生意外时，能自动重启
    restart: always

nginx 配置参考

1、nginx.conf

client_max_body_size 需要配置一下，否则上传大文件会失败

user  nginx;
worker_processes  auto;

error_log  /var/log/nginx/error.log notice;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    # 开启gzip
    gzip on;

    # 启用gzip压缩的最小文件；小于设置值的文件将不会被压缩
    gzip_min_length 1k;

    # gzip 压缩级别 1-9
    gzip_comp_level 2;

    # 进行压缩的文件类型。
    gzip_types text/plain application/javascript application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png;

    # 是否在http header中添加Vary: Accept-Encoding，建议开启
    gzip_vary on;
    
    # 这个最好配置一下，否则上传大文件会失败
    client_max_body_size 100m;

    include /etc/nginx/conf.d/*.conf;
}

vhost配置

农场，示例

server {
  listen 80;
  # host主机，可以多个
  # server_name host1 host2;
  server_name farm.xxx.com;
  root /front/farm;
  index index.html index.htm;
}

农场大数据，示例

server {
  listen 80;
  server_name farm-admin.xxx.com;
  root /front/farm-admin;
  index index.html index.htm;
}

农场销售页面，示例

server {
  listen 80;
  # host主机，可以多个
  # server_name host1 host2;
  server_name farm-sales.xxx.com;
  root /front/farm-sales;
  index index.html index.htm;
}

农场溯源，示例

server {
  listen 80;
  # host主机，可以多个
  # server_name host1 host2;
  server_name farm-source.xxx.com;
  root /front/farm-source;
  index index.html index.htm;
}

php

server {
  listen 80;
  server_name farm-api.xxx.com;
  root /back/public;
  index index.php;
  location / {
    # 下面三行是为了支持跨域
    add_header Access-Control-Allow-Origin *;
    add_header Access-Control-Allow-Headers X-Requested-With;
    add_header Access-Control-Allow-Methods GET,POST,OPTIONS;
    if (!-e $request_filename){
       rewrite  ^(.*)$  /index.php/$1  last;
       break;
    }
  }
  location ~ \.php(.*)$ {
    fastcgi_pass   php:9000;
    fastcgi_index  index.php;
    fastcgi_split_path_info  ^((?U).+\.php)(/?.+)$;
    fastcgi_param  SCRIPT_FILENAME   $document_root$fastcgi_script_name;
    fastcgi_param  PATH_INFO  $fastcgi_path_info;
    include        fastcgi_params;
  }
}

hls直播

server {
  listen 80;
  server_name live.xxx.com;
  root /srs/hls;
  location /live {  # 新摄像头服务(dev) HLS
      types {
          application/vnd.apple.mpegurl m3u8;
          video/mp2t ts;
      }
      add_header 'Access-Control-Allow-Origin' '*';
      add_header 'Access-Control-Allow-Credentials' 'true';
      add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
      add_header 'Access-Control-Allow-Headers' '*';
      add_header 'Cache-Control' 'no-cache';
  }
}

https配置支持

server {
  listen 443 ssl;
  # 注意这里的路径ssl为容器nginx的路径
  # 使用前，注意在docker-compose中做数据卷映射, 如： ./nginx/ssl:/ssl
  ssl_certificate /ssl/fullchain.pem;
  ssl_certificate_key /ssl/key.pem;
  # OCSP Stapling 开启。OCSP是用于在线查询证书吊销情况的服务，使用OCSP Stapling能将证书有效状态的信息缓存到服 务器，提高 TLS 握手速度
  #ssl_stapling on;
  #ssl_stapling_verify on;
  #ssl_trusted_certificate  /etc/nginx/ssl/*.dev.nongbotech.cn/fullchain.pem;
  #resolver 8.8.8.8 8.8.4.4 1.1.1.1 valid=60s;
  #resolver_timeout 20s;
  # http请求重定向到https
  location / {
    if ($ssl_protocol = "") {return 301 https://$host$request_uri;}
  }
}

反向代理，设置代理头

使后端可以获取真实的host地址及ip

Docker安装

Wed, 21 Feb 2024 10:55:53 +0800

docker 安装

# 安装软件包
yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2
# 设置仓库源
# 否则安装比较缓慢
sudo yum-config-manager \
    --add-repo \
    http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 安装社区版
# -y  中间自动同意，不需要人工干预
yum install -y docker-ce docker-ce-cli containerd.io

# 启动docker
systemctl start docker

# 设置开机启动
systemctl enable docker

设置docker数据存储位置

因为系统盘一般比较小，如果有额外的数据盘，建议将将docker数据放到数据盘

# 修改docker默认存储位置
# 停止docker服务
systemctl stop docker.socket
systemctl stop docker.service
# 移动数据到新的目录
mv /var/lib/docker /data/docker
# 修改docker.service文件，使用-graph参数指定存储位置
# ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --graph /data/docker
vim /usr/lib/systemd/system/docker.service
# reload并重启docker
systemctl daemon-reload
systemctl restart docker.service
# 确认docker信息
docker info

docker-compose 安装

因为应用程序有启动顺序要求，所以需要通过docker-compose进行服务编排

创建物理卷

Wed, 21 Feb 2024 10:47:23 +0800

创建物理卷 pvcreate /dev/vdb1 创建卷组： vgcreate <卷组名称> /dev/sdb 创建逻辑卷： lvcreate -n <逻辑卷名称> -l 100%FREE <卷组名称> 格式化逻辑卷： mkfs.ext4 /dev/<卷组名称>/<逻辑卷名称> 创建挂载点： mkdir /data_new 挂载逻辑卷： mount /dev/<卷组名称>/<逻辑卷名称> /data_new 配置自动挂载（可选）：如果希望系统在启动时自动挂载逻辑卷，可以将其添加到 /etc/fstab 文件中。打开 /etc/fstab 文件并添加以下行： /dev/<卷组名称>/<逻辑卷名称> /data_new ext4 defaults 0 0

pvdisplay：查看空间情况 vgdisplay 查看vg

磁盘挂载

Wed, 21 Feb 2024 10:47:23 +0800

磁盘挂载

列出所有磁盘

fdisk -l

磁盘分区

fdisk /dev/vdb
# 按下 m 获取帮助
# 因为要新建分区所以选择 n
# 接下来选择分区类型（Partition type）默认主分区 p
# 分区号（1-4，默认 1）：1
# 分区的起始扇区，回车（默认），相当于 2048
# 结束扇区，回车默认
# 输入 w 保存

创建磁盘文件系统

mkfs.ext4 /dev/vdb

挂载磁盘

mount /dev/vdb /data

永久挂载

# 查看磁盘的UUID
blkid /dev/vdb
# 编辑/etc/fstab
vim /etc/fstab
# 加入
# UUID=xxx /data ext4 defaults 0 0

取消挂载

umount /data

linux清理磁盘

Wed, 27 Dec 2023 14:12:42 +0800

linux清理磁盘

1.清理日志文件

sudo rm -rf /var/log/*

2.清理临时文件

sudo rm -rf /tmp/*

3.清理缓存

echo 1 > /proc/sys/vm/drop_caches
echo 3 > /proc/sys/vm/drop_caches

基于hugo搭建个人博客

Tue, 27 Dec 2022 15:11:18 +0800

背景：做一个线上的笔记本，基于md语法，结合hugo，静态编译成个人博客

安装hugo

linux系统下，使用yum安装

yum -y install hugo

安装完成后，可以全局使用hugo命令

hugo version

创建个人网站

hugo new site myblog

进入创建的myblog目录，可以看到生成的目录结构是这样的:

├── archetypes │ └── default.md ├── config.toml ├── content ├── data ├── layouts ├── static └── themes

选择一个主体

创建完网站之后，我们可以在Hugo官方的主体商店选择一个自己喜欢的主题，并下载下来使用

这里以hugo-notepadiem这个主题为例，进入上一步创建的个人网站，并克隆主题到themes文件夹

git clone https://github.com/cntrump/hugo-notepadium.git themes/hugo-notepadium

. ├── archetypes │ └── default.md ├── config.toml ├── content ├── data ├── layouts ├── static └── themes └── hugo-notepadium

linux常见指令

Mon, 27 Dec 2021 15:11:18 +0800

SCP

描述：远程复制

scp -r mysql 175.24.207.175:/home/work/dockerProject/

将当前服务器的mysql复制到175.24.207.175服务器的/home/work/dockerProject/目录下

DU

描述：查看大小

du -sh project

查看project文件夹占用空间大小

df -h

描述：查看物理磁盘空间

df -h

物理盘使用情况