← 文档

场景评估清单

用 1flowbase 评估自托管 AI 网关

English

当小型应用团队希望获得统一模型 API、可复用的工作流和可检查的运行记录时,可以使用本清单。场景和架构说明见小型应用团队何时需要自托管 AI 网关?

这是一份依据源码整理的评估步骤,不是已完成的安装实测。端点契约对照 v0.4.1 核实;界面名称与供应商支持需要在实际安装版本中验证。

1. 记录评估边界

  • 使用隔离的非生产部署与合成数据
  • 记录源码版本、实际容器镜像标签或摘要、供应商插件版本
  • 记录客户端版本、API 协议与必须支持的功能
  • 与供应商账号负责人确定允许的测试用量预算
  • 私密保存应用密钥、供应商凭据与安装器输出

使用官方安装说明和对应版本的部署文档。滚动安装器取得 main 部署文件,并可能使用 latest 镜像,不能视为固定 v0.4.1 安装。确认服务确实启动,不要把生成配置文件当作服务就绪。

2. 发布最小模型路径

  • 配置一个有权使用的供应商和模型,确认可用
  • 建立最小 AgentFlow,配置 Start 与 LLM 节点
  • 设置如 first-request 的公开模型名称并发布 API
  • 使用应用 API 密钥,而非上游供应商密钥或 root 密码
  • 核对安装版本 API 面板的端点和支持字段

稳定版的 gateway fixture 与 bootstrap 支持公开模型和应用密钥契约。这些是开发测试代码,不能替代部署说明。

3. 发出一次合成请求

场景文章中的最小 curl 请求使用 POST /v1/chat/completions、Bearer 应用认证、已发布模型名称与 stream: false。

  • HTTP 响应成功
  • 助手返回非空回答
  • 能在 Log 中找到对应运行
  • 提示内容、时间、模型调用和最终回答能对应起来
  • 缺失用量字段保持为未知

可以在提示中放入唯一的合成标记,方便人工关联。不要假定任意 metadata 字段都被接受,也不要假定客户端 user 标识等同于对话线程标识。

4. 按需要增加功能验证

如果客户端使用流式响应、工具调用、图片、取消或并发请求,分别测试这些路径。文本请求成功并不能证明其他路径也正常。

随后只选一个已有扩展:

用同一组代表性提示比较前后效果,把失败和重复尝试纳入延迟与用量统计。不能仅因配置了多个模型就宣称自动故障切换或降低成本。

5. 留下评估结论

记录版本、客户端与协议、成功案例、失败案例、缺失字段和仍需完成的运维工作。结论可以是“这条具体路径满足要求”,也可以是一份明确的阻塞清单。

在处理真实数据或对外提供服务前,为访问控制、HTTPS、数据保留、备份、升级和供应商数据处理分配负责人。自托管网关仍可能把请求发送到云供应商。

若下一步是团队调查队列,继续阅读构建 AI 运行评审原型;查看成本可参考 Token BOM 指南。