Google Cloud API Gateway 为实时和 AI 驱动的应用引入流式传输支持
BestBlog编程类文章 · 软件开发
📌 One-Sentence Summary Google Cloud API Gateway 以公开预览版形式引入流式传输支持，让 AI 应用能够实时通信，同时保留现有的安全与可观测性控制，且无需更改 API 规范。 📝 Summary Google Cloud API Gateway 宣布以公开预览版形式支持流式传输，将传统的请求-响应模式扩展为可处理需要实时通信的应用。此功能对需要流式模型响应、多步骤智能体工作流和交互式会话的 AI 应用尤为重要。借助这项新功能，流式端点可以在 API Gateway 后运行，同时保留现有的网关策略和安全控制，解决了此前开发者不得不在流式传输与网关保护之间二选一的问题。API Gateway 支持服务器发送事件（SSE）、分块传输编码、HTTP 响应流、WebSocket 和 gRPC，连接最长可保持开放一小时。重要的是，此次发布无需更改现有 API 规范，也不需要使用特定 API、扩展或注解，即可支持流式传输。所有现有 API 配置和功能均可照常使用，包括 API 密钥强制校验、JWT 验证、服务账号身份验证，以及与 Cloud Logging 和 Monitoring 的集成、路径模板功能。此次发布还引入了格式确定的网关主机名：GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev。Google 强调，流式传输对 AI 应用至关重要，因为模型响应是逐步生成的。API Gateway 还支持模型路由，可提供单一的 OpenAI 兼容端点，根据请求负载中的 model 字段，将请求路由到 Gemini、Claude 或 OpenAI 模型。 💡 Main Points API Gateway 现已支持流式传输，无需更改现有 API 规范或配置。 公开预览版新增了对 SSE、分块传输编码、HTTP 响应流、WebSocket 和 gRPC 的流式传输支持，同时保留所有现有网关策略、安全控制和功能，包括 API 密钥强制校验、JWT 验证和 Cloud Logging 集成。 流式传输使渐进式模型响应和多步骤智能体工作流等实时 AI 应用成为可能。 开发者现在可以实时传输模型响应、在多步骤任务执行期间更新智能体进度、支持工具调用协议，并处理需要与后端持续通信的交互式 AI 应用。 可预测的网关主机名让开发者能在创建资源之前引用和配置网关。 此前，网关主机名包含生成的哈希值，只有创建后才能确定。现在，主机名采用确定的格式：GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev，从而便于进行基础设施规划和配置管理。 模型路由通过单一的 OpenAI 兼容端点，集中管理对 AI 模型的访问。 API Gateway 可根据请求负载中的 model 字段，将请求路由到 Gemini、Claude 或 OpenAI 模型，让开发者能够集中控制哪些模型可供访问、由谁访问，以及适用哪些策略。 预览期间，必须通过 --enable-streaming 标志主动启用流式传输。 在预览阶段，开发者创建网关时必须明确指定 --enable-streaming 命令行标志才能启用流式功能。这意味着该功能尚未默认启用，在生产环境中可能需要额外更改配置。 💬 Key Quotes 此前，在 API Gateway 上构建这类体验的开发者不得不做出一个两难选择：要么在 API 前部署 API Gateway 并放弃流式传输，要么让流式端点绕过网关，从而失去网关原本提供的身份验证、API 密钥强制校验和可观测性。 模型路由加上流式传输，意味着客户端可以使用熟悉且基于标准的流式接口，同时你仍可集中控制哪些模型可供访问、由谁访问，以及适用哪些策略。 此次发布新增了流式传输支持，无需更改现有 API 规范，也不需要使用特定 API、扩展或注解。 📊 Article Meta AI Screening： 85 Source： InfoQ Author： Sergio De Simone Category： 软件编程 Language： 英文 Read Time： 2 min Word Count： 486 Tags： 编程与工程 , 云原生 / DevOps , 系统设计 , 性能优化 , 后端开发 Read Full Article