daily - 构建实时语音与多模态 AI 流水线
提供使用流水线、传输方式、AI 服务、工具和部署选项构建实时语音与多模态 AI 应用的指南。
标签
更新于: 2026-09-29能力
典型输入
典型输出
该技能可以做什么
- 构建实时语音对话
- 处理音频和视频多模态数据
- 集成 AI 服务提供商
- 连接外部函数和 API
- 管理对话上下文
- 配置传输连接
- 检测轮次和打断
- 创建自定义帧处理器
- 构建结构化对话流程
- 监控延迟和用量
- 集成前端客户端 SDK
- 部署和扩展应用
输入
- 用户音频
- 用户视频
- 用户文本
- AI 服务配置
- 传输配置
- 对话上下文
- 工具定义
- 外部 API 凭据
- 会话参数
输出
- 音频响应
- 视频响应
- 文本响应
- 语音转写结果
- 函数调用结果
- 对话上下文更新
- 会话生命周期事件
- 延迟和用量指标
- 分布式追踪数据