⌘ K
… 读取采集状态 同步中...
雷

语音与音频

AI 语音与音频的进展：语音合成、实时对话、音乐生成与音频理解的模型与产品。

24条精选相关主题多模态AI 视频产品更新

最新精选

第 1–20 条 · 共 24 条
10月4日周日
  1. 极客公园75

    Tavus 发布 Griffin 模型：全双工视频交互让 48% 用户误以为是真人

    Tavus 发布 Griffin 模型，定义为全球首个「人类交互模型」（HIM）。该模型采用全双工、视频到视频架构，在一分钟测试中 48% 的参与者误认为对面是真人。其核心突破在于端到端处理视觉与听觉信号，平均延迟 0.43 秒，并能在 NVIDIA VideoFDB 基准的生成赛道领先竞品。

    推荐理由：文章拆解了 Griffin 全双工视频到视频架构的延迟数据，并客观指出了其测试样本与图灵测试定义间的统计局限。

9月25日周五
  2. 新智元81

    网易有道开源R2T2与T3PO，登顶Hugging Face语音与翻译热榜

    网易有道开源真流式语音识别模型R2T2和流式翻译模型T3PO，发布5天内双双登顶Hugging Face语音识别与翻译Trending榜。R2T2在160ms延迟下中文字错率仅为3.48%，相比Whisper的伪流式方案显著降低了输出反悔风险，适合Voice Agent场景。

    推荐理由：原文通过对比Whisper展示了R2T2在低延迟下的准确率优势，并验证了T3PO的翻译能力，揭示了流式语音Agent的关键技术路径。

  3. Microsoft Azure AI Blog66

    Microsoft Foundry 推出语音智能体与持续优化功能

    Microsoft Foundry 新增语音智能体功能（公开预览）与持续优化能力，支持 80 多种语言，可将生产链路数据用于自动评估和优化智能体质量与成本。新增 GPT-6 系列与 Claude Opus 5.5 模型，并推出 Toolboxes 工具搜索、A2A 协议和 Routines 定时调度等通用可用功能。

    推荐理由：Foundry 新增语音智能体与持续优化闭环，让团队在保留现有资产的前提下，用生产数据迭代提示词、工具与模型选型。

9月24日周四
  1. 新智元89

    ChatGPT语音模式接入GPT-6与Work，支持语音执行插件和办公任务

    OpenAI为ChatGPT语音模式接入GPT-6家族模型和ChatGPT Work功能，实现通过语音指令直接操作邮件、日历、制作PPT及搭建网站。用户可通过语音使用插件，免费用户可使用桌面端Luna模型，Plus会员享有24小时3小时的语音时长额度。

    推荐理由：原文通过演示场景展示了语音直接调用插件和Work功能，读者可以直观理解免键盘交互的具体工作流变化。

9月23日周三
9月22日周二
9月16日周三
9月10日周四
9月3日周四
  1. Google Gemini API Release Notes66

    Google Lyria 3.5 音乐生成模型正式版上线

    Google 正式发布下一代音乐生成模型 Lyria 3.5 正式版。该模型支持全曲生成，提升音乐连贯性与自然人声表现，提供细粒度时长与结构控制，接受文本与图像输入，并生成 44.1 kHz 立体声高保真音频。

    推荐理由：Lyria 3.5 正式 GA，用户可直接调用其全曲生成、44.1 kHz 立体声音频与更细时长的官方入口。

9月2日周三
  1. 智东西79

    Meta发布实时音频感知模型Muse Voice Transcribe

    Meta推出由超级智能实验室开发的首个实时音频感知模型Muse Voice Transcribe，提供实时流式自动语音识别（ASR），支持超过20位说话人分割及1小时长音频处理。

    推荐理由：原文明确指出该模型支持超过20位说话人和1小时长音频，并展示了在流式基准测试中的排名。

8月27日周四
  1. AIGC开放社区84

    Google 发布新一代语音转写模型 Gemini 3.5 Transcribe

    Google 发布 Gemini 3.5 Transcribe 语音转写模型，支持 85 种以上语言，实时版延迟低于 1 秒，非实时版词错误率 2.6%。该模型通过 Gemini API 开放，具备智能转写功能可自动清理口误，一小时录音处理成本最低约 0.30 美元。

    推荐理由：原文提供了 Gemini 3.5 Transcribe 在延迟、准确率及实时与录音模式下的功能差异，有助于评估其在不同场景的可用性。

8月26日周三
  1. Google Gemini API Release Notes65

    Google 发布 Gemini 3.5 Transcribe 及 Live 实时语音转写模型

    Gemini 3.5 Transcribe 正式推出，包含两款专用语音转写模型。Gemini 3.5 Transcribe 支持 85 种以上语言的无流式高精度低延迟转写，提供说话人分离、词级时间戳及最多 1000 条自定义词汇偏置。

    推荐理由：官方提供了两款专用模型的能力差异与技术参数，便于开发者按非流式与流式场景选型。

8月14日周五
8月11日周二
  1. Hugging Face Blog70

    NVIDIA Magpie TTS 多语言语音模型发布：开放权重与全部署控制

    NVIDIA 发布 Magpie TTS 多语言版本，作为 364M 参数开放权重模型支持 12 种语言，新增阿拉伯语、韩语和巴西葡萄牙语。模型通过帧堆叠和局部 Transformer 架构改进降低推理延迟，在 B200 GPU 单流场景下 Time to First Audio 仅为 32ms，开发者可利用开放权重在自管基础设施中定制并部署低延迟多语言语音 Agent。

    推荐理由：文章解析了 Magpie TTS 在降低延迟方面的架构改进与多语言支持现状，为构建可控的语音 Agent 提供了技术选型依据。

8月7日周五
8月4日周二
  1. AI科技评论65

    GPT-Live 底层拆解：OpenAI 如何让 95% 的音频帧不再延迟

    OpenAI 发布 GPT-Live 工程文章，披露新版 ChatGPT 语音系统通过重写 Python 为 Go 及开发 WARP 协议，将 p95 音频帧延迟降至旧系统 p50 水平，WebRTC 网络往返从 6 次缩短至 1 次。系统采用双模型协作机制，将实时交互与复杂推理解耦，允许模型在用户打断时动态管理会话状态，实现了连续语音交互的工程化落地。

    推荐理由：拆解了 GPT-Live 如何通过架构分层、Go 重写及自定义 WARP 协议消除音频延迟，揭示了实时交互背后的工程细节。

6月9日周二
  1. Google DeepMind74

    Google DeepMind 发布 Gemini 3.5 Live Translate 语音翻译模型

    Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate，支持 70+ 语言的近实时语音到语音翻译，自动检测语种并保留说话者的语调、节奏和音高，连续生成译文，仅比说话者落后几秒。

    推荐理由：原文说明了从逐句等待到连续生成的机制差异，读者可据此理解它为何能做到低延迟。