西北工业大学开源了一个语音理解模型：OSUM，支持8种语音理解任务，从ASR到情感识别，以及语音到文本的深度理解支持语音识别(ASR)带时间戳的语音识别(SRWT)声音事件检测(VED)语音情感识别(SER)说话风格识别(SSR)说话者性别分类(SGC)说话者年龄预测(SAP)语音到文本对话(STTC)

发布时间: 2025-02-21 00:50:29

2分

数据加载中

关注推特

收听电报

3

2

1

西北工业大学开源了一个语音理解模型：OSUM，支持8种语音理解任务，从ASR到情感识别，以及语音到文本的深度理解
支持语音识别(ASR)
带时间戳的语音识别(SRWT)
声音事件检测(VED)
语音情感识别(SER)
说话风格识别(SSR)
说话者性别分类(SGC)
说话者年龄预测(SAP)
语音到文本对话(STTC)
时政
( twitter.com )

3个月前由 AIGCLINK 提交

西北工业大学开源了一个语音理解模型：OSUM，支持8种语音理解任务，从ASR到情感识别，以及语音到文本的深度理解

支持语音识别(ASR)
带时间戳的语音识别(SRWT)
声音事件检测(VED)
语音情感识别(SER)
说话风格识别(SSR)
说话者性别分类(SGC)
说话者年龄预测(SAP)
语音到文本对话(STTC)

它结合了Whisper和Qwen2，采用ASR+X训练策略，支持多任务同时训练优化

#语音理解模型 #语音识别 #OSUM

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

# AI 开源模型分享
最强语音识别和说话人分离模型
Reverb 推出最强开源语音识别 (ASR) 和说话人分离 (Diarization) 模型, 评测结果击败 OpenAI 推出的 Whisper large-v3！
# Reverb ASR 模型
- 使用 20 万小时的人工转录数据训练
- 达到了最新的词错误率 (WER) 水平
- 支持可定制的逐字转录
#
时政
( twitter.com)

8个月前 • meng shao • -- 点击 0 评论

2

2

1

1

我大鹅厂也开始开源了，希望别烂尾。
腾讯正式公布，旗下混元文生图大模型已完成升级，并对外开源。
此次升级的模型采用了与Sora相同的DiT架构，不仅能够支持文生图，也能作为视频等多模态视觉生成的基础。
这是业界首个中文原生的DiT架构文生图开源模型，支持中英双语输入及理解，15亿参数。
时政
( twitter.com)

1年前 • Leo Xiang • -- 点击 0 评论

3

3

2

2

阿里巴巴起诉前核心员工周畅
指其在离职后违反了竞业协议，加入字节跳动并从事相关 AI 大模型工作。
周畅 2017 年博士毕业于北京大学计算机软件与理论专业，随后加入阿里巴巴，花名“钟煌”，是阿里通义千问大模型的技术负责人，曾和团队推出一系列语言模型、多模态模型。
时政
( twitter.com)

6个月前 • 小互 • -- 点击 0 评论

4

3

2

2

不少学生涌入西北工业大学B站账号，要求学校给一个合理的解释，披露该事件更多细节。
时政
( twitter.com)

6个月前 • 李老师不是你老师 • -- 点击 0 评论

5

2

1

1

部署在树莓派 (Raspberry Pi)上 GPT 语音助手，使用开源的大型语言模型（LLM）响应请求，转给爱折腾的小伙伴。
IT技术
( github.com)

1年前 • Geek • -- 点击 0 评论

6

2

1

1

DeepSeek 开始搞多模态了。
开源了一个多模态理解和生成一体的模型 Janus，既可以理解图片内容又可以生成图片。
Janus的核心创新是将视觉编码分为两个独立的部分:一个用于多模态理解,一个用于图像生成。
IT技术
( twitter.com)

7个月前 • 歸藏(guizang.ai) • -- 点击 0 评论

7

2

1

1

发现了一个宝藏资源！
这位大神开源了一门课程《从头开始构建大型语言模型》，课程将逐步带你创建自己的LLM。
每个章节都配有详尽的文字说明、图表和实例来讲解关键概念。
课程内容包含：
基础知识：深入理解注意力机制
模型构建：创建并预训练类似于GPT的模型
权重加载：掌握如何加载预训练权重
时政
( twitter.com)

6个月前 • Y11 • -- 点击 0 评论

8

2

1

1

【学霸不让抄作业】
ChatGPT出来后，中国涌现了一百多大模型；Sora出现后，中国一个跟上的也没有。我很奇怪，问了一个行业内人士，人家说ChatGPT是开源的，Sora不开源。
噢，这么回事，学霸把作业本合上，不让抄作业了。小气。
网友：正能量的东西，真假不重要，立场第一！
时政
( twitter.com)

1年前 • 章立凡 ©️Zhang Lifan💎 • -- 点击 0 评论

9

2

1

1

兄弟们，这个好
TheoremExplainAgent：将任何数学和科学定理自动转换为易于理解的视频动画
基于双智能体架构，利用大语言模型的推理能力，结合动画生成和语音合成技术，模仿人类视频制作流程
自动化创建长时间（超过5分钟）的定理解释视频，可以将复杂的学术概念转化为易于理解的视频动画解释。
时政
( twitter.com)

3个月前 • 小互 • -- 点击 • 下载视频 0 评论

00:00:38

0.09416 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特