或许是当前最好的带说话人识别的语音转文字方案?试了下Whisper + Nvidia Nemo, 比之前用PyAnnote效果好不少. (有更好的请告诉我!)另外实验了下, 做完这步后. 说话人名字也可以很方便的用LLM来根据文本内容来识别. (speaker 0 -> Elon Musk 这样)*附上了一段全自动生成的字幕作为展示

发布时间: 2024-03-16 12:40:35

1分

数据加载中

关注推特

收听电报

2

1

0

或许是当前最好的带说话人识别的语音转文字方案?
试了下Whisper + Nvidia Nemo, 比之前用PyAnnote效果好不少. (有更好的请告诉我!)
另外实验了下, 做完这步后. 说话人名字也可以很方便的用LLM来根据文本内容来识别. (speaker 0 -> Elon Musk 这样)
*附上了一段全自动生成的字幕作为展示
时政
( twitter.com )

1年前由 G_Z 提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

3

2

2

西北工业大学开源了一个语音理解模型：OSUM，支持8种语音理解任务，从ASR到情感识别，以及语音到文本的深度理解
支持语音识别(ASR)
带时间戳的语音识别(SRWT)
声音事件检测(VED)
语音情感识别(SER)
说话风格识别(SSR)
说话者性别分类(SGC)
说话者年龄预测(SAP)
语音到文本对话(STTC)
时政
( twitter.com)

1个月前 • AIGCLINK • -- 点击 • 下载视频 0 评论

00:01:17

2

2

1

1

# AI 开源模型分享
最强语音识别和说话人分离模型
Reverb 推出最强开源语音识别 (ASR) 和说话人分离 (Diarization) 模型, 评测结果击败 OpenAI 推出的 Whisper large-v3！
# Reverb ASR 模型
- 使用 20 万小时的人工转录数据训练
- 达到了最新的词错误率 (WER) 水平
- 支持可定制的逐字转录
#
时政
( twitter.com)

6个月前 • meng shao • -- 点击 0 评论

3

2

1

1

Geimini 1.5 原生多模态的音频理解, 强的有点夸张...
不仅能识别说话语气, 还能自动识别说话人到人名?
我拿了一个最近两天的音频给Geimin 1.5
问: "整体概括, 告诉我前两分钟说话的人是谁. 语气如何"
不仅几乎完美回答, 同时还把具体说话的美国议员的名字都识别出来了... (这真不是data leak?)
时政
( twitter.com)

1年前 • G_Z • -- 点击 0 评论

4

2

1

1

我经常会推荐一些工具，但同一件事可能有多个工具能做。

比如我推荐Whisper可以语音转字幕，就有人说飞书、剪映能做这事还不用这么麻烦；我推荐Whisper做字幕识别，有人就说YouTube不是直接能识别吗；比如我推荐文字转语音…
推特中文圈
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

5

2

1

1

ElevenLabs推出AI配音和语音翻译服务

1、多语言支持：提供29种不同的语言选项，覆盖了全球主要的语言。

2、多人说话识别：能够识别视频中的多个说话人，并在翻译版本中保持不同和可识别的声音。

3、本土化：不仅仅是翻译，还能根据目标语言的文化和习惯进行本地化，使其更加贴近当地听众。…
IT技术
( twitter.com)

1年前 • 小互 • -- 点击 • 下载视频 0 评论

00:00:28

6

2

1

1

用最新版!

效果远比之前自己用VITS类做出来的好，
这次还自带多语言支持（只用给中文数据，直接能说各种其他语言）.

多音字和发音上还有进步空间，但训练方便程度（~5分钟录音）和暂时无出其右的多语言是真的漂亮.

用在问答机器人或者语言学习上也会蛮有意思的.
时政
( twitter.com)

1年前 • G_Z • -- 点击 • 下载视频 0 评论

00:00:29

7

2

1

1

OpenAI已经为“GPT-5”提交了商标申请，该商标涵盖了以下内容：

- “人工生成人类语音和文本的软件”
- “将音频数据文件转换为文本”
- “声音和语音识别”
- “基于机器学习的语言和语音处理”…
IT技术
( twitter.com)

1年前 • GPTDAOCN • -- 点击 0 评论

8

3

2

2

剑桥版圣书体象形文字“字母表”——世界性的悲剧，埃及学学界不知道圣书体象形文字最初都是汉字，发汉语古音，这些古音至今还在中国从西南边陲到东南沿海一带的方言中保留，主要是闽南语、吴语、客家话、平话等。
请大家收好我的释读，这是有根有据的释读，任何“专家”不要试图来抗辩。
不要说我不讲武德。
时政
( twitter.com)

11个月前 • 广百宋斋 @ 道非常 • -- 点击 0 评论

9

2

1

1

#开源项目推荐：SwiftWhisper

SwiftWhisper是基于Whisper.cpp二次封装后，让Swift方便调用的库，基于它可以方便的开发语音识别转文字类的Whisper应用。

IT技术
( github.com)

1年前 • 宝玉 • -- 点击 0 评论

0.13096 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特