跳转至

Piano: Transcribe Piano Sheet Music from Video using AI model

肯定有人问,这不是计算机博客吗?哦!诶!我就不,我想怎么写就怎么写😋

基于bytedance/piano_transcription的AI扒谱

github指路

扒B站视频

直接用jiji,太简单了~

环境配置

snode0 P40

git clone https://github.com/bytedance/piano_transcription.git
python3 -m venv pyEnv
source ./pyEnv/bin/activate

install pytorch

https://pytorch.org/ 选择对应cuda版本下载即可

下载预训练模型

pip install piano_transcription_inference

使用预训练模型转mp3变mid文件(MIDI)

可见第二行和最后一行是输入mp3文件和输出mid文件

from piano_transcription_inference import PianoTranscription, sample_rate, load_audio

# Load audio
(audio, _) = load_audio('resources/cut_liszt.mp3', sr=sample_rate, mono=True)

# Transcriptor
transcriptor = PianoTranscription(device='cuda')    # 'cuda' | 'cpu'

# Transcribe and write out to MIDI file
transcribed_dict = transcriptor.transcribe(audio, 'cut_liszt.mid')
存储在python文件运行

错误1:audioread.exceptions.NoBackendError

原因没对应软件,打不开mp3文件。

解决

sudo apt-get install ffmpeg
pip install ffmpeg # 来调用command ffmpeg

问题:音符都是对的,但是音长不对

可能是延音踏板的原因,都是统一结束的

基于谷歌MT3的AI扒谱

github指路

基于谷歌的t5x框架写的,还要学习一下

mid文件网址

爱给网

mid文件可视化

CUtmidi,FL Studio,Finale, MuseScore 3等软件

FL Studio安装

有钱建议支持正版

https://pan.baidu.com/s/1fJ0h-JKK2ZAKzJFi2FrO-g#list/path=%2F 提取密码:no0l

破解步骤: 1.将所有文件解压到一个空目录里面,注意路径不能有中文 2.解压里面压缩包:和FL Studio 20.8.3.2304 Expansion Pack 3.打开fl studio 20.8.3.2304 c fixed 13,找到部署程序.exe,以管理员身份运行 4.顺着部署程序走,当桌面上有快捷方式生成时直接关闭部署程序(不要点停用) 5.桌面上只留一个快捷方式,建议留64bit的那个 6.防火墙断网 7.最后一步,将FL Studio 20.8.3.2304 Expansion Pack中除了system以外所有的文件夹移动至fl studio 20.8.3.2304 c fixed 13中

注意事项: 1.部署程序以管理员身份运行 2.部署程序跑完之后记得防火墙断网(自己百度)

部署程序报错: 1.部署程序报错“检测到x个文件被修改” 解决方法:将杀毒软件关闭,并且将解压后的所有文件删除,再次解压。 2.FL界面出现部分中文不显示 解决方法:重新部署,先点击停用,开始前勾选符号链接选项(第六个选项) 3.点开FL时弹窗报错“QuickFontCache.dll is not found” 解决方法:使用部署程序

FL Studio使用

但是是横向的?

可以选择时间切片,循环播放

可以显示输入的

https://latouchemusicale.com/en/midi-player-online/ 要会员

http://www.musicarta.com/midi-piano-music.html

特效钢琴

Windows

Synthesia , 瀑布流软件

将下载的settings.xml替换C:\Users\Administrator\AppData\Roaming\Synthesia里对应的文件,就可以完成破解。

苹果

seemusic??

  1. 免费但是有水印
  2. 翻墙购买

MIDI转基本五线谱

苹果 Logic Pro X 乐谱编辑器

FL有官方说明,这辈子都不会加入五线谱功能,汗

FL有导出乐谱选项

需要划分左右手

C5包括以上为左手,选择后 Alt+C改变颜色

https://www.image-line.com/fl-studio-learning/fl-studio-online-manual-zh/html/pianoroll.htm

这也太烂了,得换一个

需要进一步的研究学习

暂无

遇到的问题

开题缘由、总结、反思、吐槽~~

B站的钢琴视频就是没谱,气死我了。老子自己扒

参考文献