Waifu2x 8K Upscaling Bug
导言
最近沉迷于VR资源的收集和处理，想使用Waifu2x-Extension-GUI将IVE Love DIVE的视频从4k upscaling 到 8K。但是软件出问题了，尝试debug
问题¶
视频出现莫名卡顿和噪点
仔细检查软件生成的中间文件，发现将超分好的8K图片合成成视频片段时，视频内容会出现不明噪点。
总时间2:14:15 ，最后合成视频花费大约30min
[2024-04-15 16:52:15]
错误! 无法将帧画面组装为视频!
ffmpeg version 2023-01-09-git-13d04e30d7-full_build-www.gyan.dev Copyright (c) 2000-2023 the FFmpeg developers
built with gcc 12.1.0 (Rev2, Built by MSYS2 project)
configuration: --enable-gpl --enable-version3 --enable-static --disable-w32threads --disable-autodetect --enable-fontconfig --enable-iconv --enable-gnutls --enable-libxml2 --enable-gmp --enable-bzlib --enable-lzma --enable-libsnappy --enable-zlib --enable-librist --enable-libsrt --enable-libssh --enable-libzmq --enable-avisynth --enable-libbluray --enable-libcaca --enable-sdl2 --enable-libaribb24 --enable-libdav1d --enable-libdavs2 --enable-libuavs3d --enable-libzvbi --enable-librav1e --enable-libsvtav1 --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxavs2 --enable-libxvid --enable-libaom --enable-libjxl --enable-libopenjpeg --enable-libvpx --enable-mediafoundation --enable-libass --enable-frei0r --enable-libfreetype --enable-libfribidi --enable-liblensfun --enable-libvidstab --enable-libvmaf --enable-libzimg --enable-amf --enable-cuda-llvm --enable-cuvid --enable-ffnvcodec --enable-nvdec --enable-nvenc --enable-d3d11va --enable-dxva2 --enable-libvpl --enable-libshaderc --enable-vulkan --enable-libplacebo --enable-opencl --enable-libcdio --enable-libgme --enable-libmodplug --enable-libopenmpt --enable-libopencore-amrwb --enable-libmp3lame --enable-libshine --enable-libtheora --enable-libtwolame --enable-libvo-amrwbenc --enable-libilbc --enable-libgsm --enable-libopencore-amrnb --enable-libopus --enable-libspeex --enable-libvorbis --enable-ladspa --enable-libbs2b --enable-libflite --enable-libmysofa --enable-librubberband --enable-libsoxr --enable-chromaprint
libavutil 57. 43.100 / 57. 43.100
libavcodec 59. 56.100 / 59. 56.100
libavformat 59. 34.102 / 59. 34.102
libavdevice 59. 8.101 / 59. 8.101
libavfilter 8. 53.100 / 8. 53.100
libswscale 6. 8.112 / 6. 8.112
libswresample 4. 9.100 / 4. 9.100
libpostproc 56. 7.100 / 56. 7.100
-vsync is deprecated. Use -fps_mode
Input #0, image2, from 'H:/W2xExTmp/cd5d2017e9c44ea730899d0557b7b71f/%05d.png':
Duration: 00:03:04.12, start: 0.000000, bitrate: N/A
Stream #0:0: Video: png, rgb24(pc), 7680x3840, 59.94 fps, 59.94 tbr, 59.94 tbn
Input #1, mov,mp4,m4a,3gp,3g2,mj2, from 'H:/18+/2D120fps4k/候选/IVE LOVE DIVE] 3D 180 VR_1920p.mp4':
Metadata:
major_brand : isom
minor_version : 512
compatible_brands: isomiso2mp41
encoder : Lavf60.4.100
Duration: 00:03:04.13, start: 0.000000, bitrate: 30214 kb/s
Stream #1:0[0x1](eng): Video: hevc (Main) (hev1 / 0x31766568), yuv420p(tv, bt709, progressive), 3840x1920 [SAR 1:1 DAR 2:1], 30074 kb/s, 59.94 fps, 59.94 tbr, 19001 tbn (default)
Metadata:
handler_name : VideoHandler
vendor_id : [0][0][0][0]
encoder : Lavc60.6.101 hevc_nvenc
Side data:
stereo3d: side by side
Stream #1:1[0x2](eng): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 130 kb/s (default)
Metadata:
handler_name : SoundHandler
vendor_id : [0][0][0][0]
Multiple -r options specified for stream 0, only the last option '-r 19001/317' will be used.
Stream mapping:
Stream #0:0 -> #0:0 (png (native) -> h264 (h264_nvenc))
Stream #1:1 -> #0:1 (aac (native) -> aac (native))
Press [q] to stop, [?] for help
[h264_nvenc @ 000001e4ff42cf00] Width 7680 exceeds 4096
[h264_nvenc @ 000001e4ff42cf00] No capable devices found
Error initializing output stream 0:0 -- Error while opening encoder for output stream #0:0 - maybe incorrect parameters such as bit_rate, rate, width or height
[image2 @ 000001e4ff3c5380] Thread message queue blocking; consider raising the thread_queue_size option (current value: 8)
Conversion failed!
[2024-04-15 16:52:15] 错误! 无法将帧画面组装成视频! 软件将自动重新尝试可能兼容的指令.
[2024-04-15 17:21:39] 结束组装视频:[H:/18+/2D120fps4k/候选/IVE LOVE DIVE] 3D 180 VR_1920p.mp4]
[2024-04-15 17:21:46] 处理完成.
GPT：你是视频编解码的软件ffmpeg使用的专家。如何将文件夹内的7680*3840的240张图片组合成60fps的视频
要使用 FFmpeg 将文件夹内的 7680x3840 分辨率的 240 张图片组合成一个 60fps 的视频，你需要首先确保这些图片按顺序命名，比如 img001.jpg, img002.jpg 直到 img240.jpg。然后可以使用以下 FFmpeg 命令来创建视频：
- 打开命令行工具。
- 切换到存放图片的文件夹。
- 执行以下 FFmpeg 命令：
这里的命令参数解释如下：
- -framerate 60: 设置输入帧率为 60fps，因为你想要得到的视频是 60fps。
- -i img%03d.jpg: 指定输入文件的格式和序列。这里 %03d 表示数字序列，三位数，从001开始。
- -c:v libx265: 使用 H.265 (也称为 HEVC) 编解码器进行视频编码，这是一种高效的视频压缩方法。
- -crf 18: 设置常量速率因子为 18，这是一个质量与压缩的平衡值，数值越低，视频质量越好，文件也越大。
- -pix_fmt yuv420p: 设置像素格式为 yuv420p，这是大多数视频播放设备和服务所兼容的格式。
确保你的系统已经安装了 FFmpeg。如果没有，你可以从 FFmpeg 官网 下载适用于你操作系统的版本并安装。
执行这个命令后，你的视频将被保存为 output.mp4。根据你的具体需求，你还可以调整其他参数，如视频比特率、分辨率等。
猜想与验证¶
各种选项开关后，重新尝试都失败了
- 先取消30s视频片段的限制，并且变为正常的分辨率
7680*3840（需要满足切成一半是正方形分辨率）, 而不是我一开始认为的网络上的8K分辨率7680*4320，重新尝试生成。预估耗时7h。 - 额外问题: 没有视频分段的话，就不会保存中间图片，完成任务后就会删除。
- 注意到
[2024-04-15 16:51:18] 在特殊情况下, [智能加速]可能导致画面丢失, 并造成视频卡顿. 您可以通过降低[最大误差]或者禁用[智能加速]来修复此问题. - 关闭
硬件加速，重新尝试一遍。 - 弄错了，确实有一项叫
智能加速 2.0，关闭后重新尝试一遍
[ ] 由于图片变视频失败，就尝试手动ffmpeg命令行生成。但是需要将视频帧拆分出来，然后按照图片超分处理，最后尝试ffmpeg合并