ffmpeg 学习笔记
1. 解码 mp3 的时候，使用 ffprobe，当 ffmpeg 的版本不同，出来的结果也不一样。
在 早期版本的时候，显示 sample format 是 s16 在 3.X 版本的时候，显示是 S16P 在 4.X 版本的时候，显示是 FLTP
经过实际测试，这个只是在解码的时候，写入 PCM 的格式。而且和 ffmpeg 本身的 build 相关。 当我们在代码中循环打印 支持的 格式的时候：
printf("support formats: %d \n", *(codec->sample_fmts + i)); 这个 codec 对应的是 AVCodec，它的 sample_fmts 对应的是 const enum AVSampleFormat *sample_fmts; AVSampleFormat 的 定义是在 libavutil/samplefmt.h 中。
enum AVSampleFormat {
AV_SAMPLE_FMT_NONE = -1,
AV_SAMPLE_FMT_U8, ///< unsigned 8 bits
AV_SAMPLE_FMT_S16, ///< signed 16 bits
AV_SAMPLE_FMT_S32, ///< signed 32 bits
AV_SAMPLE_FMT_FLT, ///< float
AV_SAMPLE_FMT_DBL, ///< double
AV_SAMPLE_FMT_U8P, ///< unsigned 8 bits, planar
AV_SAMPLE_FMT_S16P, ///< signed 16 bits, planar
AV_SAMPLE_FMT_S32P, ///< signed 32 bits, planar
AV_SAMPLE_FMT_FLTP, ///< float, planar
AV_SAMPLE_FMT_DBLP, ///< double, planar
AV_SAMPLE_FMT_S64, ///< signed 64 bits
AV_SAMPLE_FMT_S64P, ///< signed 64 bits, planar
AV_SAMPLE_FMT_NB ///< Number of sample formats. DO NOT USE if linking dynamically
};AVCodec 的定义在 libavcodec/avcodec.h 中。 codecpar 是在 AVStream 中定义的，AVCodecParameters *codecpar; AVStream 是在 libavformat/avformat.h 中。 发现 3.X 版本支持的是 1 和 6，对应到 S16 和 S16P， 而 4.X 版本支持的是 3 和 8.对应到 FLT 和 FLTP。
所以使用 3.X 版本解压出来的 PCM 的播放指令是：
play -t raw -r 48k -e signed-integer -b 16 -c 2 test.pcm使用 4.X 版本解压出来的 PCM 的播放指令是：
play -t raw -r 48k -e floating-point -b 32 -c 2 ./data_decode/out.pcm参考： https://trac.ffmpeg.org/ticket/7321 https://stackoverflow.com/questions/35226255/audio-sample-format-s16p-ffmpeg-or-audio-codec-bug https://bbs.csdn.net/topics/391984409
2. ffprobe 的用法可以参考：
https://my.oschina.net/u/4324861/blog/4325767 https://blog.csdn.net/byc6352/article/details/96729348 https://www.cnblogs.com/renhui/p/9209664.html
3. mp3 的 文件格式 和 编码，参考：
https://www.cnblogs.com/ranson7zop/p/7655474.html https://blog.csdn.net/xiahouzuoxin/article/details/7849249
4. API 变更记录
https://blog.csdn.net/leixiaohua1020/article/details/41013567
5. 使用 lame 编码 mp3 ，可以参考：
https://www.jianshu.com/p/dce4e2e9ed75 https://blog.csdn.net/bjrxyz/article/details/73435407 https://blog.csdn.net/rrrfff/article/details/18701885?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param https://blog.csdn.net/gonner_2011/article/details/77183947?utm_medium=distribute.pc_relevant.none-task-blog-title-2&spm=1001.2101.3001.4242 https://blog.csdn.net/jody1989/article/details/75642579 https://blog.csdn.net/ssllkkyyaa/article/details/90400302
6. 编码 mp3 除了 lame 还可以考虑 libshine，参考：
http://zhgeaits.me/android/2016/06/17/android-ffmpeg.html
7. 旧版本的 avcodec_decode_audio4 被废弃了，需要用收发机制。
旧版本的写法：
const char * infile = IN_FILE;
const char * outfile = OUT_FILE;
//注册所有容器解码器
av_register_all();
//printf("the video file is %s\n",argv[1]);
AVFormatContext * fmt_ctx = avformat_alloc_context();
//打开文件
if (avformat_open_input(&fmt_ctx, infile , NULL, NULL) < 0) {
printf("open file error");
return -1;
}
//读取音频格式文件信息
if (avformat_find_stream_info(fmt_ctx, NULL) < 0) {
printf("find stream info error");
return -1;
}
// 打印出解析到的媒体信息
av_dump_format(fmt_ctx, 0, infile, 0);
//获取音频索引
int audio_stream_index = -1;
for (int i = 0; i < fmt_ctx->nb_streams; i++) {
if (fmt_ctx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_AUDIO) {
audio_stream_index = i;
printf("find audio stream index\n");
break;
}
}
if (audio_stream_index == -1) {
printf("did not find a audio stream\n");
return -1;
}
//获取解码器
AVCodecContext *codec_ctx = avcodec_alloc_context3(NULL);
avcodec_parameters_to_context(codec_ctx, fmt_ctx->streams[audio_stream_index]->codecpar);
AVCodec *codec = avcodec_find_decoder(codec_ctx->codec_id);
if (codec == NULL) {
printf("unsupported codec !\n");
return -1;
}
//打开解码器
if (avcodec_open2(codec_ctx, codec, NULL) < 0) {
printf("could not open codec");
return -1;
}
//分配AVPacket和AVFrame内存，用于接收音频数据，解码数据
AVPacket *packet = av_packet_alloc();
AVFrame *frame = av_frame_alloc();
//接收解码结果
int got_frame;
int index = 0;
//pcm输出文件
FILE *out_file = fopen(outfile, "wb");
//将音频数据读入packet
while (av_read_frame(fmt_ctx, packet) == 0) {
//取音频索引packet
if (packet->stream_index == audio_stream_index) {
//将packet解码成AVFrame
if (avcodec_decode_audio4(codec_ctx, frame, &got_frame, packet) < 0) {
printf("decode error:%d", index);
break;
}
if (got_frame > 0) {
//printf("decode frame:%d", index++);
//想将单个声道pcm数据写入文件
fwrite(frame->data[0], 1, static_cast<size_t>(frame->linesize[0]), out_file);
}
}
}
printf("decode finish...");
//释放资源
av_packet_unref(packet);
av_frame_free(&frame);
avcodec_close(codec_ctx);
avformat_close_input(&fmt_ctx);
fclose(out_file);
}新版本的解码这样写：
void decode(const char * infile, const char * outfile)
{
AVFormatContext * fmt_ctx = 0; // ffmpeg的全局上下文，所有ffmpeg操作都需要
AVCodecContext * codec_ctx = 0; // ffmpeg编码上下文
AVCodec * codec = 0; // ffmpeg编码器
AVPacket * packet = 0; // ffmpag单帧数据包
AVFrame * frame = 0; // ffmpeg单帧缓存
FILE * out_file = NULL; // 用于文件操作
int audio_stream_index = -1; // 音频序号
//注册所有容器解码器
av_register_all();
fmt_ctx = avformat_alloc_context();
if (fmt_ctx == NULL) {
printf("failed to alloc av format context\n");
goto END;
}
//打开文件
if (avformat_open_input(&fmt_ctx, infile , NULL, NULL) < 0) {
printf("open file error");
goto END;
}
//读取音频格式文件信息
if (avformat_find_stream_info(fmt_ctx, NULL) < 0) {
printf("find stream info error");
goto END;
}
// 打印出解析到的媒体信息
av_dump_format(fmt_ctx, 0, infile, 0);
//获取音频索引
for (int i = 0; i < fmt_ctx->nb_streams; i++) {
if (fmt_ctx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_AUDIO) {
audio_stream_index = i;
printf("find audio stream index\n");
break;
}
}
if (audio_stream_index == -1) {
printf("did not find a audio stream\n");
goto END;
}
//获取解码器
codec_ctx = avcodec_alloc_context3(NULL);
avcodec_parameters_to_context(codec_ctx, fmt_ctx->streams[audio_stream_index]->codecpar);
codec = avcodec_find_decoder(codec_ctx->codec_id);
if (codec == NULL) {
printf("unsupported codec !\n");
goto END;
}
//打开解码器
if (avcodec_open2(codec_ctx, codec, NULL) < 0) {
printf("could not open codec");
goto END;
}
printf("codec name: %s, channels: %d, sample rate: %d, sample format %d\n", codec->name, codec_ctx->channels, codec_ctx->sample_rate, codec_ctx->sample_fmt);
//分配AVPacket和AVFrame内存，用于接收音频数据，解码数据
packet = av_packet_alloc();
frame = av_frame_alloc();
if (!packet || !frame) {
printf("failed to alloc packet or frame\n");
goto END;
}
//pcm输出文件
out_file = fopen(outfile, "wb");
//将音频数据读入packet
while (av_read_frame(fmt_ctx, packet) == 0) {
//取音频索引packet
if (packet->stream_index == audio_stream_index) {
int ret = 0;
// 将封装包发往解码器
if ((ret = avcodec_send_packet(codec_ctx, packet))) {
printf("failed to avcodec_send_packet, ret = %d\n", ret);
break;
}
// 从解码器循环拿取数据帧
while (!avcodec_receive_frame(codec_ctx, frame)) {
// 获取每个通道每次采样占用几个字节, S16P格式是2字节
int bytes_num = av_get_bytes_per_sample(codec_ctx->sample_fmt);
for (int index = 0; index < frame->nb_samples; index++) {
// 交错的方式写入
for (int channel = 0; channel < codec_ctx->channels; channel++) {
fwrite((char *)frame->data[channel] + bytes_num * index, 1, bytes_num, out_file);
}
}
av_packet_unref(packet);
}
}
}
printf("decode finish...\n");
//释放资源
END:
fclose(out_file);
if (frame) {
av_frame_free(&frame);
printf("free frame.\n");
}
if (packet) {
av_packet_unref(packet);
printf("free packet.\n");
}
if (codec_ctx) {
avcodec_close(codec_ctx);
printf("free codec context.\n");
}
if (fmt_ctx) {
avformat_close_input(&fmt_ctx);
printf("free format context.\n");
}
}编码这样写：
int encode(const char * infile, const char *outfile, uint32_t sample_rate, uint8_t channel_num)
{
// 输入输出文件指针
FILE * in_file = NULL;
FILE * out_file = NULL;
// 打开输入文件
if ((in_file = fopen(infile, "rb+")) == NULL) {
printf("failed to open %s \n", infile);
return -1;
}
// 打开输出文件
if ((out_file = fopen(outfile, "wb+")) == NULL) {
printf("failed to open %s \n", outfile);
fclose(in_file);
return -1;
}
// 初始化编码参数
lame_t lame = lame_init();
// 设置编码参数
lame_set_in_samplerate(lame, sample_rate);
lame_set_VBR(lame, vbr_default);
lame_set_num_channels(lame, channel_num);
// 初始化编码器
lame_init_params(lame);
// 编码时用来存放数据的数组，大小建议为 mp3 的采样率 * 1.25 + 7200
// PCM 通常使用16bit 数据，占用两个字节，如果是双通道，那么读取PCM交错数据时一次最好是 2 * 2 = 4 个字节。
uint32_t size = (sample_rate * 1.25) / (2 * channel_num) * (2 * channel_num) + 7200;
// 申请存放数据内存, 如果申请出错，需要释放占用的资源
int16_t * pcm_buffer = NULL;
uint8_t * mp3_buffer = NULL;
pcm_buffer = (int16_t *)malloc(size);
mp3_buffer = (uint8_t *)malloc(size);
if (!pcm_buffer || !mp3_buffer) {
if (pcm_buffer)
free(pcm_buffer);
if (mp3_buffer)
free(mp3_buffer);
lame_close(lame);
fclose(in_file);
fclose(out_file);
printf("buffer malloc error!\n");
return -1;
}
printf("encode start...\n");
// 读取 PCM 的字节数目
size_t read_num = 0;
do {
// 读取 PCM 数据
read_num = fread(pcm_buffer, 1, size, in_file);
// 转换 MP3 数据，如果获得的数目是0，说明转换结束，需要把 lame 转换剩余的数据全部存放到 MP3 数组里面。
int write_num = 0;
if (read_num == 0) {
write_num = lame_encode_flush(lame, mp3_buffer, size);
} else {
write_num = lame_encode_buffer_interleaved(lame, pcm_buffer, static_cast<int>(read_num / sizeof(int16_t) / channel_num), mp3_buffer, size);
}
// 转换后的数据写入文件。
fwrite(mp3_buffer, write_num, 1, out_file);
} while (read_num > 0);
printf("encode finish\n");
// 给文件添加 MP3 的 TAG 信息。
lame_mp3_tags_fid(lame, out_file);
// 释放资源
lame_close(lame);
fclose(in_file);
fclose(out_file);
return 0;
}参考： https://blog.csdn.net/weixin_41353840/article/details/108000466
8. 解码 pcm 当中容易碰到的坑和相应的编码格式，可以参考:
https://blog.csdn.net/qq21497936/article/details/108799279 https://blog.csdn.net/leixiaohua1020/article/details/50534316
9. 雷神关于编码和解码相关的文章：
https://blog.csdn.net/leixiaohua1020/article/details/50534316 https://blog.csdn.net/leixiaohua1020/article/details/42181571 https://blog.csdn.net/leixiaohua1020/article/details/8652605 https://blog.csdn.net/leixiaohua1020/article/details/15811977 https://blog.csdn.net/leixiaohua1020/article/details/50534316 https://blog.csdn.net/leixiaohua1020/article/list/3
10. ffmpeg 读取码率和帧信息的可以参考：
https://blog.51cto.com/ticktick/1869849 https://blog.51cto.com/ticktick/1872008 https://blog.51cto.com/ticktick/1867059
11. ffmpeg 的例程可以参考：
https://stackoverflow.com/questions/2641460/ffmpeg-c-api-documentation-tutorial
12. av_register_all（） 这个函数废弃了。
参考：https://github.com/leandromoreira/ffmpeg-libav-tutorial/issues/29
13. 测试的 mp3 可以从这个网站下载：
http://www.goodkejian.com/erge.htm
14. 命令行形式使用 ffmpeg
参考： https://segmentfault.com/a/1190000016652277 https://cloud.tencent.com/developer/article/1566587
15. 解码例程可以参考：
https://github.com/iamyours/FFmpegAudioPlayer https://gitee.com/zouwm1995/ffmpeg-demo/blob/master/demo/2.%E8%A7%A3%E7%A0%81/decode.c https://www.jianshu.com/p/8ff162ac55bd https://blog.csdn.net/weixin_44721044/article/details/104736782 https://bbs.csdn.net/topics/390401066
16. 编译 ffmpeg
https://www.cnblogs.com/CoderTian/p/6655568.html
17. S16 变成了 S16P，参考：
https://blog.csdn.net/chinabinlang/article/details/47616257 https://blog.csdn.net/disadministrator/article/details/43734335
18. 查看当前的 ffmpeg 支持哪些编码解码器，类似于这样。
ffmpeg -codecs | grep mp319. 用于 ffmpeg 的 cmake 可以参考：
https://www.cnblogs.com/liuxia19872003/archive/2012/11/09/2763173.html