AvFrame和AvPacket

在FFmpeg中,未压缩的图像和压缩的视频码流分别使用AVFrame结构和AVPacket结构保存; 针对视频编码器,其流程为从数据源获取图像格式的输入数据,保存为AVFrame对象并传入编码器,从编码器输出AVPacket结构。

1. AVFrame结构体

typedef struct AVFrame {
#define AV_NUM_DATA_POINTERS 8 //表示一个AVFrame结构最多保存8个图像分量;
 
	//待编码的图像像素数据保存在其中,各图像分量的像素数据保存在AVframe::data[0]~data[7]
    uint8_t *data[AV_NUM_DATA_POINTERS];
 
    int linesize[AV_NUM_DATA_POINTERS]; //每个分量的存储区的宽度,称为步长;
 
	/*指向数据平面/通道的指针。
	  对于视频,指向data[]
	  对于planar音频,每个通道有分离的数据指针,且linesize[0]包含每个通道buffer的大小;
	  对于packed音频,仅仅是一个数据指针,且linesize[0]包含所有通道buffer的总大小; 
	*/
    uint8_t **extended_data;
 
	//图像宽高
    int width, height;
 
	//本帧描述的音频采样数(每个频道) 
    int nb_samples;
 
     //帧格式,常见的为AV_PIX_FMT_YUV420P
    int format;
 
    int key_frame; //当前帧的关键帧标识位;1表该帧为关键帧;0表非关键帧;
 
 
    enum AVPictureType pict_type;//当前帧的类型,0,1,2分别表示I帧,P帧,B帧;
 
    //采样视频帧的长宽比,如果未知/未指定,则为0/1;
    AVRational sample_aspect_ratio;
 
    int64_t pts;//当前帧的显示时间戳;
 
#if FF_API_PKT_PTS
    //PTS复制自AVPacket，被解码产生此帧。
    int64_t pkt_pts;
#endif
 
    //dts从触发返回帧的AVPacket中复制
    //这也是由AVPacket计算出的AVFrame的显示时间。 无PTS值的DTS值
    int64_t pkt_dts;
 
    //按位流顺序排列的图片编号
    int coded_picture_number;
	
    //图片编号按显示顺序排列
    int display_picture_number;
 
    //质量
    int quality;
 
    void *opaque; //用户私有数据
 
    //当解码时，这表示图像必须延迟多少
    int repeat_pict;
 
    //图片的内容是交错的
    int interlaced_frame;
 
    //如果内容是交错的，则首先显示顶部字段。 
    int top_field_first;
 
    //告诉用户应用程序调色板已从上一帧更改。 
    int palette_has_changed;
 
    int64_t reordered_opaque;
 
    //音频数据采样速率
    int sample_rate;
 
    //音频数据的通道布局。
    uint64_t channel_layout;
 
    //AVBuffer引用支持这个帧的数据
    AVBufferRef *buf[AV_NUM_DATA_POINTERS];
 
    AVBufferRef **extended_buf;
 
	//扩展buf中的元素数目
    int        nb_extended_buf;
 
    AVFrameSideData **side_data;
    int            nb_side_data;
 
	//帧标志
    int flags;
 
    enum AVColorRange color_range;
 
    enum AVColorPrimaries color_primaries;
 
    enum AVColorTransferCharacteristic color_trc;
 
    enum AVColorSpace colorspace;
 
    enum AVChromaLocation chroma_location;
 
    //帧时间戳估计使用各种启发式
    int64_t best_effort_timestamp;
 
    //从输入到解码器的最后一个AVPacket重新排序pos 
    int64_t pkt_pos;
 
    //对应报文的持续时间，以AVStream->time_base units表示，如果未知则为0
    int64_t pkt_duration;
 
    AVDictionary *metadata;
 
	//音频通道数,仅用于音频
    int channels;
 
   //包含压缩帧的相应数据包的大小 
    int pkt_size;
 
    AVBufferRef *hw_frames_ctx;
 
    AVBufferRef *opaque_ref;
 
    size_t crop_top;
    size_t crop_bottom;
    size_t crop_left;
    size_t crop_right;
 
    AVBufferRef *private_ref;
} AVFrame;
 

在AVFrame结构中,它所包含的最重要的结构即数据的缓存区；待编码的数据的像素数据保存在AVFrame结构的data指针所保存的内存区中;
一个AVFrame结构最多可以保存8个图像分量,各图像分量的像素数据保存在AVFrame::data[0]~AVFrame::data[7]所指向的内存区中;

1.1 创建AVFrame结构的实例并初始化

AVFrame *av_frame_alloc(void);
注:仅仅创建AVFrame结构的实例,以及初始化内部各个字段的值,并没有分配用于存储其内部图像的内存空间;

1.2 给AVFrame结构体中的音视频数据分配内存空间

int av_frame_get_buffer(AVFrame *frame, int align)；
作用:实际分配内存空间;
参数1:AVFrame指针;
参数2:对齐方式,<=0表示以32字节对齐;否则以align对齐;

示例:

//创建AVFrame结构的实例并初始化;
//仅仅创建AVFrame的实例,并没有分配用于存储其内部图像的内存空间;
frame = av_frame_alloc();
if (!frame) {
    fprintf(stderr, "Could not allocate video frame\n");
    exit(1);
}
frame->format = c->pix_fmt;
frame->width  = c->width;
frame->height = c->height;
 
//给AVFrame结构中的音视频数据分配内存空间;
ret = av_frame_get_buffer(frame, 0);
if (ret < 0) {
    fprintf(stderr, "Could not allocate the video frame data\n");
    exit(1);
}

1.3 将保存了图像数据的AVFrame结构传入编码器

int avcodec_send_frame(AVCodecContext *avctx, const AVFrame *frame);
参数1:当前编码器的上下文结构l;
参数2:待编码的图像结构;当该参数为NULL时表示编码结束,此时应该刷新编码器缓存的码流;
返回值:0:正常执行; 负数表错误码;
AVERROR(EAGAIN):输入缓存已满,应该调用avcodec_receive_packet获取输出数据后在尝试输入;
AVERROR_EOF:编码器已收到刷新指令,不再接收的图像输入;
VERROR(EINVAL):编码器状态错误;
VERROR(ENOMEM):内存空间不足;

1.4 释放分配的图像帧结构

void av_frame_free(AVFrame **frame)

2. AVPacket结构体

typedef struct AVPacket {
    AVBufferRef *buf;
    int64_t pts;//当前packet的显示时间戳;必须大于等于dts
    int64_t dts;//当前packet的解码时间戳,以AVStream的time_base为单位;
    uint8_t *data;//码流数据保存在data指针指向的内存;
    int   size;//数据长度为size字节;可通过data和size读取编码后的码流;
    int   stream_index;//当前packet所从属的stream序号;
    int   flags;
    AVPacketSideData *side_data;
    int side_data_elems;
    //当前packet的显示时长,即按照顺序显示下一帧pts与当前pts的差值;
    int64_t duration; 
    //当前packet在数据流中的二进制位置; -1表示未知;
    int64_t pos;                      
} AVPacket;

2.1 创建AVPacket结构的实例并初始化

AVPacket *av_packet_alloc(void)；

2.2 依照一个已存在的packet创建新的packet,新packet是对原packet的引用

AVPacket *av_packet_clone(const AVPacket *src);

2.3 释放一个packet,若该packet存在引用计数,则其引用计数减1

void av_packet_free(AVPacket **pkt);

2.4 按照指定大小分配一个packet的存储空间,并初始化该packet

int av_new_packet(AVPacket *pkt, int size);

2.5 根据传入的packet创建新的引用packet

int av_packet_ref(AVPacket *dst, const AVPacket *src);

2.6 回收该packet

void av_packet_unref(AVPacket *pkt);

2.7 从编码器中获取输出的码流,并保存在传入的AVPacket结构中

int avcodec_receive_packet(AVCodecContext *avctx, AVPacket *avpkt);
参数1:当前编码器上下文结构;
参数2:输出的码流包结构,包含编码器输出的视频码流;
返回值：0表正常,负数为错误码;
AVERROR(EAGAIN):编码器尚未完成对新一帧的编码,应继续通过函数avcodec_send_frame传入后续图像;
AVERROR_EOF:编码器已经完成输出内部缓存的码流,编码完成;
VERROR(EINVAL):编码器状态错误;