PYNQ: 使用CFFI嵌入C语言

人在江湖身不由己

未经私信同意禁止转载！

前言
CFFI是连接Python与c的桥梁，可实现在Python中调用c文件。CFFI为c语言的外部接口，在Python中使用该接口可以实现在Python中使用外部c文件的数据结构及函数。
Python运行比较低，尤其是操作字节流的时候，为了提升效率，可以通过CFFI在我们的Python设计中嵌入C，大大提升程序的效率。前面的文章《给我儿子做个自动读故事的机器》https://www.jianshu.com/p/56df82bd4dbb中要对音频文件进行操作，涉及到字节流，运行效率低，会引发系统延迟很大。所以这篇文章的第二部分就是一个CFFI的实例来加速文件操作。

一、CFFI的使用
CFFI是一个python库，这个库里面有函数可以调用编译器对C语言源文件进行编译，输出一个.so库文件，这库文件就可以被python调用，就向调用你自己编写的.py文件一样。并且CFFI在PYNQ已经被预装好了，无需自己安装。如果是在Ubuntu下面使用，可能需要自己手动安装一下，需要说明的是，CFFI需要编译器，所以你的系统中需要安装一下编译器，我用的是gcc。
CFFI有ABI和API两种形式。ABI 驳接的是已经编译好的 binary，API 更快，把 C 代码编译出来使用。关于编译器的使用又分为in-line和out-line两种形式。in-line 即时编译使用，out-line 离线编译后调用。这两两组合一共有四种应用方式，这些PYNQ全都支持。
下面这篇文章有比较清楚的介绍，也有详细的例子，大家可以参考一下。
https://www.cnblogs.com/ccxikka/p/9637545.html
接下来我们要介绍一个简单的例子，来展示的是API out-line的应用，并且这个例子调用的是自己编写的外部文件，比上面那个链接里面展示的内容要复杂。
在工程目录下建立三个设计文件如下图：

.c 和.h是源码文件，这个不用个多说。build.py是用用来对源文件进行编译生成库的。
.c文件里面写了一个加法函数

#include <stdio.h> 
#include "demo.h" 
int add(int a, int b) 
{     
int c;     
c = a+b;    
return c;
}

.h文件对函数进行声明 int add(int a, int b); 接下来是最重要的build 文件。这里包含源文件添加和编译函数。

# 
import cffi

ffi = cffi.FFI() #生成cffi实例

ffi.cdef("""
    int add(int a, int b);
    """) #函数声明，。。这个地方应该更好的写法，但是我没搞懂

ffi.set_source('demo_module', ##这就是生成的库的名字，将来会在python里面调用
    """
    #include "demo.h"   
    """,
    sources=['demo.c'])

if __name__ == '__main__':
#compile是离线方式的专用方法,它的作用是让编译器编译出可调用的.so文件
    ffi.compile(verbose=True)

在python 里面运行build.py。如果没有错误，将生成以下几个文件

其中.so文件就是我们的库文件。
这个demo的测试语句是这样的写的

import demo_module.lib as demo 
print(demo.add(2,4))

正确运行后将得到加法的结果。
这个模板大家可以直接拿过去用，不需要自己编写，只需要在build.py文件中替换自己的文件名和函数名就可以了。

二、PYNQ嵌入C语言操作WAV文件
在《给我儿子做个自动读故事的机器》中需要用到python对讯飞返回的16kHz单通道16bit WAV 转换为48kHz 双通道24bit编码方式。在PYNQ上用Python做有连个问题，一是涉及字节流操作效率很低，系统时延大，二是麻烦，没有专门的python库可以完成这种操作，需要用各种函数来拼接。
关于WAV文件的解析有以下两篇文章写得比较好，信息清楚全面。
https://zhuanlan.zhihu.com/p/27338283
https://blog.csdn.net/zhihu008/article/details/7854529
转换函数如下：

void convert(char inputfilename[],char outputfilename[])
{
    FILE *fin;  
    FILE *fout;
    if((fin= fopen(inputfilename,"rb"))==NULL)
    {
        printf("error! can't find audio file!\n");
        exit(1);
    }
    if((fout= fopen(outputfilename,"wb+"))==NULL)
    {
        printf("error! can't find output file!\n");
        exit(1);
    }

    Wav wav;
    RIFF_t riff;
    FMT_t fmt;
    Data_t data;
    fread(&wav, 1, sizeof(wav), fin);


    unsigned int inputlength = wav.data.Subchunk2Size;
    unsigned int outputlength =(unsigned int) wav.data.Subchunk2Size*2*24/16*(48000/16000);
    unsigned char inputflow[inputlength];
    unsigned char outputflow[outputlength];
    unsigned char *inputpointer= inputflow;

    fread(inputpointer,1, inputlength,fin);

    unsigned int j=0;
    unsigned int k=0;
    for(j=0;j<inputlength/2;j++)
    {
        k= j*18;
        outputflow[k] = 0;
        outputflow[k+1] = inputflow[2*j];
        outputflow[k+2] = inputflow[2*j+1];
 
        outputflow[k+3] = 0; 
        outputflow[k+4] = 0;
        outputflow[k+5] = 0;

        outputflow[k+6] = 0;
        outputflow[k+7] = 0;
        outputflow[k+8] = 0;

        outputflow[k+9] = 0;
        outputflow[k+10] = inputflow[2*j];
        outputflow[k+11] = inputflow[2*j+1];
 
        outputflow[k+12] = 0; 
        outputflow[k+13] = 0;
        outputflow[k+14] = 0;

        outputflow[k+15] = 0;
        outputflow[k+16] = 0;
        outputflow[k+17] = 0; 
    }


    wav.fmt.NumChannels = 2;
    wav.fmt.SampleRate = 48000;
    wav.fmt.BitsPerSample = 24;
    wav.fmt.BlockAlign = 2*24/8;
    wav.fmt.ByteRate = wav.fmt.SampleRate*2*24/8;
    wav.data.Subchunk2Size = outputlength;
    wav.riff.ChunkSize = outputlength+36;
    fwrite(&wav, 1, sizeof(wav), fout);

    fwrite(outputflow,1,outputlength,fout);

    printf("convert finished\n");

    fclose(fin);
    fclose(fout);
}

所有设计文件和编译生成的文件打包放在网盘上。
链接：https://pan.baidu.com/s/13F-wB5zFpFRwtpp_pQb24A 密码：p2sc
说明：
1.设计文件一定要在PYNQ平台上编译。因为PYNQ上的编译器和ubuntu下不一样，生成的库是无法通用的。
2.不知道为什么生成的.so库文件无法在jupyter里面运行，只能在python3下面运行。这里有妖，找个时间研究下。
3.现在这个程序其实写的很简单，有个问题是占用内存很大，会将整个转化后的音频流数据都放在ram里面，然后一次性写入，耗费ram。差不多一个5s长的音频会消耗1M内存。如果要处理一个大的音频文件，需要修改代码。要知道PYNQ只有512M内存。
后记
CFFI的应用对PYNQ是一个极大的扩展，意味着很多已经成型的C语言库都可以被调用，能够有效地扩展PYNQ的应用范围和运行效率。
当然，使用FPGA部分来加速自然效率更高，但是开发难度相对大很多，还要修改overlay，应用的可移植性不是很好。CFFI 是一个比较中性的选择。Xilinx 的HLS可以对逻辑开发进行C语言支持，在CFFI中应用的C代码也许可以比较方便地转化为硬件逻辑，或者作为算法验证的前一个步骤。当然这一点只是我的推断，因为我对C语言的逻辑开发并不熟悉。

欢迎关注我的专栏《电子工程师有多无聊》，你可以看到更多关于使用Python进行硬件编程的文章。如果你有兴趣，也欢迎投稿。

编辑于 2019-10-27 00:21

C（编程语言）

现场可编辑逻辑门阵列（FPGA）

Python

文章被以下专栏收录

电子工程师有多无聊