python/lib/gen_external.py

   1 import distutils.ccompiler
   2 import sys, os, subprocess, glob
   3
   4 header = os.path.join('src', 'aubio.h')
   5 output_path = os.path.join('python', 'gen')
   6
   7 source_header = """// this file is generated! do not modify
   8 #include "aubio-types.h"
   9 """
  10
  11 skip_objects = [
  12   # already in ext/
  13   'fft',
  14   'pvoc',
  15   'filter',
  16   'filterbank',
  17   #'resampler',
  18   # AUBIO_UNSTABLE
  19   'hist',
  20   'parameter',
  21   'scale',
  22   'beattracking',
  23   'resampler',
  24   'peakpicker',
  25   'pitchfcomb',
  26   'pitchmcomb',
  27   'pitchschmitt',
  28   'pitchspecacf',
  29   'pitchyin',
  30   'pitchyinfft',
  31   'sink',
  32   'sink_apple_audio',
  33   'sink_sndfile',
  34   'sink_wavwrite',
  35   #'mfcc',
  36   'source',
  37   'source_apple_audio',
  38   'source_sndfile',
  39   'source_avcodec',
  40   'source_wavread',
  41   #'sampler',
  42   'audio_unit',
  43   ]
  44
  45 def get_preprocessor():
  46     # findout which compiler to use
  47     from distutils.sysconfig import customize_compiler
  48     compiler_name = distutils.ccompiler.get_default_compiler()
  49     compiler = distutils.ccompiler.new_compiler(compiler=compiler_name)
  50     try:
  51         customize_compiler(compiler)
  52     except AttributeError as e:
  53         print("Warning: failed customizing compiler ({:s})".format(repr(e)))
  54
  55     if hasattr(compiler, 'initialize'):
  56         try:
  57             compiler.initialize()
  58         except ValueError as e:
  59             print("Warning: failed initializing compiler ({:s})".format(repr(e)))
  60
  61     cpp_cmd = None
  62     if hasattr(compiler, 'preprocessor'): # for unixccompiler
  63         cpp_cmd = compiler.preprocessor
  64     elif hasattr(compiler, 'compiler'): # for ccompiler
  65         cpp_cmd = compiler.compiler.split()
  66         cpp_cmd += ['-E']
  67     elif hasattr(compiler, 'cc'): # for msvccompiler
  68         cpp_cmd = compiler.cc.split()
  69         cpp_cmd += ['-E']
  70
  71     if not cpp_cmd:
  72         print("Warning: could not guess preprocessor, using env's CC")
  73         cpp_cmd = os.environ.get('CC', 'cc').split()
  74         cpp_cmd += ['-E']
  75
  76     return cpp_cmd
  77
  78 def get_cpp_objects(header=header):
  79     cpp_cmd = get_preprocessor()
  80
  81     macros = [('AUBIO_UNSTABLE', 1)]
  82
  83     if not os.path.isfile(header):
  84         raise Exception("could not find include file " + header)
  85
  86     includes = [os.path.dirname(header)]
  87     cpp_cmd += distutils.ccompiler.gen_preprocess_options(macros, includes)
  88     cpp_cmd += [header]
  89
  90     print("Running command: {:s}".format(" ".join(cpp_cmd)))
  91     proc = subprocess.Popen(cpp_cmd,
  92             stderr=subprocess.PIPE,
  93             stdout=subprocess.PIPE)
  94     assert proc, 'Proc was none'
  95     cpp_output = proc.stdout.read()
  96     err_output = proc.stderr.read()
  97     if not cpp_output:
  98         raise Exception("preprocessor output is empty:\n%s" % err_output)
  99     elif err_output:
 100         print ("Warning: preprocessor produced warnings:\n%s" % err_output)
 101     if not isinstance(cpp_output, list):
 102         cpp_output = [l.strip() for l in cpp_output.decode('utf8').split('\n')]
 103
 104     cpp_output = filter(lambda y: len(y) > 1, cpp_output)
 105     cpp_output = list(filter(lambda y: not y.startswith('#'), cpp_output))
 106
 107     i = 1
 108     while 1:
 109         if i >= len(cpp_output): break
 110         if cpp_output[i-1].endswith(',') or cpp_output[i-1].endswith('{') or cpp_output[i].startswith('}'):
 111             cpp_output[i] = cpp_output[i-1] + ' ' + cpp_output[i]
 112             cpp_output.pop(i-1)
 113         else:
 114             i += 1
 115
 116     typedefs = filter(lambda y: y.startswith ('typedef struct _aubio'), cpp_output)
 117
 118     cpp_objects = [a.split()[3][:-1] for a in typedefs]
 119
 120     return cpp_output, cpp_objects
 121
 122
 123 def analyze_cpp_output(cpp_objects, cpp_output):
 124     lib = {}
 125
 126     for o in cpp_objects:
 127         if o[:6] != 'aubio_':
 128             continue
 129         shortname = o[6:-2]
 130         if shortname in skip_objects:
 131             continue
 132         lib[shortname] = {'struct': [], 'new': [], 'del': [], 'do': [], 'get': [], 'set': [], 'other': []}
 133         lib[shortname]['longname'] = o
 134         lib[shortname]['shortname'] = shortname
 135         for fn in cpp_output:
 136             if o[:-1] in fn:
 137                 #print "found", o[:-1], "in", fn
 138                 if 'typedef struct ' in fn:
 139                     lib[shortname]['struct'].append(fn)
 140                 elif '_do' in fn:
 141                     lib[shortname]['do'].append(fn)
 142                 elif 'new_' in fn:
 143                     lib[shortname]['new'].append(fn)
 144                 elif 'del_' in fn:
 145                     lib[shortname]['del'].append(fn)
 146                 elif '_get_' in fn:
 147                     lib[shortname]['get'].append(fn)
 148                 elif '_set_' in fn:
 149                     lib[shortname]['set'].append(fn)
 150                 else:
 151                     #print "no idea what to do about", fn
 152                     lib[shortname]['other'].append(fn)
 153     return lib
 154
 155 def print_cpp_output_results(lib, cpp_output):
 156     for fn in cpp_output:
 157         found = 0
 158         for o in lib:
 159             for family in lib[o]:
 160                 if fn in lib[o][family]:
 161                     found = 1
 162         if found == 0:
 163             print ("missing", fn)
 164
 165     for o in lib:
 166         for family in lib[o]:
 167             if type(lib[o][family]) == str:
 168                 print ( "{:15s} {:10s} {:s}".format(o, family, lib[o][family] ) )
 169             elif len(lib[o][family]) == 1:
 170                 print ( "{:15s} {:10s} {:s}".format(o, family, lib[o][family][0] ) )
 171             else:
 172                 print ( "{:15s} {:10s} {:s}".format(o, family, lib[o][family] ) )
 173
 174
 175 def generate_external(header=header, output_path=output_path, usedouble=False, overwrite=True):
 176     if not os.path.isdir(output_path): os.mkdir(output_path)
 177     elif not overwrite: return glob.glob(os.path.join(output_path, '*.c'))
 178
 179     cpp_output, cpp_objects = get_cpp_objects(header)
 180
 181     lib = analyze_cpp_output(cpp_objects, cpp_output)
 182     # print_cpp_output_results(lib, cpp_output)
 183
 184     sources_list = []
 185     try:
 186         from .gen_code import MappedObject
 187     except (SystemError, ValueError):
 188         from gen_code import MappedObject
 189     for o in lib:
 190         out = source_header
 191         mapped = MappedObject(lib[o], usedouble = usedouble)
 192         out += mapped.gen_code()
 193         output_file = os.path.join(output_path, 'gen-%s.c' % o)
 194         with open(output_file, 'w') as f:
 195             f.write(out)
 196             print ("wrote %s" % output_file )
 197             sources_list.append(output_file)
 198
 199     out = source_header
 200     out += "#include \"aubio-generated.h\""
 201     check_types = "\n     ||  ".join(["PyType_Ready(&Py_%sType) < 0" % o for o in lib])
 202     out += """
 203
 204 int generated_types_ready (void)
 205 {{
 206   return ({pycheck_types});
 207 }}
 208 """.format(pycheck_types = check_types)
 209
 210     add_types = "".join(["""
 211   Py_INCREF (&Py_{name}Type);
 212   PyModule_AddObject(m, "{name}", (PyObject *) & Py_{name}Type);""".format(name = o) for o in lib])
 213     out += """
 214
 215 void add_generated_objects ( PyObject *m )
 216 {{
 217 {add_types}
 218 }}
 219 """.format(add_types = add_types)
 220
 221     output_file = os.path.join(output_path, 'aubio-generated.c')
 222     with open(output_file, 'w') as f:
 223         f.write(out)
 224         print ("wrote %s" % output_file )
 225         sources_list.append(output_file)
 226
 227     objlist = "".join(["extern PyTypeObject Py_%sType;\n" % p for p in lib])
 228     out = """// generated list of objects created with gen_external.py
 229
 230 #include <Python.h>
 231 """
 232     if usedouble:
 233         out += """
 234 #ifndef HAVE_AUBIO_DOUBLE
 235 #define HAVE_AUBIO_DOUBLE 1
 236 #endif
 237 """
 238     out += """
 239 {objlist}
 240 int generated_objects ( void );
 241 void add_generated_objects( PyObject *m );
 242 """.format(objlist = objlist)
 243
 244     output_file = os.path.join(output_path, 'aubio-generated.h')
 245     with open(output_file, 'w') as f:
 246         f.write(out)
 247         print ("wrote %s" % output_file )
 248         # no need to add header to list of sources
 249
 250     return sources_list
 251
 252 if __name__ == '__main__':
 253     if len(sys.argv) > 1: header = sys.argv[1]
 254     if len(sys.argv) > 2: output_path = sys.argv[2]
 255     generate_external(header, output_path)