src/pitch/pitch.c: return NULL if creation failed
[aubio.git] / src / pitch / pitch.c
1 /*
2   Copyright (C) 2003-2009 Paul Brossier <piem@aubio.org>
3
4   This file is part of aubio.
5
6   aubio is free software: you can redistribute it and/or modify
7   it under the terms of the GNU General Public License as published by
8   the Free Software Foundation, either version 3 of the License, or
9   (at your option) any later version.
10
11   aubio is distributed in the hope that it will be useful,
12   but WITHOUT ANY WARRANTY; without even the implied warranty of
13   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14   GNU General Public License for more details.
15
16   You should have received a copy of the GNU General Public License
17   along with aubio.  If not, see <http://www.gnu.org/licenses/>.
18
19 */
20
21 #include "aubio_priv.h"
22 #include "fvec.h"
23 #include "cvec.h"
24 #include "lvec.h"
25 #include "mathutils.h"
26 #include "musicutils.h"
27 #include "spectral/phasevoc.h"
28 #include "temporal/filter.h"
29 #include "temporal/c_weighting.h"
30 #include "pitch/pitchmcomb.h"
31 #include "pitch/pitchyin.h"
32 #include "pitch/pitchfcomb.h"
33 #include "pitch/pitchschmitt.h"
34 #include "pitch/pitchyinfft.h"
35 #include "pitch/pitchspecacf.h"
36 #include "pitch/pitch.h"
37
38 #define DEFAULT_PITCH_SILENCE -50.
39
40 /** pitch detection algorithms */
41 typedef enum
42 {
43   aubio_pitcht_yin,        /**< `yin`, YIN algorithm */
44   aubio_pitcht_mcomb,      /**< `mcomb`, Multi-comb filter */
45   aubio_pitcht_schmitt,    /**< `schmitt`, Schmitt trigger */
46   aubio_pitcht_fcomb,      /**< `fcomb`, Fast comb filter */
47   aubio_pitcht_yinfft,     /**< `yinfft`, Spectral YIN */
48   aubio_pitcht_specacf,    /**< `specacf`, Spectral autocorrelation */
49   aubio_pitcht_default
50     = aubio_pitcht_yinfft, /**< `default` */
51 } aubio_pitch_type;
52
53 /** pitch detection output modes */
54 typedef enum
55 {
56   aubio_pitchm_freq,   /**< Frequency (Hz) */
57   aubio_pitchm_midi,   /**< MIDI note (0.,127) */
58   aubio_pitchm_cent,   /**< Cent */
59   aubio_pitchm_bin,    /**< Frequency bin (0,bufsize) */
60   aubio_pitchm_default = aubio_pitchm_freq, /**< the one used when "default" is asked */
61 } aubio_pitch_mode;
62
63 /** callback to get pitch candidate, defined below */
64 typedef void (*aubio_pitch_detect_t) (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
65
66 /** callback to convert pitch from one unit to another, defined below */
67 typedef smpl_t(*aubio_pitch_convert_t) (smpl_t value, uint_t samplerate, uint_t bufsize);
68
69 /** callback to fetch the confidence of the algorithm */
70 typedef smpl_t (*aubio_pitch_get_conf_t) (void * p);
71
72 /** generic pitch detection structure */
73 struct _aubio_pitch_t
74 {
75   aubio_pitch_type type;          /**< pitch detection mode */
76   aubio_pitch_mode mode;          /**< pitch detection output mode */
77   uint_t samplerate;              /**< samplerate */
78   uint_t bufsize;                 /**< buffer size */
79   void *p_object;                 /**< pointer to pitch object */
80   aubio_filter_t *filter;         /**< filter */
81   fvec_t *filtered;               /**< filtered input */
82   aubio_pvoc_t *pv;               /**< phase vocoder for mcomb */
83   cvec_t *fftgrain;               /**< spectral frame for mcomb */
84   fvec_t *buf;                    /**< temporary buffer for yin */
85   aubio_pitch_detect_t detect_cb; /**< callback to get the pitch candidates */
86   aubio_pitch_convert_t conv_cb;  /**< callback to convert it to the desired unit */
87   aubio_pitch_get_conf_t conf_cb; /**< pointer to the current confidence callback */
88   smpl_t silence;                 /**< silence threshold */
89 };
90
91 /* callback functions for pitch detection */
92 static void aubio_pitch_do_mcomb (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
93 static void aubio_pitch_do_yin (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
94 static void aubio_pitch_do_schmitt (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
95 static void aubio_pitch_do_fcomb (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
96 static void aubio_pitch_do_yinfft (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
97 static void aubio_pitch_do_specacf (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
98
99 /* internal functions for frequency conversion */
100 static smpl_t freqconvbin (smpl_t f, uint_t samplerate, uint_t bufsize);
101 static smpl_t freqconvmidi (smpl_t f, uint_t samplerate, uint_t bufsize);
102 static smpl_t freqconvpass (smpl_t f, uint_t samplerate, uint_t bufsize);
103
104 /* adapter to stack ibuf new samples at the end of buf, and trim `buf` to `bufsize` */
105 void aubio_pitch_slideblock (aubio_pitch_t * p, const fvec_t * ibuf);
106
107
108 aubio_pitch_t *
109 new_aubio_pitch (const char_t * pitch_mode,
110     uint_t bufsize, uint_t hopsize, uint_t samplerate)
111 {
112   aubio_pitch_t *p = AUBIO_NEW (aubio_pitch_t);
113   aubio_pitch_type pitch_type;
114   if (strcmp (pitch_mode, "mcomb") == 0)
115     pitch_type = aubio_pitcht_mcomb;
116   else if (strcmp (pitch_mode, "yinfft") == 0)
117     pitch_type = aubio_pitcht_yinfft;
118   else if (strcmp (pitch_mode, "yin") == 0)
119     pitch_type = aubio_pitcht_yin;
120   else if (strcmp (pitch_mode, "schmitt") == 0)
121     pitch_type = aubio_pitcht_schmitt;
122   else if (strcmp (pitch_mode, "fcomb") == 0)
123     pitch_type = aubio_pitcht_fcomb;
124   else if (strcmp (pitch_mode, "specacf") == 0)
125     pitch_type = aubio_pitcht_specacf;
126   else if (strcmp (pitch_mode, "default") == 0)
127     pitch_type = aubio_pitcht_default;
128   else {
129     AUBIO_ERR ("pitch: unknown pitch detection method ā€˜%sā€™\n", pitch_mode);
130     goto beach;
131   }
132
133   // check parameters are valid
134   if ((sint_t)hopsize < 1) {
135     AUBIO_ERR("pitch: got hopsize %d, but can not be < 1\n", hopsize);
136     goto beach;
137   } else if ((sint_t)bufsize < 1) {
138     AUBIO_ERR("pitch: got buffer_size %d, but can not be < 1\n", bufsize);
139     goto beach;
140   } else if (bufsize < hopsize) {
141     AUBIO_ERR("pitch: hop size (%d) is larger than win size (%d)\n", hopsize, bufsize);
142     goto beach;
143   } else if ((sint_t)samplerate < 1) {
144     AUBIO_ERR("pitch: samplerate (%d) can not be < 1\n", samplerate);
145     goto beach;
146   }
147
148   p->samplerate = samplerate;
149   p->type = pitch_type;
150   aubio_pitch_set_unit (p, "default");
151   p->bufsize = bufsize;
152   p->silence = DEFAULT_PITCH_SILENCE;
153   p->conf_cb = NULL;
154   switch (p->type) {
155     case aubio_pitcht_yin:
156       p->buf = new_fvec (bufsize);
157       p->p_object = new_aubio_pitchyin (bufsize);
158       if (!p->p_object) goto beach;
159       p->detect_cb = aubio_pitch_do_yin;
160       p->conf_cb = (aubio_pitch_get_conf_t)aubio_pitchyin_get_confidence;
161       aubio_pitchyin_set_tolerance (p->p_object, 0.15);
162       break;
163     case aubio_pitcht_mcomb:
164       p->filtered = new_fvec (hopsize);
165       p->pv = new_aubio_pvoc (bufsize, hopsize);
166       if (!p->pv) goto beach;
167       p->fftgrain = new_cvec (bufsize);
168       p->p_object = new_aubio_pitchmcomb (bufsize, hopsize);
169       p->filter = new_aubio_filter_c_weighting (samplerate);
170       p->detect_cb = aubio_pitch_do_mcomb;
171       break;
172     case aubio_pitcht_fcomb:
173       p->buf = new_fvec (bufsize);
174       p->p_object = new_aubio_pitchfcomb (bufsize, hopsize);
175       if (!p->p_object) goto beach;
176       p->detect_cb = aubio_pitch_do_fcomb;
177       break;
178     case aubio_pitcht_schmitt:
179       p->buf = new_fvec (bufsize);
180       p->p_object = new_aubio_pitchschmitt (bufsize);
181       p->detect_cb = aubio_pitch_do_schmitt;
182       break;
183     case aubio_pitcht_yinfft:
184       p->buf = new_fvec (bufsize);
185       p->p_object = new_aubio_pitchyinfft (samplerate, bufsize);
186       if (!p->p_object) goto beach;
187       p->detect_cb = aubio_pitch_do_yinfft;
188       p->conf_cb = (aubio_pitch_get_conf_t)aubio_pitchyinfft_get_confidence;
189       aubio_pitchyinfft_set_tolerance (p->p_object, 0.85);
190       break;
191     case aubio_pitcht_specacf:
192       p->buf = new_fvec (bufsize);
193       p->p_object = new_aubio_pitchspecacf (bufsize);
194       if (!p->p_object) goto beach;
195       p->detect_cb = aubio_pitch_do_specacf;
196       p->conf_cb = (aubio_pitch_get_conf_t)aubio_pitchspecacf_get_tolerance;
197       aubio_pitchspecacf_set_tolerance (p->p_object, 0.85);
198       break;
199     default:
200       break;
201   }
202   return p;
203
204 beach:
205   if (p->filtered) del_fvec(p->filtered);
206   if (p->buf) del_fvec(p->buf);
207   AUBIO_FREE(p);
208   return NULL;
209 }
210
211 void
212 del_aubio_pitch (aubio_pitch_t * p)
213 {
214   switch (p->type) {
215     case aubio_pitcht_yin:
216       del_fvec (p->buf);
217       del_aubio_pitchyin (p->p_object);
218       break;
219     case aubio_pitcht_mcomb:
220       del_fvec (p->filtered);
221       del_aubio_pvoc (p->pv);
222       del_cvec (p->fftgrain);
223       del_aubio_filter (p->filter);
224       del_aubio_pitchmcomb (p->p_object);
225       break;
226     case aubio_pitcht_schmitt:
227       del_fvec (p->buf);
228       del_aubio_pitchschmitt (p->p_object);
229       break;
230     case aubio_pitcht_fcomb:
231       del_fvec (p->buf);
232       del_aubio_pitchfcomb (p->p_object);
233       break;
234     case aubio_pitcht_yinfft:
235       del_fvec (p->buf);
236       del_aubio_pitchyinfft (p->p_object);
237       break;
238     case aubio_pitcht_specacf:
239       del_fvec (p->buf);
240       del_aubio_pitchspecacf (p->p_object);
241       break;
242     default:
243       break;
244   }
245   AUBIO_FREE (p);
246 }
247
248 void
249 aubio_pitch_slideblock (aubio_pitch_t * p, const fvec_t * ibuf)
250 {
251   uint_t overlap_size = p->buf->length - ibuf->length;
252 #if 1 //!HAVE_MEMCPY_HACKS
253   uint_t j;
254   for (j = 0; j < overlap_size; j++) {
255     p->buf->data[j] = p->buf->data[j + ibuf->length];
256   }
257   for (j = 0; j < ibuf->length; j++) {
258     p->buf->data[j + overlap_size] = ibuf->data[j];
259   }
260 #else
261   smpl_t *data = p->buf->data;
262   smpl_t *newdata = ibuf->data;
263   memmove(data, data + ibuf->length, overlap_size);
264   memcpy(data + overlap_size, newdata, ibuf->length);
265 #endif
266 }
267
268 uint_t
269 aubio_pitch_set_unit (aubio_pitch_t * p, const char_t * pitch_unit)
270 {
271   uint_t err = AUBIO_OK;
272   aubio_pitch_mode pitch_mode;
273   if (strcmp (pitch_unit, "freq") == 0)
274     pitch_mode = aubio_pitchm_freq;
275   else if (strcmp (pitch_unit, "hertz") == 0)
276     pitch_mode = aubio_pitchm_freq;
277   else if (strcmp (pitch_unit, "Hertz") == 0)
278     pitch_mode = aubio_pitchm_freq;
279   else if (strcmp (pitch_unit, "Hz") == 0)
280     pitch_mode = aubio_pitchm_freq;
281   else if (strcmp (pitch_unit, "f0") == 0)
282     pitch_mode = aubio_pitchm_freq;
283   else if (strcmp (pitch_unit, "midi") == 0)
284     pitch_mode = aubio_pitchm_midi;
285   else if (strcmp (pitch_unit, "cent") == 0)
286     pitch_mode = aubio_pitchm_cent;
287   else if (strcmp (pitch_unit, "bin") == 0)
288     pitch_mode = aubio_pitchm_bin;
289   else if (strcmp (pitch_unit, "default") == 0)
290     pitch_mode = aubio_pitchm_default;
291   else {
292     AUBIO_WRN("pitch: unknown pitch detection unit ā€˜%sā€™, using default\n",
293         pitch_unit);
294     pitch_mode = aubio_pitchm_default;
295     err = AUBIO_FAIL;
296   }
297   p->mode = pitch_mode;
298   switch (p->mode) {
299     case aubio_pitchm_freq:
300       p->conv_cb = freqconvpass;
301       break;
302     case aubio_pitchm_midi:
303       p->conv_cb = freqconvmidi;
304       break;
305     case aubio_pitchm_cent:
306       /* bug: not implemented */
307       p->conv_cb = freqconvmidi;
308       break;
309     case aubio_pitchm_bin:
310       p->conv_cb = freqconvbin;
311       break;
312     default:
313       break;
314   }
315   return err;
316 }
317
318 uint_t
319 aubio_pitch_set_tolerance (aubio_pitch_t * p, smpl_t tol)
320 {
321   switch (p->type) {
322     case aubio_pitcht_yin:
323       aubio_pitchyin_set_tolerance (p->p_object, tol);
324       break;
325     case aubio_pitcht_yinfft:
326       aubio_pitchyinfft_set_tolerance (p->p_object, tol);
327       break;
328     default:
329       break;
330   }
331   return AUBIO_OK;
332 }
333
334 smpl_t
335 aubio_pitch_get_tolerance (aubio_pitch_t * p)
336 {
337   smpl_t tolerance = 1.;
338   switch (p->type) {
339     case aubio_pitcht_yin:
340       tolerance = aubio_pitchyin_get_tolerance (p->p_object);
341       break;
342     case aubio_pitcht_yinfft:
343       tolerance = aubio_pitchyinfft_get_tolerance (p->p_object);
344       break;
345     default:
346       break;
347   }
348   return tolerance;
349 }
350
351 uint_t
352 aubio_pitch_set_silence (aubio_pitch_t * p, smpl_t silence)
353 {
354   if (silence <= 0 && silence >= -200) {
355     p->silence = silence;
356     return AUBIO_OK;
357   } else {
358     AUBIO_WRN("pitch: could not set silence to %.2f\n", silence);
359     return AUBIO_FAIL;
360   }
361 }
362
363 smpl_t
364 aubio_pitch_get_silence (aubio_pitch_t * p)
365 {
366   return p->silence;
367 }
368
369
370 /* do method, calling the detection callback, then the conversion callback */
371 void
372 aubio_pitch_do (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf)
373 {
374   p->detect_cb (p, ibuf, obuf);
375   if (aubio_silence_detection(ibuf, p->silence) == 1) {
376     obuf->data[0] = 0.;
377   }
378   obuf->data[0] = p->conv_cb (obuf->data[0], p->samplerate, p->bufsize);
379 }
380
381 /* do method for each algorithm */
382 void
383 aubio_pitch_do_mcomb (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf)
384 {
385   aubio_filter_do_outplace (p->filter, ibuf, p->filtered);
386   aubio_pvoc_do (p->pv, ibuf, p->fftgrain);
387   aubio_pitchmcomb_do (p->p_object, p->fftgrain, obuf);
388   obuf->data[0] = aubio_bintofreq (obuf->data[0], p->samplerate, p->bufsize);
389 }
390
391 void
392 aubio_pitch_do_yin (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf)
393 {
394   smpl_t pitch = 0.;
395   aubio_pitch_slideblock (p, ibuf);
396   aubio_pitchyin_do (p->p_object, p->buf, obuf);
397   pitch = obuf->data[0];
398   if (pitch > 0) {
399     pitch = p->samplerate / (pitch + 0.);
400   } else {
401     pitch = 0.;
402   }
403   obuf->data[0] = pitch;
404 }
405
406
407 void
408 aubio_pitch_do_yinfft (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf)
409 {
410   smpl_t pitch = 0.;
411   aubio_pitch_slideblock (p, ibuf);
412   aubio_pitchyinfft_do (p->p_object, p->buf, obuf);
413   pitch = obuf->data[0];
414   if (pitch > 0) {
415     pitch = p->samplerate / (pitch + 0.);
416   } else {
417     pitch = 0.;
418   }
419   obuf->data[0] = pitch;
420 }
421
422 void
423 aubio_pitch_do_specacf (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * out)
424 {
425   smpl_t pitch = 0., period;
426   aubio_pitch_slideblock (p, ibuf);
427   aubio_pitchspecacf_do (p->p_object, p->buf, out);
428   //out->data[0] = aubio_bintofreq (out->data[0], p->samplerate, p->bufsize);
429   period = out->data[0];
430   if (period > 0) {
431     pitch = p->samplerate / period;
432   } else {
433     pitch = 0.;
434   }
435   out->data[0] = pitch;
436 }
437
438 void
439 aubio_pitch_do_fcomb (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * out)
440 {
441   aubio_pitch_slideblock (p, ibuf);
442   aubio_pitchfcomb_do (p->p_object, p->buf, out);
443   out->data[0] = aubio_bintofreq (out->data[0], p->samplerate, p->bufsize);
444 }
445
446 void
447 aubio_pitch_do_schmitt (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * out)
448 {
449   smpl_t period, pitch = 0.;
450   aubio_pitch_slideblock (p, ibuf);
451   aubio_pitchschmitt_do (p->p_object, p->buf, out);
452   period = out->data[0];
453   if (period > 0) {
454     pitch = p->samplerate / period;
455   } else {
456     pitch = 0.;
457   }
458   out->data[0] = pitch;
459 }
460
461 /* conversion callbacks */
462 smpl_t
463 freqconvbin(smpl_t f, uint_t samplerate, uint_t bufsize)
464 {
465   return aubio_freqtobin(f, samplerate, bufsize);
466 }
467
468 smpl_t
469 freqconvmidi (smpl_t f, uint_t samplerate UNUSED, uint_t bufsize UNUSED)
470 {
471   return aubio_freqtomidi (f);
472 }
473
474 smpl_t
475 freqconvpass (smpl_t f, uint_t samplerate UNUSED, uint_t bufsize UNUSED)
476 {
477   return f;
478 }
479
480 /* confidence callbacks */
481 smpl_t
482 aubio_pitch_get_confidence (aubio_pitch_t * p)
483 {
484   if (p->conf_cb) {
485     return p->conf_cb(p->p_object);
486   }
487   return 0.;
488 }