src/pitch/pitch.c

   1 /*
   2   Copyright (C) 2003-2009 Paul Brossier <piem@aubio.org>
   3
   4   This file is part of aubio.
   5
   6   aubio is free software: you can redistribute it and/or modify
   7   it under the terms of the GNU General Public License as published by
   8   the Free Software Foundation, either version 3 of the License, or
   9   (at your option) any later version.
  10
  11   aubio is distributed in the hope that it will be useful,
  12   but WITHOUT ANY WARRANTY; without even the implied warranty of
  13   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14   GNU General Public License for more details.
  15
  16   You should have received a copy of the GNU General Public License
  17   along with aubio.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 */
  20
  21 #include "aubio_priv.h"
  22 #include "fvec.h"
  23 #include "cvec.h"
  24 #include "lvec.h"
  25 #include "mathutils.h"
  26 #include "musicutils.h"
  27 #include "spectral/phasevoc.h"
  28 #include "temporal/filter.h"
  29 #include "temporal/c_weighting.h"
  30 #include "pitch/pitchmcomb.h"
  31 #include "pitch/pitchyin.h"
  32 #include "pitch/pitchfcomb.h"
  33 #include "pitch/pitchschmitt.h"
  34 #include "pitch/pitchyinfft.h"
  35 #include "pitch/pitchspecacf.h"
  36 #include "pitch/pitch.h"
  37
  38 #define DEFAULT_PITCH_SILENCE -50.
  39
  40 /** pitch detection algorithms */
  41 typedef enum
  42 {
  43   aubio_pitcht_yin,        /**< `yin`, YIN algorithm */
  44   aubio_pitcht_mcomb,      /**< `mcomb`, Multi-comb filter */
  45   aubio_pitcht_schmitt,    /**< `schmitt`, Schmitt trigger */
  46   aubio_pitcht_fcomb,      /**< `fcomb`, Fast comb filter */
  47   aubio_pitcht_yinfft,     /**< `yinfft`, Spectral YIN */
  48   aubio_pitcht_specacf,    /**< `specacf`, Spectral autocorrelation */
  49   aubio_pitcht_default
  50     = aubio_pitcht_yinfft, /**< `default` */
  51 } aubio_pitch_type;
  52
  53 /** pitch detection output modes */
  54 typedef enum
  55 {
  56   aubio_pitchm_freq,   /**< Frequency (Hz) */
  57   aubio_pitchm_midi,   /**< MIDI note (0.,127) */
  58   aubio_pitchm_cent,   /**< Cent */
  59   aubio_pitchm_bin,    /**< Frequency bin (0,bufsize) */
  60   aubio_pitchm_default = aubio_pitchm_freq, /**< the one used when "default" is asked */
  61 } aubio_pitch_mode;
  62
  63 /** callback to get pitch candidate, defined below */
  64 typedef void (*aubio_pitch_detect_t) (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
  65
  66 /** callback to convert pitch from one unit to another, defined below */
  67 typedef smpl_t(*aubio_pitch_convert_t) (smpl_t value, uint_t samplerate, uint_t bufsize);
  68
  69 /** callback to fetch the confidence of the algorithm */
  70 typedef smpl_t (*aubio_pitch_get_conf_t) (void * p);
  71
  72 /** generic pitch detection structure */
  73 struct _aubio_pitch_t
  74 {
  75   aubio_pitch_type type;          /**< pitch detection mode */
  76   aubio_pitch_mode mode;          /**< pitch detection output mode */
  77   uint_t samplerate;              /**< samplerate */
  78   uint_t bufsize;                 /**< buffer size */
  79   void *p_object;                 /**< pointer to pitch object */
  80   aubio_filter_t *filter;         /**< filter */
  81   fvec_t *filtered;               /**< filtered input */
  82   aubio_pvoc_t *pv;               /**< phase vocoder for mcomb */
  83   cvec_t *fftgrain;               /**< spectral frame for mcomb */
  84   fvec_t *buf;                    /**< temporary buffer for yin */
  85   aubio_pitch_detect_t detect_cb; /**< callback to get the pitch candidates */
  86   aubio_pitch_convert_t conv_cb;  /**< callback to convert it to the desired unit */
  87   aubio_pitch_get_conf_t conf_cb; /**< pointer to the current confidence callback */
  88   smpl_t silence;                 /**< silence threshold */
  89 };
  90
  91 /* callback functions for pitch detection */
  92 static void aubio_pitch_do_mcomb (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
  93 static void aubio_pitch_do_yin (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
  94 static void aubio_pitch_do_schmitt (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
  95 static void aubio_pitch_do_fcomb (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
  96 static void aubio_pitch_do_yinfft (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
  97 static void aubio_pitch_do_specacf (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf);
  98
  99 /* internal functions for frequency conversion */
 100 static smpl_t freqconvbin (smpl_t f, uint_t samplerate, uint_t bufsize);
 101 static smpl_t freqconvmidi (smpl_t f, uint_t samplerate, uint_t bufsize);
 102 static smpl_t freqconvpass (smpl_t f, uint_t samplerate, uint_t bufsize);
 103
 104 /* adapter to stack ibuf new samples at the end of buf, and trim `buf` to `bufsize` */
 105 void aubio_pitch_slideblock (aubio_pitch_t * p, const fvec_t * ibuf);
 106
 107
 108 aubio_pitch_t *
 109 new_aubio_pitch (const char_t * pitch_mode,
 110     uint_t bufsize, uint_t hopsize, uint_t samplerate)
 111 {
 112   aubio_pitch_t *p = AUBIO_NEW (aubio_pitch_t);
 113   aubio_pitch_type pitch_type;
 114   if (strcmp (pitch_mode, "mcomb") == 0)
 115     pitch_type = aubio_pitcht_mcomb;
 116   else if (strcmp (pitch_mode, "yinfft") == 0)
 117     pitch_type = aubio_pitcht_yinfft;
 118   else if (strcmp (pitch_mode, "yin") == 0)
 119     pitch_type = aubio_pitcht_yin;
 120   else if (strcmp (pitch_mode, "schmitt") == 0)
 121     pitch_type = aubio_pitcht_schmitt;
 122   else if (strcmp (pitch_mode, "fcomb") == 0)
 123     pitch_type = aubio_pitcht_fcomb;
 124   else if (strcmp (pitch_mode, "specacf") == 0)
 125     pitch_type = aubio_pitcht_specacf;
 126   else if (strcmp (pitch_mode, "default") == 0)
 127     pitch_type = aubio_pitcht_default;
 128   else {
 129     AUBIO_ERR ("pitch: unknown pitch detection method ‘%s’\n", pitch_mode);
 130     goto beach;
 131   }
 132
 133   // check parameters are valid
 134   if ((sint_t)hopsize < 1) {
 135     AUBIO_ERR("pitch: got hopsize %d, but can not be < 1\n", hopsize);
 136     goto beach;
 137   } else if ((sint_t)bufsize < 1) {
 138     AUBIO_ERR("pitch: got buffer_size %d, but can not be < 1\n", bufsize);
 139     goto beach;
 140   } else if (bufsize < hopsize) {
 141     AUBIO_ERR("pitch: hop size (%d) is larger than win size (%d)\n", hopsize, bufsize);
 142     goto beach;
 143   } else if ((sint_t)samplerate < 1) {
 144     AUBIO_ERR("pitch: samplerate (%d) can not be < 1\n", samplerate);
 145     goto beach;
 146   }
 147
 148   p->samplerate = samplerate;
 149   p->type = pitch_type;
 150   aubio_pitch_set_unit (p, "default");
 151   p->bufsize = bufsize;
 152   p->silence = DEFAULT_PITCH_SILENCE;
 153   p->conf_cb = NULL;
 154   switch (p->type) {
 155     case aubio_pitcht_yin:
 156       p->buf = new_fvec (bufsize);
 157       p->p_object = new_aubio_pitchyin (bufsize);
 158       if (!p->p_object) goto beach;
 159       p->detect_cb = aubio_pitch_do_yin;
 160       p->conf_cb = (aubio_pitch_get_conf_t)aubio_pitchyin_get_confidence;
 161       aubio_pitchyin_set_tolerance (p->p_object, 0.15);
 162       break;
 163     case aubio_pitcht_mcomb:
 164       p->filtered = new_fvec (hopsize);
 165       p->pv = new_aubio_pvoc (bufsize, hopsize);
 166       if (!p->pv) goto beach;
 167       p->fftgrain = new_cvec (bufsize);
 168       p->p_object = new_aubio_pitchmcomb (bufsize, hopsize);
 169       p->filter = new_aubio_filter_c_weighting (samplerate);
 170       p->detect_cb = aubio_pitch_do_mcomb;
 171       break;
 172     case aubio_pitcht_fcomb:
 173       p->buf = new_fvec (bufsize);
 174       p->p_object = new_aubio_pitchfcomb (bufsize, hopsize);
 175       if (!p->p_object) goto beach;
 176       p->detect_cb = aubio_pitch_do_fcomb;
 177       break;
 178     case aubio_pitcht_schmitt:
 179       p->buf = new_fvec (bufsize);
 180       p->p_object = new_aubio_pitchschmitt (bufsize);
 181       p->detect_cb = aubio_pitch_do_schmitt;
 182       break;
 183     case aubio_pitcht_yinfft:
 184       p->buf = new_fvec (bufsize);
 185       p->p_object = new_aubio_pitchyinfft (samplerate, bufsize);
 186       if (!p->p_object) goto beach;
 187       p->detect_cb = aubio_pitch_do_yinfft;
 188       p->conf_cb = (aubio_pitch_get_conf_t)aubio_pitchyinfft_get_confidence;
 189       aubio_pitchyinfft_set_tolerance (p->p_object, 0.85);
 190       break;
 191     case aubio_pitcht_specacf:
 192       p->buf = new_fvec (bufsize);
 193       p->p_object = new_aubio_pitchspecacf (bufsize);
 194       if (!p->p_object) goto beach;
 195       p->detect_cb = aubio_pitch_do_specacf;
 196       p->conf_cb = (aubio_pitch_get_conf_t)aubio_pitchspecacf_get_tolerance;
 197       aubio_pitchspecacf_set_tolerance (p->p_object, 0.85);
 198       break;
 199     default:
 200       break;
 201   }
 202   return p;
 203
 204 beach:
 205   if (p->filtered) del_fvec(p->filtered);
 206   if (p->buf) del_fvec(p->buf);
 207   AUBIO_FREE(p);
 208   return NULL;
 209 }
 210
 211 void
 212 del_aubio_pitch (aubio_pitch_t * p)
 213 {
 214   switch (p->type) {
 215     case aubio_pitcht_yin:
 216       del_fvec (p->buf);
 217       del_aubio_pitchyin (p->p_object);
 218       break;
 219     case aubio_pitcht_mcomb:
 220       del_fvec (p->filtered);
 221       del_aubio_pvoc (p->pv);
 222       del_cvec (p->fftgrain);
 223       del_aubio_filter (p->filter);
 224       del_aubio_pitchmcomb (p->p_object);
 225       break;
 226     case aubio_pitcht_schmitt:
 227       del_fvec (p->buf);
 228       del_aubio_pitchschmitt (p->p_object);
 229       break;
 230     case aubio_pitcht_fcomb:
 231       del_fvec (p->buf);
 232       del_aubio_pitchfcomb (p->p_object);
 233       break;
 234     case aubio_pitcht_yinfft:
 235       del_fvec (p->buf);
 236       del_aubio_pitchyinfft (p->p_object);
 237       break;
 238     case aubio_pitcht_specacf:
 239       del_fvec (p->buf);
 240       del_aubio_pitchspecacf (p->p_object);
 241       break;
 242     default:
 243       break;
 244   }
 245   AUBIO_FREE (p);
 246 }
 247
 248 void
 249 aubio_pitch_slideblock (aubio_pitch_t * p, const fvec_t * ibuf)
 250 {
 251   uint_t overlap_size = p->buf->length - ibuf->length;
 252 #if 1 //!HAVE_MEMCPY_HACKS
 253   uint_t j;
 254   for (j = 0; j < overlap_size; j++) {
 255     p->buf->data[j] = p->buf->data[j + ibuf->length];
 256   }
 257   for (j = 0; j < ibuf->length; j++) {
 258     p->buf->data[j + overlap_size] = ibuf->data[j];
 259   }
 260 #else
 261   smpl_t *data = p->buf->data;
 262   smpl_t *newdata = ibuf->data;
 263   memmove(data, data + ibuf->length, overlap_size);
 264   memcpy(data + overlap_size, newdata, ibuf->length);
 265 #endif
 266 }
 267
 268 uint_t
 269 aubio_pitch_set_unit (aubio_pitch_t * p, const char_t * pitch_unit)
 270 {
 271   uint_t err = AUBIO_OK;
 272   aubio_pitch_mode pitch_mode;
 273   if (strcmp (pitch_unit, "freq") == 0)
 274     pitch_mode = aubio_pitchm_freq;
 275   else if (strcmp (pitch_unit, "hertz") == 0)
 276     pitch_mode = aubio_pitchm_freq;
 277   else if (strcmp (pitch_unit, "Hertz") == 0)
 278     pitch_mode = aubio_pitchm_freq;
 279   else if (strcmp (pitch_unit, "Hz") == 0)
 280     pitch_mode = aubio_pitchm_freq;
 281   else if (strcmp (pitch_unit, "f0") == 0)
 282     pitch_mode = aubio_pitchm_freq;
 283   else if (strcmp (pitch_unit, "midi") == 0)
 284     pitch_mode = aubio_pitchm_midi;
 285   else if (strcmp (pitch_unit, "cent") == 0)
 286     pitch_mode = aubio_pitchm_cent;
 287   else if (strcmp (pitch_unit, "bin") == 0)
 288     pitch_mode = aubio_pitchm_bin;
 289   else if (strcmp (pitch_unit, "default") == 0)
 290     pitch_mode = aubio_pitchm_default;
 291   else {
 292     AUBIO_WRN("pitch: unknown pitch detection unit ‘%s’, using default\n",
 293         pitch_unit);
 294     pitch_mode = aubio_pitchm_default;
 295     err = AUBIO_FAIL;
 296   }
 297   p->mode = pitch_mode;
 298   switch (p->mode) {
 299     case aubio_pitchm_freq:
 300       p->conv_cb = freqconvpass;
 301       break;
 302     case aubio_pitchm_midi:
 303       p->conv_cb = freqconvmidi;
 304       break;
 305     case aubio_pitchm_cent:
 306       /* bug: not implemented */
 307       p->conv_cb = freqconvmidi;
 308       break;
 309     case aubio_pitchm_bin:
 310       p->conv_cb = freqconvbin;
 311       break;
 312     default:
 313       break;
 314   }
 315   return err;
 316 }
 317
 318 uint_t
 319 aubio_pitch_set_tolerance (aubio_pitch_t * p, smpl_t tol)
 320 {
 321   switch (p->type) {
 322     case aubio_pitcht_yin:
 323       aubio_pitchyin_set_tolerance (p->p_object, tol);
 324       break;
 325     case aubio_pitcht_yinfft:
 326       aubio_pitchyinfft_set_tolerance (p->p_object, tol);
 327       break;
 328     default:
 329       break;
 330   }
 331   return AUBIO_OK;
 332 }
 333
 334 smpl_t
 335 aubio_pitch_get_tolerance (aubio_pitch_t * p)
 336 {
 337   smpl_t tolerance = 1.;
 338   switch (p->type) {
 339     case aubio_pitcht_yin:
 340       tolerance = aubio_pitchyin_get_tolerance (p->p_object);
 341       break;
 342     case aubio_pitcht_yinfft:
 343       tolerance = aubio_pitchyinfft_get_tolerance (p->p_object);
 344       break;
 345     default:
 346       break;
 347   }
 348   return tolerance;
 349 }
 350
 351 uint_t
 352 aubio_pitch_set_silence (aubio_pitch_t * p, smpl_t silence)
 353 {
 354   if (silence <= 0 && silence >= -200) {
 355     p->silence = silence;
 356     return AUBIO_OK;
 357   } else {
 358     AUBIO_WRN("pitch: could not set silence to %.2f\n", silence);
 359     return AUBIO_FAIL;
 360   }
 361 }
 362
 363 smpl_t
 364 aubio_pitch_get_silence (aubio_pitch_t * p)
 365 {
 366   return p->silence;
 367 }
 368
 369
 370 /* do method, calling the detection callback, then the conversion callback */
 371 void
 372 aubio_pitch_do (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf)
 373 {
 374   p->detect_cb (p, ibuf, obuf);
 375   if (aubio_silence_detection(ibuf, p->silence) == 1) {
 376     obuf->data[0] = 0.;
 377   }
 378   obuf->data[0] = p->conv_cb (obuf->data[0], p->samplerate, p->bufsize);
 379 }
 380
 381 /* do method for each algorithm */
 382 void
 383 aubio_pitch_do_mcomb (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf)
 384 {
 385   aubio_filter_do_outplace (p->filter, ibuf, p->filtered);
 386   aubio_pvoc_do (p->pv, ibuf, p->fftgrain);
 387   aubio_pitchmcomb_do (p->p_object, p->fftgrain, obuf);
 388   obuf->data[0] = aubio_bintofreq (obuf->data[0], p->samplerate, p->bufsize);
 389 }
 390
 391 void
 392 aubio_pitch_do_yin (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf)
 393 {
 394   smpl_t pitch = 0.;
 395   aubio_pitch_slideblock (p, ibuf);
 396   aubio_pitchyin_do (p->p_object, p->buf, obuf);
 397   pitch = obuf->data[0];
 398   if (pitch > 0) {
 399     pitch = p->samplerate / (pitch + 0.);
 400   } else {
 401     pitch = 0.;
 402   }
 403   obuf->data[0] = pitch;
 404 }
 405
 406
 407 void
 408 aubio_pitch_do_yinfft (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * obuf)
 409 {
 410   smpl_t pitch = 0.;
 411   aubio_pitch_slideblock (p, ibuf);
 412   aubio_pitchyinfft_do (p->p_object, p->buf, obuf);
 413   pitch = obuf->data[0];
 414   if (pitch > 0) {
 415     pitch = p->samplerate / (pitch + 0.);
 416   } else {
 417     pitch = 0.;
 418   }
 419   obuf->data[0] = pitch;
 420 }
 421
 422 void
 423 aubio_pitch_do_specacf (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * out)
 424 {
 425   smpl_t pitch = 0., period;
 426   aubio_pitch_slideblock (p, ibuf);
 427   aubio_pitchspecacf_do (p->p_object, p->buf, out);
 428   //out->data[0] = aubio_bintofreq (out->data[0], p->samplerate, p->bufsize);
 429   period = out->data[0];
 430   if (period > 0) {
 431     pitch = p->samplerate / period;
 432   } else {
 433     pitch = 0.;
 434   }
 435   out->data[0] = pitch;
 436 }
 437
 438 void
 439 aubio_pitch_do_fcomb (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * out)
 440 {
 441   aubio_pitch_slideblock (p, ibuf);
 442   aubio_pitchfcomb_do (p->p_object, p->buf, out);
 443   out->data[0] = aubio_bintofreq (out->data[0], p->samplerate, p->bufsize);
 444 }
 445
 446 void
 447 aubio_pitch_do_schmitt (aubio_pitch_t * p, const fvec_t * ibuf, fvec_t * out)
 448 {
 449   smpl_t period, pitch = 0.;
 450   aubio_pitch_slideblock (p, ibuf);
 451   aubio_pitchschmitt_do (p->p_object, p->buf, out);
 452   period = out->data[0];
 453   if (period > 0) {
 454     pitch = p->samplerate / period;
 455   } else {
 456     pitch = 0.;
 457   }
 458   out->data[0] = pitch;
 459 }
 460
 461 /* conversion callbacks */
 462 smpl_t
 463 freqconvbin(smpl_t f, uint_t samplerate, uint_t bufsize)
 464 {
 465   return aubio_freqtobin(f, samplerate, bufsize);
 466 }
 467
 468 smpl_t
 469 freqconvmidi (smpl_t f, uint_t samplerate UNUSED, uint_t bufsize UNUSED)
 470 {
 471   return aubio_freqtomidi (f);
 472 }
 473
 474 smpl_t
 475 freqconvpass (smpl_t f, uint_t samplerate UNUSED, uint_t bufsize UNUSED)
 476 {
 477   return f;
 478 }
 479
 480 /* confidence callbacks */
 481 smpl_t
 482 aubio_pitch_get_confidence (aubio_pitch_t * p)
 483 {
 484   if (p->conf_cb) {
 485     return p->conf_cb(p->p_object);
 486   }
 487   return 0.;
 488 }