src/pitch/pitch.c

   1 /*
   2   Copyright (C) 2003-2009 Paul Brossier <piem@aubio.org>
   3
   4   This file is part of aubio.
   5
   6   aubio is free software: you can redistribute it and/or modify
   7   it under the terms of the GNU General Public License as published by
   8   the Free Software Foundation, either version 3 of the License, or
   9   (at your option) any later version.
  10
  11   aubio is distributed in the hope that it will be useful,
  12   but WITHOUT ANY WARRANTY; without even the implied warranty of
  13   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14   GNU General Public License for more details.
  15
  16   You should have received a copy of the GNU General Public License
  17   along with aubio.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 */
  20
  21 #include "aubio_priv.h"
  22 #include "fvec.h"
  23 #include "cvec.h"
  24 #include "lvec.h"
  25 #include "mathutils.h"
  26 #include "musicutils.h"
  27 #include "spectral/phasevoc.h"
  28 #include "temporal/filter.h"
  29 #include "temporal/c_weighting.h"
  30 #include "pitch/pitchmcomb.h"
  31 #include "pitch/pitchyin.h"
  32 #include "pitch/pitchfcomb.h"
  33 #include "pitch/pitchschmitt.h"
  34 #include "pitch/pitchyinfft.h"
  35 #include "pitch/pitchspecacf.h"
  36 #include "pitch/pitch.h"
  37
  38 #define DEFAULT_PITCH_SILENCE -50.
  39
  40 /** pitch detection algorithms */
  41 typedef enum
  42 {
  43   aubio_pitcht_yin,        /**< `yin`, YIN algorithm */
  44   aubio_pitcht_mcomb,      /**< `mcomb`, Multi-comb filter */
  45   aubio_pitcht_schmitt,    /**< `schmitt`, Schmitt trigger */
  46   aubio_pitcht_fcomb,      /**< `fcomb`, Fast comb filter */
  47   aubio_pitcht_yinfft,     /**< `yinfft`, Spectral YIN */
  48   aubio_pitcht_specacf,    /**< `specacf`, Spectral autocorrelation */
  49   aubio_pitcht_default
  50     = aubio_pitcht_yinfft, /**< `default` */
  51 } aubio_pitch_type;
  52
  53 /** pitch detection output modes */
  54 typedef enum
  55 {
  56   aubio_pitchm_freq,   /**< Frequency (Hz) */
  57   aubio_pitchm_midi,   /**< MIDI note (0.,127) */
  58   aubio_pitchm_cent,   /**< Cent */
  59   aubio_pitchm_bin,    /**< Frequency bin (0,bufsize) */
  60   aubio_pitchm_default = aubio_pitchm_freq, /**< the one used when "default" is asked */
  61 } aubio_pitch_mode;
  62
  63 /** callback to get pitch candidate, defined below */
  64 typedef void (*aubio_pitch_detect_t) (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * obuf);
  65
  66 /** callback to convert pitch from one unit to another, defined below */
  67 typedef smpl_t(*aubio_pitch_convert_t) (smpl_t value, uint_t samplerate, uint_t bufsize);
  68
  69 /** callback to fetch the confidence of the algorithm */
  70 typedef smpl_t (*aubio_pitch_get_conf_t) (void * p);
  71
  72 /** generic pitch detection structure */
  73 struct _aubio_pitch_t
  74 {
  75   aubio_pitch_type type;          /**< pitch detection mode */
  76   aubio_pitch_mode mode;          /**< pitch detection output mode */
  77   uint_t samplerate;              /**< samplerate */
  78   uint_t bufsize;                 /**< buffer size */
  79   void *p_object;                 /**< pointer to pitch object */
  80   aubio_filter_t *filter;         /**< filter */
  81   aubio_pvoc_t *pv;               /**< phase vocoder for mcomb */
  82   cvec_t *fftgrain;               /**< spectral frame for mcomb */
  83   fvec_t *buf;                    /**< temporary buffer for yin */
  84   aubio_pitch_detect_t detect_cb; /**< callback to get the pitch candidates */
  85   aubio_pitch_convert_t conv_cb;  /**< callback to convert it to the desired unit */
  86   aubio_pitch_get_conf_t conf_cb; /**< pointer to the current confidence callback */
  87   smpl_t silence;                 /**< silence threshold */
  88 };
  89
  90 /* callback functions for pitch detection */
  91 static void aubio_pitch_do_mcomb (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * obuf);
  92 static void aubio_pitch_do_yin (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * obuf);
  93 static void aubio_pitch_do_schmitt (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * obuf);
  94 static void aubio_pitch_do_fcomb (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * obuf);
  95 static void aubio_pitch_do_yinfft (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * obuf);
  96 static void aubio_pitch_do_specacf (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * obuf);
  97
  98 /* conversion functions for frequency conversions */
  99 smpl_t freqconvbin (smpl_t f, uint_t samplerate, uint_t bufsize);
 100 smpl_t freqconvmidi (smpl_t f, uint_t samplerate, uint_t bufsize);
 101 smpl_t freqconvpass (smpl_t f, uint_t samplerate, uint_t bufsize);
 102
 103 /* adapter to stack ibuf new samples at the end of buf, and trim `buf` to `bufsize` */
 104 void aubio_pitch_slideblock (aubio_pitch_t * p, fvec_t * ibuf);
 105
 106
 107 aubio_pitch_t *
 108 new_aubio_pitch (char_t * pitch_mode,
 109     uint_t bufsize, uint_t hopsize, uint_t samplerate)
 110 {
 111   aubio_pitch_t *p = AUBIO_NEW (aubio_pitch_t);
 112   aubio_pitch_type pitch_type;
 113   if (strcmp (pitch_mode, "mcomb") == 0)
 114     pitch_type = aubio_pitcht_mcomb;
 115   else if (strcmp (pitch_mode, "yinfft") == 0)
 116     pitch_type = aubio_pitcht_yinfft;
 117   else if (strcmp (pitch_mode, "yin") == 0)
 118     pitch_type = aubio_pitcht_yin;
 119   else if (strcmp (pitch_mode, "schmitt") == 0)
 120     pitch_type = aubio_pitcht_schmitt;
 121   else if (strcmp (pitch_mode, "fcomb") == 0)
 122     pitch_type = aubio_pitcht_fcomb;
 123   else if (strcmp (pitch_mode, "specacf") == 0)
 124     pitch_type = aubio_pitcht_specacf;
 125   else if (strcmp (pitch_mode, "default") == 0)
 126     pitch_type = aubio_pitcht_default;
 127   else {
 128     AUBIO_ERR ("unknown pitch detection method %s, using default.\n",
 129         pitch_mode);
 130     pitch_type = aubio_pitcht_default;
 131   }
 132   p->samplerate = samplerate;
 133   p->type = pitch_type;
 134   aubio_pitch_set_unit (p, "default");
 135   p->bufsize = bufsize;
 136   p->silence = DEFAULT_PITCH_SILENCE;
 137   p->conf_cb = NULL;
 138   switch (p->type) {
 139     case aubio_pitcht_yin:
 140       p->buf = new_fvec (bufsize);
 141       p->p_object = new_aubio_pitchyin (bufsize);
 142       p->detect_cb = aubio_pitch_do_yin;
 143       p->conf_cb = (aubio_pitch_get_conf_t)aubio_pitchyin_get_confidence;
 144       aubio_pitchyin_set_tolerance (p->p_object, 0.15);
 145       break;
 146     case aubio_pitcht_mcomb:
 147       p->pv = new_aubio_pvoc (bufsize, hopsize);
 148       p->fftgrain = new_cvec (bufsize);
 149       p->p_object = new_aubio_pitchmcomb (bufsize, hopsize);
 150       p->filter = new_aubio_filter_c_weighting (samplerate);
 151       p->detect_cb = aubio_pitch_do_mcomb;
 152       break;
 153     case aubio_pitcht_fcomb:
 154       p->buf = new_fvec (bufsize);
 155       p->p_object = new_aubio_pitchfcomb (bufsize, hopsize);
 156       p->detect_cb = aubio_pitch_do_fcomb;
 157       break;
 158     case aubio_pitcht_schmitt:
 159       p->buf = new_fvec (bufsize);
 160       p->p_object = new_aubio_pitchschmitt (bufsize);
 161       p->detect_cb = aubio_pitch_do_schmitt;
 162       break;
 163     case aubio_pitcht_yinfft:
 164       p->buf = new_fvec (bufsize);
 165       p->p_object = new_aubio_pitchyinfft (samplerate, bufsize);
 166       p->detect_cb = aubio_pitch_do_yinfft;
 167       p->conf_cb = (aubio_pitch_get_conf_t)aubio_pitchyinfft_get_confidence;
 168       aubio_pitchyinfft_set_tolerance (p->p_object, 0.85);
 169       break;
 170     case aubio_pitcht_specacf:
 171       p->buf = new_fvec (bufsize);
 172       p->p_object = new_aubio_pitchspecacf (bufsize);
 173       p->detect_cb = aubio_pitch_do_specacf;
 174       p->conf_cb = (aubio_pitch_get_conf_t)aubio_pitchspecacf_get_tolerance;
 175       aubio_pitchspecacf_set_tolerance (p->p_object, 0.85);
 176       break;
 177     default:
 178       break;
 179   }
 180   return p;
 181 }
 182
 183 void
 184 del_aubio_pitch (aubio_pitch_t * p)
 185 {
 186   switch (p->type) {
 187     case aubio_pitcht_yin:
 188       del_fvec (p->buf);
 189       del_aubio_pitchyin (p->p_object);
 190       break;
 191     case aubio_pitcht_mcomb:
 192       del_aubio_pvoc (p->pv);
 193       del_cvec (p->fftgrain);
 194       del_aubio_filter (p->filter);
 195       del_aubio_pitchmcomb (p->p_object);
 196       break;
 197     case aubio_pitcht_schmitt:
 198       del_fvec (p->buf);
 199       del_aubio_pitchschmitt (p->p_object);
 200       break;
 201     case aubio_pitcht_fcomb:
 202       del_fvec (p->buf);
 203       del_aubio_pitchfcomb (p->p_object);
 204       break;
 205     case aubio_pitcht_yinfft:
 206       del_fvec (p->buf);
 207       del_aubio_pitchyinfft (p->p_object);
 208       break;
 209     case aubio_pitcht_specacf:
 210       del_fvec (p->buf);
 211       del_aubio_pitchspecacf (p->p_object);
 212       break;
 213     default:
 214       break;
 215   }
 216   AUBIO_FREE (p);
 217 }
 218
 219 void
 220 aubio_pitch_slideblock (aubio_pitch_t * p, fvec_t * ibuf)
 221 {
 222   uint_t j = 0, overlap_size = 0;
 223   overlap_size = p->buf->length - ibuf->length;
 224   for (j = 0; j < overlap_size; j++) {
 225     p->buf->data[j] = p->buf->data[j + ibuf->length];
 226   }
 227   for (j = 0; j < ibuf->length; j++) {
 228     p->buf->data[j + overlap_size] = ibuf->data[j];
 229   }
 230 }
 231
 232 uint_t
 233 aubio_pitch_set_unit (aubio_pitch_t * p, char_t * pitch_unit)
 234 {
 235   uint_t err = AUBIO_OK;
 236   aubio_pitch_mode pitch_mode;
 237   if (strcmp (pitch_unit, "freq") == 0)
 238     pitch_mode = aubio_pitchm_freq;
 239   else if (strcmp (pitch_unit, "hertz") == 0)
 240     pitch_mode = aubio_pitchm_freq;
 241   else if (strcmp (pitch_unit, "Hertz") == 0)
 242     pitch_mode = aubio_pitchm_freq;
 243   else if (strcmp (pitch_unit, "Hz") == 0)
 244     pitch_mode = aubio_pitchm_freq;
 245   else if (strcmp (pitch_unit, "f0") == 0)
 246     pitch_mode = aubio_pitchm_freq;
 247   else if (strcmp (pitch_unit, "midi") == 0)
 248     pitch_mode = aubio_pitchm_midi;
 249   else if (strcmp (pitch_unit, "cent") == 0)
 250     pitch_mode = aubio_pitchm_cent;
 251   else if (strcmp (pitch_unit, "bin") == 0)
 252     pitch_mode = aubio_pitchm_bin;
 253   else if (strcmp (pitch_unit, "default") == 0)
 254     pitch_mode = aubio_pitchm_default;
 255   else {
 256     AUBIO_ERR ("unknown pitch detection unit %s, using default\n", pitch_unit);
 257     pitch_mode = aubio_pitchm_default;
 258     err = AUBIO_FAIL;
 259   }
 260   p->mode = pitch_mode;
 261   switch (p->mode) {
 262     case aubio_pitchm_freq:
 263       p->conv_cb = freqconvpass;
 264       break;
 265     case aubio_pitchm_midi:
 266       p->conv_cb = freqconvmidi;
 267       break;
 268     case aubio_pitchm_cent:
 269       /* bug: not implemented */
 270       p->conv_cb = freqconvmidi;
 271       break;
 272     case aubio_pitchm_bin:
 273       p->conv_cb = freqconvbin;
 274       break;
 275     default:
 276       break;
 277   }
 278   return err;
 279 }
 280
 281 uint_t
 282 aubio_pitch_set_tolerance (aubio_pitch_t * p, smpl_t tol)
 283 {
 284   switch (p->type) {
 285     case aubio_pitcht_yin:
 286       aubio_pitchyin_set_tolerance (p->p_object, tol);
 287       break;
 288     case aubio_pitcht_yinfft:
 289       aubio_pitchyinfft_set_tolerance (p->p_object, tol);
 290       break;
 291     default:
 292       break;
 293   }
 294   return AUBIO_OK;
 295 }
 296
 297 uint_t
 298 aubio_pitch_set_silence (aubio_pitch_t * p, smpl_t silence)
 299 {
 300   if (silence < 0 && silence > -200) {
 301     p->silence = silence;
 302     return AUBIO_OK;
 303   } else {
 304     AUBIO_ERR("pitch: could do set silence to %.2f", silence);
 305     return AUBIO_FAIL;
 306   }
 307 }
 308
 309 smpl_t
 310 aubio_pitch_get_silence (aubio_pitch_t * p)
 311 {
 312   return p->silence;
 313 }
 314
 315
 316 /* do method, calling the detection callback, then the conversion callback */
 317 void
 318 aubio_pitch_do (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * obuf)
 319 {
 320   p->detect_cb (p, ibuf, obuf);
 321   if (aubio_silence_detection(ibuf, p->silence) == 1) {
 322     obuf->data[0] = 0.;
 323   }
 324   obuf->data[0] = p->conv_cb (obuf->data[0], p->samplerate, p->bufsize);
 325 }
 326
 327 /* do method for each algorithm */
 328 void
 329 aubio_pitch_do_mcomb (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * obuf)
 330 {
 331   aubio_filter_do (p->filter, ibuf);
 332   aubio_pvoc_do (p->pv, ibuf, p->fftgrain);
 333   aubio_pitchmcomb_do (p->p_object, p->fftgrain, obuf);
 334   obuf->data[0] = aubio_bintofreq (obuf->data[0], p->samplerate, p->bufsize);
 335 }
 336
 337 void
 338 aubio_pitch_do_yin (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * obuf)
 339 {
 340   smpl_t pitch = 0.;
 341   aubio_pitch_slideblock (p, ibuf);
 342   aubio_pitchyin_do (p->p_object, p->buf, obuf);
 343   pitch = obuf->data[0];
 344   if (pitch > 0) {
 345     pitch = p->samplerate / (pitch + 0.);
 346   } else {
 347     pitch = 0.;
 348   }
 349   obuf->data[0] = pitch;
 350 }
 351
 352
 353 void
 354 aubio_pitch_do_yinfft (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * obuf)
 355 {
 356   smpl_t pitch = 0.;
 357   aubio_pitch_slideblock (p, ibuf);
 358   aubio_pitchyinfft_do (p->p_object, p->buf, obuf);
 359   pitch = obuf->data[0];
 360   if (pitch > 0) {
 361     pitch = p->samplerate / (pitch + 0.);
 362   } else {
 363     pitch = 0.;
 364   }
 365   obuf->data[0] = pitch;
 366 }
 367
 368 void
 369 aubio_pitch_do_specacf (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * out)
 370 {
 371   smpl_t pitch = 0., period;
 372   aubio_pitch_slideblock (p, ibuf);
 373   aubio_pitchspecacf_do (p->p_object, p->buf, out);
 374   //out->data[0] = aubio_bintofreq (out->data[0], p->samplerate, p->bufsize);
 375   period = out->data[0];
 376   if (period > 0) {
 377     pitch = p->samplerate / period;
 378   } else {
 379     pitch = 0.;
 380   }
 381   out->data[0] = pitch;
 382 }
 383
 384 void
 385 aubio_pitch_do_fcomb (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * out)
 386 {
 387   aubio_pitch_slideblock (p, ibuf);
 388   aubio_pitchfcomb_do (p->p_object, p->buf, out);
 389   out->data[0] = aubio_bintofreq (out->data[0], p->samplerate, p->bufsize);
 390 }
 391
 392 void
 393 aubio_pitch_do_schmitt (aubio_pitch_t * p, fvec_t * ibuf, fvec_t * out)
 394 {
 395   smpl_t period, pitch = 0.;
 396   aubio_pitch_slideblock (p, ibuf);
 397   aubio_pitchschmitt_do (p->p_object, p->buf, out);
 398   period = out->data[0];
 399   if (period > 0) {
 400     pitch = p->samplerate / period;
 401   } else {
 402     pitch = 0.;
 403   }
 404   out->data[0] = pitch;
 405 }
 406
 407 /* conversion callbacks */
 408 smpl_t
 409 freqconvbin(smpl_t f, uint_t samplerate, uint_t bufsize)
 410 {
 411   return aubio_freqtobin(f, samplerate, bufsize);
 412 }
 413
 414 smpl_t
 415 freqconvmidi (smpl_t f, uint_t samplerate UNUSED, uint_t bufsize UNUSED)
 416 {
 417   return aubio_freqtomidi (f);
 418 }
 419
 420 smpl_t
 421 freqconvpass (smpl_t f, uint_t samplerate UNUSED, uint_t bufsize UNUSED)
 422 {
 423   return f;
 424 }
 425
 426 /* confidence callbacks */
 427 smpl_t
 428 aubio_pitch_get_confidence (aubio_pitch_t * p)
 429 {
 430   if (p->conf_cb) {
 431     return p->conf_cb(p->p_object);
 432   }
 433   return 0.;
 434 }