src/onset/onset.c

   1 /*
   2   Copyright (C) 2006-2013 Paul Brossier <piem@aubio.org>
   3
   4   This file is part of aubio.
   5
   6   aubio is free software: you can redistribute it and/or modify
   7   it under the terms of the GNU General Public License as published by
   8   the Free Software Foundation, either version 3 of the License, or
   9   (at your option) any later version.
  10
  11   aubio is distributed in the hope that it will be useful,
  12   but WITHOUT ANY WARRANTY; without even the implied warranty of
  13   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14   GNU General Public License for more details.
  15
  16   You should have received a copy of the GNU General Public License
  17   along with aubio.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 */
  20
  21 #include "aubio_priv.h"
  22 #include "fvec.h"
  23 #include "cvec.h"
  24 #include "spectral/specdesc.h"
  25 #include "spectral/phasevoc.h"
  26 #include "spectral/awhitening.h"
  27 #include "onset/peakpicker.h"
  28 #include "mathutils.h"
  29 #include "onset/onset.h"
  30
  31 void aubio_onset_default_parameters (aubio_onset_t *o, const char_t * method);
  32
  33 /** structure to store object state */
  34 struct _aubio_onset_t {
  35   aubio_pvoc_t * pv;            /**< phase vocoder */
  36   aubio_specdesc_t * od;        /**< spectral descriptor */
  37   aubio_peakpicker_t * pp;      /**< peak picker */
  38   cvec_t * fftgrain;            /**< phase vocoder output */
  39   fvec_t * desc;                /**< spectral description */
  40   smpl_t silence;               /**< silence threhsold */
  41   uint_t minioi;                /**< minimum inter onset interval */
  42   uint_t delay;                 /**< constant delay, in samples, removed from detected onset times */
  43   uint_t samplerate;            /**< sampling rate of the input signal */
  44   uint_t hop_size;              /**< number of samples between two runs */
  45
  46   uint_t total_frames;          /**< total number of frames processed since the beginning */
  47   uint_t last_onset;            /**< last detected onset location, in frames */
  48
  49   uint_t apply_compression;
  50   smpl_t lambda_compression;
  51   uint_t apply_awhitening;      /**< apply adaptive spectral whitening */
  52   aubio_spectral_whitening_t *spectral_whitening;
  53 };
  54
  55 /* execute onset detection function on iput buffer */
  56 void aubio_onset_do (aubio_onset_t *o, const fvec_t * input, fvec_t * onset)
  57 {
  58   smpl_t isonset = 0;
  59   aubio_pvoc_do (o->pv,input, o->fftgrain);
  60   /*
  61   if (apply_filtering) {
  62   }
  63   */
  64   if (o->apply_awhitening) {
  65     aubio_spectral_whitening_do(o->spectral_whitening, o->fftgrain);
  66   }
  67   if (o->apply_compression) {
  68     cvec_logmag(o->fftgrain, o->lambda_compression);
  69   }
  70   aubio_specdesc_do (o->od, o->fftgrain, o->desc);
  71   aubio_peakpicker_do(o->pp, o->desc, onset);
  72   isonset = onset->data[0];
  73   if (isonset > 0.) {
  74     if (aubio_silence_detection(input, o->silence)==1) {
  75       //AUBIO_DBG ("silent onset, not marking as onset\n");
  76       isonset  = 0;
  77     } else {
  78       // we have an onset
  79       uint_t new_onset = o->total_frames + (uint_t)ROUND(isonset * o->hop_size);
  80       // check if last onset time was more than minioi ago
  81       if (o->last_onset + o->minioi < new_onset) {
  82         // start of file: make sure (new_onset - delay) >= 0
  83         if (o->last_onset > 0 && o->delay > new_onset) {
  84           isonset = 0;
  85         } else {
  86           //AUBIO_DBG ("accepted detection, marking as onset\n");
  87           o->last_onset = MAX(o->delay, new_onset);
  88         }
  89       } else {
  90         //AUBIO_DBG ("doubled onset, not marking as onset\n");
  91         isonset  = 0;
  92       }
  93     }
  94   } else {
  95     // we are at the beginning of the file
  96     if (o->total_frames <= o->delay) {
  97       // and we don't find silence
  98       if (aubio_silence_detection(input, o->silence) == 0) {
  99         uint_t new_onset = o->total_frames;
 100         if (o->total_frames == 0 || o->last_onset + o->minioi < new_onset) {
 101           isonset = o->delay / o->hop_size;
 102           o->last_onset = o->total_frames + o->delay;
 103         }
 104       }
 105     }
 106   }
 107   onset->data[0] = isonset;
 108   o->total_frames += o->hop_size;
 109   return;
 110 }
 111
 112 uint_t aubio_onset_get_last (const aubio_onset_t *o)
 113 {
 114   return o->last_onset - o->delay;
 115 }
 116
 117 smpl_t aubio_onset_get_last_s (const aubio_onset_t *o)
 118 {
 119   return aubio_onset_get_last (o) / (smpl_t) (o->samplerate);
 120 }
 121
 122 smpl_t aubio_onset_get_last_ms (const aubio_onset_t *o)
 123 {
 124   return aubio_onset_get_last_s (o) * 1000.;
 125 }
 126
 127 uint_t aubio_onset_set_awhitening (aubio_onset_t *o, uint_t enable)
 128 {
 129   o->apply_awhitening = enable == 1 ? 1 : 0;
 130   return AUBIO_OK;
 131 }
 132
 133 smpl_t aubio_onset_get_awhitening (aubio_onset_t *o)
 134 {
 135   return o->apply_awhitening;
 136 }
 137
 138 uint_t aubio_onset_set_compression (aubio_onset_t *o, smpl_t lambda)
 139 {
 140   if (lambda < 0.) {
 141     return AUBIO_FAIL;
 142   }
 143   o->lambda_compression = lambda;
 144   o->apply_compression = (o->lambda_compression > 0.) ? 1 : 0;
 145   return AUBIO_OK;
 146 }
 147
 148 smpl_t aubio_onset_get_compression (aubio_onset_t *o)
 149 {
 150   return o->apply_compression ? o->lambda_compression : 0;
 151 }
 152
 153 uint_t aubio_onset_set_silence(aubio_onset_t * o, smpl_t silence) {
 154   o->silence = silence;
 155   return AUBIO_OK;
 156 }
 157
 158 smpl_t aubio_onset_get_silence(const aubio_onset_t * o) {
 159   return o->silence;
 160 }
 161
 162 uint_t aubio_onset_set_threshold(aubio_onset_t * o, smpl_t threshold) {
 163   aubio_peakpicker_set_threshold(o->pp, threshold);
 164   return AUBIO_OK;
 165 }
 166
 167 smpl_t aubio_onset_get_threshold(const aubio_onset_t * o) {
 168   return aubio_peakpicker_get_threshold(o->pp);
 169 }
 170
 171 uint_t aubio_onset_set_minioi(aubio_onset_t * o, uint_t minioi) {
 172   o->minioi = minioi;
 173   return AUBIO_OK;
 174 }
 175
 176 uint_t aubio_onset_get_minioi(const aubio_onset_t * o) {
 177   return o->minioi;
 178 }
 179
 180 uint_t aubio_onset_set_minioi_s(aubio_onset_t * o, smpl_t minioi) {
 181   return aubio_onset_set_minioi (o, (uint_t)ROUND(minioi * o->samplerate));
 182 }
 183
 184 smpl_t aubio_onset_get_minioi_s(const aubio_onset_t * o) {
 185   return aubio_onset_get_minioi (o) / (smpl_t) o->samplerate;
 186 }
 187
 188 uint_t aubio_onset_set_minioi_ms(aubio_onset_t * o, smpl_t minioi) {
 189   return aubio_onset_set_minioi_s (o, minioi / 1000.);
 190 }
 191
 192 smpl_t aubio_onset_get_minioi_ms(const aubio_onset_t * o) {
 193   return aubio_onset_get_minioi_s (o) * 1000.;
 194 }
 195
 196 uint_t aubio_onset_set_delay(aubio_onset_t * o, uint_t delay) {
 197   o->delay = delay;
 198   return AUBIO_OK;
 199 }
 200
 201 uint_t aubio_onset_get_delay(const aubio_onset_t * o) {
 202   return o->delay;
 203 }
 204
 205 uint_t aubio_onset_set_delay_s(aubio_onset_t * o, smpl_t delay) {
 206   return aubio_onset_set_delay (o, delay * o->samplerate);
 207 }
 208
 209 smpl_t aubio_onset_get_delay_s(const aubio_onset_t * o) {
 210   return aubio_onset_get_delay (o) / (smpl_t) o->samplerate;
 211 }
 212
 213 uint_t aubio_onset_set_delay_ms(aubio_onset_t * o, smpl_t delay) {
 214   return aubio_onset_set_delay_s (o, delay / 1000.);
 215 }
 216
 217 smpl_t aubio_onset_get_delay_ms(const aubio_onset_t * o) {
 218   return aubio_onset_get_delay_s (o) * 1000.;
 219 }
 220
 221 smpl_t aubio_onset_get_descriptor(const aubio_onset_t * o) {
 222   return o->desc->data[0];
 223 }
 224
 225 smpl_t aubio_onset_get_thresholded_descriptor(const aubio_onset_t * o) {
 226   fvec_t * thresholded = aubio_peakpicker_get_thresholded_input(o->pp);
 227   return thresholded->data[0];
 228 }
 229
 230 /* Allocate memory for an onset detection */
 231 aubio_onset_t * new_aubio_onset (const char_t * onset_mode,
 232     uint_t buf_size, uint_t hop_size, uint_t samplerate)
 233 {
 234   aubio_onset_t * o = AUBIO_NEW(aubio_onset_t);
 235
 236   /* check parameters are valid */
 237   if ((sint_t)hop_size < 1) {
 238     AUBIO_ERR("onset: got hop_size %d, but can not be < 1\n", hop_size);
 239     goto beach;
 240   } else if ((sint_t)buf_size < 2) {
 241     AUBIO_ERR("onset: got buffer_size %d, but can not be < 2\n", buf_size);
 242     goto beach;
 243   } else if (buf_size < hop_size) {
 244     AUBIO_ERR("onset: hop size (%d) is larger than win size (%d)\n", hop_size, buf_size);
 245     goto beach;
 246   } else if ((sint_t)samplerate < 1) {
 247     AUBIO_ERR("onset: samplerate (%d) can not be < 1\n", samplerate);
 248     goto beach;
 249   }
 250
 251   /* store creation parameters */
 252   o->samplerate = samplerate;
 253   o->hop_size = hop_size;
 254
 255   /* allocate memory */
 256   o->pv = new_aubio_pvoc(buf_size, o->hop_size);
 257   o->pp = new_aubio_peakpicker();
 258   o->od = new_aubio_specdesc(onset_mode,buf_size);
 259   if (o->od == NULL) goto beach_specdesc;
 260   o->fftgrain = new_cvec(buf_size);
 261   o->desc = new_fvec(1);
 262   o->spectral_whitening = new_aubio_spectral_whitening(buf_size, hop_size, samplerate);
 263
 264   /* initialize internal variables */
 265   aubio_onset_set_default_parameters (o, onset_mode);
 266
 267   aubio_onset_reset(o);
 268   return o;
 269
 270 beach_specdesc:
 271   del_aubio_peakpicker(o->pp);
 272   del_aubio_pvoc(o->pv);
 273 beach:
 274   AUBIO_FREE(o);
 275   return NULL;
 276 }
 277
 278 void aubio_onset_reset (aubio_onset_t *o) {
 279   o->last_onset = 0;
 280   o->total_frames = 0;
 281 }
 282
 283 uint_t aubio_onset_set_default_parameters (aubio_onset_t * o, const char_t * onset_mode)
 284 {
 285   uint_t ret = AUBIO_OK;
 286   /* set some default parameter */
 287   aubio_onset_set_threshold (o, 0.3);
 288   aubio_onset_set_delay (o, 4.3 * o->hop_size);
 289   aubio_onset_set_minioi_ms (o, 50.);
 290   aubio_onset_set_silence (o, -70.);
 291   // disable spectral whitening
 292   aubio_onset_set_awhitening (o, 0);
 293   // disable logarithmic magnitude
 294   aubio_onset_set_compression (o, 0.);
 295
 296   /* method specific optimisations */
 297   if (strcmp (onset_mode, "energy") == 0) {
 298   } else if (strcmp (onset_mode, "hfc") == 0 || strcmp (onset_mode, "default") == 0) {
 299     aubio_onset_set_threshold (o, 0.058);
 300     aubio_onset_set_compression (o, 1.);
 301   } else if (strcmp (onset_mode, "complexdomain") == 0
 302              || strcmp (onset_mode, "complex") == 0) {
 303     aubio_onset_set_delay (o, 4.6 * o->hop_size);
 304     aubio_onset_set_threshold (o, 0.15);
 305     aubio_onset_set_awhitening(o, 1);
 306     aubio_onset_set_compression (o, 1.);
 307   } else if (strcmp (onset_mode, "phase") == 0) {
 308     o->apply_compression = 0;
 309     aubio_onset_set_awhitening (o, 0);
 310   } else if (strcmp (onset_mode, "wphase") == 0) {
 311     // use defaults for now
 312   } else if (strcmp (onset_mode, "mkl") == 0) {
 313     aubio_onset_set_threshold (o, 0.05);
 314     aubio_onset_set_awhitening(o, 1);
 315     aubio_onset_set_compression (o, 0.02);
 316   } else if (strcmp (onset_mode, "kl") == 0) {
 317     aubio_onset_set_threshold (o, 0.35);
 318     aubio_onset_set_awhitening(o, 1);
 319     aubio_onset_set_compression (o, 0.02);
 320   } else if (strcmp (onset_mode, "specflux") == 0) {
 321     aubio_onset_set_threshold (o, 0.18);
 322     aubio_onset_set_awhitening(o, 1);
 323     aubio_spectral_whitening_set_relax_time(o->spectral_whitening, 100);
 324     aubio_spectral_whitening_set_floor(o->spectral_whitening, 1.);
 325     aubio_onset_set_compression (o, 10.);
 326   } else if (strcmp (onset_mode, "specdiff") == 0) {
 327   } else if (strcmp (onset_mode, "old_default") == 0) {
 328     // used to reproduce results obtained with the previous version
 329     aubio_onset_set_threshold (o, 0.3);
 330     aubio_onset_set_minioi_ms (o, 20.);
 331     aubio_onset_set_compression (o, 0.);
 332   } else {
 333     AUBIO_WRN("onset: unknown spectral descriptor type %s, "
 334                "using default parameters.\n", onset_mode);
 335     ret = AUBIO_FAIL;
 336   }
 337   return ret;
 338 }
 339
 340 void del_aubio_onset (aubio_onset_t *o)
 341 {
 342   del_aubio_spectral_whitening(o->spectral_whitening);
 343   del_aubio_specdesc(o->od);
 344   del_aubio_peakpicker(o->pp);
 345   del_aubio_pvoc(o->pv);
 346   del_fvec(o->desc);
 347   del_cvec(o->fftgrain);
 348   AUBIO_FREE(o);
 349 }