src/onset/onset.c

   1 /*
   2   Copyright (C) 2006-2013 Paul Brossier <piem@aubio.org>
   3
   4   This file is part of aubio.
   5
   6   aubio is free software: you can redistribute it and/or modify
   7   it under the terms of the GNU General Public License as published by
   8   the Free Software Foundation, either version 3 of the License, or
   9   (at your option) any later version.
  10
  11   aubio is distributed in the hope that it will be useful,
  12   but WITHOUT ANY WARRANTY; without even the implied warranty of
  13   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14   GNU General Public License for more details.
  15
  16   You should have received a copy of the GNU General Public License
  17   along with aubio.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 */
  20
  21 #include "aubio_priv.h"
  22 #include "fvec.h"
  23 #include "cvec.h"
  24 #include "spectral/specdesc.h"
  25 #include "spectral/phasevoc.h"
  26 #include "spectral/awhitening.h"
  27 #include "onset/peakpicker.h"
  28 #include "mathutils.h"
  29 #include "onset/onset.h"
  30
  31 /** structure to store object state */
  32 struct _aubio_onset_t {
  33   aubio_pvoc_t * pv;            /**< phase vocoder */
  34   aubio_specdesc_t * od;        /**< spectral descriptor */
  35   aubio_peakpicker_t * pp;      /**< peak picker */
  36   cvec_t * fftgrain;            /**< phase vocoder output */
  37   fvec_t * desc;                /**< spectral description */
  38   smpl_t silence;               /**< silence threhsold */
  39   uint_t minioi;                /**< minimum inter onset interval */
  40   uint_t delay;                 /**< constant delay, in samples, removed from detected onset times */
  41   uint_t samplerate;            /**< sampling rate of the input signal */
  42   uint_t hop_size;              /**< number of samples between two runs */
  43
  44   uint_t total_frames;          /**< total number of frames processed since the beginning */
  45   uint_t last_onset;            /**< last detected onset location, in frames */
  46
  47   uint_t apply_adaptive_whitening;
  48   aubio_spectral_whitening_t *spectral_whitening;
  49 };
  50
  51 /* execute onset detection function on iput buffer */
  52 void aubio_onset_do (aubio_onset_t *o, fvec_t * input, fvec_t * onset)
  53 {
  54   smpl_t isonset = 0;
  55   aubio_pvoc_do (o->pv,input, o->fftgrain);
  56   /*
  57   if (apply_filtering) {
  58   }
  59   if (apply_compression) {
  60   }
  61   */
  62   if (o->apply_adaptive_whitening) {
  63     aubio_spectral_whitening_do(o->spectral_whitening, o->fftgrain);
  64   }
  65   aubio_specdesc_do (o->od, o->fftgrain, o->desc);
  66   aubio_peakpicker_do(o->pp, o->desc, onset);
  67   isonset = onset->data[0];
  68   if (isonset > 0.) {
  69     if (aubio_silence_detection(input, o->silence)==1) {
  70       //AUBIO_DBG ("silent onset, not marking as onset\n");
  71       isonset  = 0;
  72     } else {
  73       uint_t new_onset = o->total_frames + (uint_t)ROUND(isonset * o->hop_size);
  74       if (o->last_onset + o->minioi < new_onset) {
  75         //AUBIO_DBG ("accepted detection, marking as onset\n");
  76         o->last_onset = new_onset;
  77       } else {
  78         //AUBIO_DBG ("doubled onset, not marking as onset\n");
  79         isonset  = 0;
  80       }
  81     }
  82   } else {
  83     // we are at the beginning of the file
  84     if (o->total_frames <= o->delay) {
  85       // and we don't find silence
  86       if (aubio_silence_detection(input, o->silence) == 0) {
  87         uint_t new_onset = o->total_frames;
  88         if (o->total_frames == 0 || o->last_onset + o->minioi < new_onset) {
  89           isonset = o->delay / o->hop_size;
  90           o->last_onset = o->total_frames + o->delay;
  91         }
  92       }
  93     }
  94   }
  95   onset->data[0] = isonset;
  96   o->total_frames += o->hop_size;
  97   return;
  98 }
  99
 100 uint_t aubio_onset_get_last (aubio_onset_t *o)
 101 {
 102   return o->last_onset - o->delay;
 103 }
 104
 105 smpl_t aubio_onset_get_last_s (aubio_onset_t *o)
 106 {
 107   return aubio_onset_get_last (o) / (smpl_t) (o->samplerate);
 108 }
 109
 110 smpl_t aubio_onset_get_last_ms (aubio_onset_t *o)
 111 {
 112   return aubio_onset_get_last_s (o) * 1000.;
 113 }
 114
 115 uint_t aubio_onset_set_adaptive_whitening (aubio_onset_t *o, uint_t apply_adaptive_whitening)
 116 {
 117   o->apply_adaptive_whitening = apply_adaptive_whitening;
 118   return AUBIO_OK;
 119 }
 120
 121 uint_t aubio_onset_get_adaptive_whitening (aubio_onset_t *o)
 122 {
 123   return o->apply_adaptive_whitening;
 124 }
 125
 126 uint_t aubio_onset_set_silence(aubio_onset_t * o, smpl_t silence) {
 127   o->silence = silence;
 128   return AUBIO_OK;
 129 }
 130
 131 smpl_t aubio_onset_get_silence(aubio_onset_t * o) {
 132   return o->silence;
 133 }
 134
 135 uint_t aubio_onset_set_threshold(aubio_onset_t * o, smpl_t threshold) {
 136   aubio_peakpicker_set_threshold(o->pp, threshold);
 137   return AUBIO_OK;
 138 }
 139
 140 smpl_t aubio_onset_get_threshold(aubio_onset_t * o) {
 141   return aubio_peakpicker_get_threshold(o->pp);
 142 }
 143
 144 uint_t aubio_onset_set_minioi(aubio_onset_t * o, uint_t minioi) {
 145   o->minioi = minioi;
 146   return AUBIO_OK;
 147 }
 148
 149 uint_t aubio_onset_get_minioi(aubio_onset_t * o) {
 150   return o->minioi;
 151 }
 152
 153 uint_t aubio_onset_set_minioi_s(aubio_onset_t * o, smpl_t minioi) {
 154   return aubio_onset_set_minioi (o, minioi * o->samplerate);
 155 }
 156
 157 smpl_t aubio_onset_get_minioi_s(aubio_onset_t * o) {
 158   return aubio_onset_get_minioi (o) / (smpl_t) o->samplerate;
 159 }
 160
 161 uint_t aubio_onset_set_minioi_ms(aubio_onset_t * o, smpl_t minioi) {
 162   return aubio_onset_set_minioi_s (o, minioi / 1000.);
 163 }
 164
 165 smpl_t aubio_onset_get_minioi_ms(aubio_onset_t * o) {
 166   return aubio_onset_get_minioi_s (o) * 1000.;
 167 }
 168
 169 uint_t aubio_onset_set_delay(aubio_onset_t * o, uint_t delay) {
 170   o->delay = delay;
 171   return AUBIO_OK;
 172 }
 173
 174 uint_t aubio_onset_get_delay(aubio_onset_t * o) {
 175   return o->delay;
 176 }
 177
 178 uint_t aubio_onset_set_delay_s(aubio_onset_t * o, smpl_t delay) {
 179   return aubio_onset_set_delay (o, delay * o->samplerate);
 180 }
 181
 182 smpl_t aubio_onset_get_delay_s(aubio_onset_t * o) {
 183   return aubio_onset_get_delay (o) / (smpl_t) o->samplerate;
 184 }
 185
 186 uint_t aubio_onset_set_delay_ms(aubio_onset_t * o, smpl_t delay) {
 187   return aubio_onset_set_delay_s (o, delay / 1000.);
 188 }
 189
 190 smpl_t aubio_onset_get_delay_ms(aubio_onset_t * o) {
 191   return aubio_onset_get_delay_s (o) * 1000.;
 192 }
 193
 194 smpl_t aubio_onset_get_descriptor(aubio_onset_t * o) {
 195   return o->desc->data[0];
 196 }
 197
 198 smpl_t aubio_onset_get_thresholded_descriptor(aubio_onset_t * o) {
 199   fvec_t * thresholded = aubio_peakpicker_get_thresholded_input(o->pp);
 200   return thresholded->data[0];
 201 }
 202
 203 /* Allocate memory for an onset detection */
 204 aubio_onset_t * new_aubio_onset (char_t * onset_mode,
 205     uint_t buf_size, uint_t hop_size, uint_t samplerate)
 206 {
 207   aubio_onset_t * o = AUBIO_NEW(aubio_onset_t);
 208
 209   /* check parameters are valid */
 210   if ((sint_t)hop_size < 1) {
 211     AUBIO_ERR("onset: got hop_size %d, but can not be < 1\n", hop_size);
 212     goto beach;
 213   } else if ((sint_t)buf_size < 1) {
 214     AUBIO_ERR("onset: got buffer_size %d, but can not be < 1\n", buf_size);
 215     goto beach;
 216   } else if (buf_size < hop_size) {
 217     AUBIO_ERR("onset: hop size (%d) is larger than win size (%d)\n", buf_size, hop_size);
 218     goto beach;
 219   } else if ((sint_t)samplerate < 1) {
 220     AUBIO_ERR("onset: samplerate (%d) can not be < 1\n", samplerate);
 221     goto beach;
 222   }
 223
 224   /* store creation parameters */
 225   o->samplerate = samplerate;
 226   o->hop_size = hop_size;
 227
 228   /* allocate memory */
 229   o->pv = new_aubio_pvoc(buf_size, o->hop_size);
 230   o->pp = new_aubio_peakpicker();
 231   o->od = new_aubio_specdesc(onset_mode,buf_size);
 232   o->fftgrain = new_cvec(buf_size);
 233   o->desc = new_fvec(1);
 234
 235   /* set some default parameter */
 236   aubio_onset_set_threshold (o, 0.3);
 237   aubio_onset_set_delay(o, 4.3 * hop_size);
 238   aubio_onset_set_minioi_ms(o, 20.);
 239   aubio_onset_set_silence(o, -70.);
 240
 241   o->spectral_whitening = new_aubio_spectral_whitening(buf_size, hop_size, samplerate);
 242   o->apply_adaptive_whitening = 0;
 243
 244   /* initialize internal variables */
 245   o->last_onset = 0;
 246   o->total_frames = 0;
 247   return o;
 248
 249 beach:
 250   AUBIO_FREE(o);
 251   return NULL;
 252 }
 253
 254 void del_aubio_onset (aubio_onset_t *o)
 255 {
 256   del_aubio_spectral_whitening(o->spectral_whitening);
 257   del_aubio_specdesc(o->od);
 258   del_aubio_peakpicker(o->pp);
 259   del_aubio_pvoc(o->pv);
 260   del_fvec(o->desc);
 261   del_cvec(o->fftgrain);
 262   AUBIO_FREE(o);
 263 }