src/onset/onset.c

   1 /*
   2   Copyright (C) 2006-2013 Paul Brossier <piem@aubio.org>
   3
   4   This file is part of aubio.
   5
   6   aubio is free software: you can redistribute it and/or modify
   7   it under the terms of the GNU General Public License as published by
   8   the Free Software Foundation, either version 3 of the License, or
   9   (at your option) any later version.
  10
  11   aubio is distributed in the hope that it will be useful,
  12   but WITHOUT ANY WARRANTY; without even the implied warranty of
  13   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14   GNU General Public License for more details.
  15
  16   You should have received a copy of the GNU General Public License
  17   along with aubio.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 */
  20
  21 #include "aubio_priv.h"
  22 #include "fvec.h"
  23 #include "cvec.h"
  24 #include "spectral/specdesc.h"
  25 #include "spectral/phasevoc.h"
  26 #include "onset/peakpicker.h"
  27 #include "mathutils.h"
  28 #include "onset/onset.h"
  29
  30 /** structure to store object state */
  31 struct _aubio_onset_t {
  32   aubio_pvoc_t * pv;            /**< phase vocoder */
  33   aubio_specdesc_t * od;        /**< spectral descriptor */
  34   aubio_peakpicker_t * pp;      /**< peak picker */
  35   cvec_t * fftgrain;            /**< phase vocoder output */
  36   fvec_t * desc;                /**< spectral description */
  37   smpl_t silence;               /**< silence threhsold */
  38   uint_t minioi;                /**< minimum inter onset interval */
  39   uint_t delay;                 /**< constant delay, in samples, removed from detected onset times */
  40   uint_t samplerate;            /**< sampling rate of the input signal */
  41   uint_t hop_size;              /**< number of samples between two runs */
  42
  43   uint_t total_frames;          /**< total number of frames processed since the beginning */
  44   uint_t last_onset;            /**< last detected onset location, in frames */
  45 };
  46
  47 /* execute onset detection function on iput buffer */
  48 void aubio_onset_do (aubio_onset_t *o, const fvec_t * input, fvec_t * onset)
  49 {
  50   smpl_t isonset = 0;
  51   aubio_pvoc_do (o->pv,input, o->fftgrain);
  52   aubio_specdesc_do (o->od, o->fftgrain, o->desc);
  53   aubio_peakpicker_do(o->pp, o->desc, onset);
  54   isonset = onset->data[0];
  55   if (isonset > 0.) {
  56     if (aubio_silence_detection(input, o->silence)==1) {
  57       //AUBIO_DBG ("silent onset, not marking as onset\n");
  58       isonset  = 0;
  59     } else {
  60       uint_t new_onset = o->total_frames + (uint_t)ROUND(isonset * o->hop_size);
  61       if (o->last_onset + o->minioi < new_onset) {
  62         //AUBIO_DBG ("accepted detection, marking as onset\n");
  63         o->last_onset = new_onset;
  64       } else {
  65         //AUBIO_DBG ("doubled onset, not marking as onset\n");
  66         isonset  = 0;
  67       }
  68     }
  69   } else {
  70     // we are at the beginning of the file
  71     if (o->total_frames <= o->delay) {
  72       // and we don't find silence
  73       if (aubio_silence_detection(input, o->silence) == 0) {
  74         uint_t new_onset = o->total_frames;
  75         if (o->total_frames == 0 || o->last_onset + o->minioi < new_onset) {
  76           isonset = o->delay / o->hop_size;
  77           o->last_onset = o->total_frames + o->delay;
  78         }
  79       }
  80     }
  81   }
  82   onset->data[0] = isonset;
  83   o->total_frames += o->hop_size;
  84   return;
  85 }
  86
  87 uint_t aubio_onset_get_last (const aubio_onset_t *o)
  88 {
  89   return o->last_onset - o->delay;
  90 }
  91
  92 smpl_t aubio_onset_get_last_s (const aubio_onset_t *o)
  93 {
  94   return aubio_onset_get_last (o) / (smpl_t) (o->samplerate);
  95 }
  96
  97 smpl_t aubio_onset_get_last_ms (const aubio_onset_t *o)
  98 {
  99   return aubio_onset_get_last_s (o) * 1000.;
 100 }
 101
 102 uint_t aubio_onset_set_silence(aubio_onset_t * o, smpl_t silence) {
 103   o->silence = silence;
 104   return AUBIO_OK;
 105 }
 106
 107 smpl_t aubio_onset_get_silence(const aubio_onset_t * o) {
 108   return o->silence;
 109 }
 110
 111 uint_t aubio_onset_set_threshold(aubio_onset_t * o, smpl_t threshold) {
 112   aubio_peakpicker_set_threshold(o->pp, threshold);
 113   return AUBIO_OK;
 114 }
 115
 116 smpl_t aubio_onset_get_threshold(const aubio_onset_t * o) {
 117   return aubio_peakpicker_get_threshold(o->pp);
 118 }
 119
 120 uint_t aubio_onset_set_minioi(aubio_onset_t * o, uint_t minioi) {
 121   o->minioi = minioi;
 122   return AUBIO_OK;
 123 }
 124
 125 uint_t aubio_onset_get_minioi(const aubio_onset_t * o) {
 126   return o->minioi;
 127 }
 128
 129 uint_t aubio_onset_set_minioi_s(aubio_onset_t * o, smpl_t minioi) {
 130   return aubio_onset_set_minioi (o, (uint_t)ROUND(minioi * o->samplerate));
 131 }
 132
 133 smpl_t aubio_onset_get_minioi_s(const aubio_onset_t * o) {
 134   return aubio_onset_get_minioi (o) / (smpl_t) o->samplerate;
 135 }
 136
 137 uint_t aubio_onset_set_minioi_ms(aubio_onset_t * o, smpl_t minioi) {
 138   return aubio_onset_set_minioi_s (o, minioi / 1000.);
 139 }
 140
 141 smpl_t aubio_onset_get_minioi_ms(const aubio_onset_t * o) {
 142   return aubio_onset_get_minioi_s (o) * 1000.;
 143 }
 144
 145 uint_t aubio_onset_set_delay(aubio_onset_t * o, uint_t delay) {
 146   o->delay = delay;
 147   return AUBIO_OK;
 148 }
 149
 150 uint_t aubio_onset_get_delay(const aubio_onset_t * o) {
 151   return o->delay;
 152 }
 153
 154 uint_t aubio_onset_set_delay_s(aubio_onset_t * o, smpl_t delay) {
 155   return aubio_onset_set_delay (o, delay * o->samplerate);
 156 }
 157
 158 smpl_t aubio_onset_get_delay_s(const aubio_onset_t * o) {
 159   return aubio_onset_get_delay (o) / (smpl_t) o->samplerate;
 160 }
 161
 162 uint_t aubio_onset_set_delay_ms(aubio_onset_t * o, smpl_t delay) {
 163   return aubio_onset_set_delay_s (o, delay / 1000.);
 164 }
 165
 166 smpl_t aubio_onset_get_delay_ms(const aubio_onset_t * o) {
 167   return aubio_onset_get_delay_s (o) * 1000.;
 168 }
 169
 170 smpl_t aubio_onset_get_descriptor(const aubio_onset_t * o) {
 171   return o->desc->data[0];
 172 }
 173
 174 smpl_t aubio_onset_get_thresholded_descriptor(const aubio_onset_t * o) {
 175   fvec_t * thresholded = aubio_peakpicker_get_thresholded_input(o->pp);
 176   return thresholded->data[0];
 177 }
 178
 179 /* Allocate memory for an onset detection */
 180 aubio_onset_t * new_aubio_onset (const char_t * onset_mode,
 181     uint_t buf_size, uint_t hop_size, uint_t samplerate)
 182 {
 183   aubio_onset_t * o = AUBIO_NEW(aubio_onset_t);
 184
 185   /* check parameters are valid */
 186   if ((sint_t)hop_size < 1) {
 187     AUBIO_ERR("onset: got hop_size %d, but can not be < 1\n", hop_size);
 188     goto beach;
 189   } else if ((sint_t)buf_size < 2) {
 190     AUBIO_ERR("onset: got buffer_size %d, but can not be < 2\n", buf_size);
 191     goto beach;
 192   } else if (buf_size < hop_size) {
 193     AUBIO_ERR("onset: hop size (%d) is larger than win size (%d)\n", hop_size, buf_size);
 194     goto beach;
 195   } else if ((sint_t)samplerate < 1) {
 196     AUBIO_ERR("onset: samplerate (%d) can not be < 1\n", samplerate);
 197     goto beach;
 198   }
 199
 200   /* store creation parameters */
 201   o->samplerate = samplerate;
 202   o->hop_size = hop_size;
 203
 204   /* allocate memory */
 205   o->pv = new_aubio_pvoc(buf_size, o->hop_size);
 206   o->pp = new_aubio_peakpicker();
 207   o->od = new_aubio_specdesc(onset_mode,buf_size);
 208   if (o->od == NULL) goto beach_specdesc;
 209   o->fftgrain = new_cvec(buf_size);
 210   o->desc = new_fvec(1);
 211
 212   /* set some default parameter */
 213   aubio_onset_set_threshold (o, 0.3);
 214   aubio_onset_set_delay(o, 4.3 * hop_size);
 215   aubio_onset_set_minioi_ms(o, 20.);
 216   aubio_onset_set_silence(o, -70.);
 217
 218   /* initialize internal variables */
 219   o->last_onset = 0;
 220   o->total_frames = 0;
 221   return o;
 222
 223 beach_specdesc:
 224   del_aubio_peakpicker(o->pp);
 225   del_aubio_pvoc(o->pv);
 226 beach:
 227   AUBIO_FREE(o);
 228   return NULL;
 229 }
 230
 231 void del_aubio_onset (aubio_onset_t *o)
 232 {
 233   del_aubio_specdesc(o->od);
 234   del_aubio_peakpicker(o->pp);
 235   del_aubio_pvoc(o->pv);
 236   del_fvec(o->desc);
 237   del_cvec(o->fftgrain);
 238   AUBIO_FREE(o);
 239 }