Merge branch 'master' into awhitening
[aubio.git] / src / onset / onset.c
1 /*
2   Copyright (C) 2006-2013 Paul Brossier <piem@aubio.org>
3
4   This file is part of aubio.
5
6   aubio is free software: you can redistribute it and/or modify
7   it under the terms of the GNU General Public License as published by
8   the Free Software Foundation, either version 3 of the License, or
9   (at your option) any later version.
10
11   aubio is distributed in the hope that it will be useful,
12   but WITHOUT ANY WARRANTY; without even the implied warranty of
13   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14   GNU General Public License for more details.
15
16   You should have received a copy of the GNU General Public License
17   along with aubio.  If not, see <http://www.gnu.org/licenses/>.
18
19 */
20
21 #include "aubio_priv.h"
22 #include "fvec.h"
23 #include "cvec.h"
24 #include "spectral/specdesc.h"
25 #include "spectral/phasevoc.h"
26 #include "spectral/awhitening.h"
27 #include "onset/peakpicker.h"
28 #include "mathutils.h"
29 #include "onset/onset.h"
30
31 void aubio_onset_default_parameters (aubio_onset_t *o, const char_t * method);
32
33 /** structure to store object state */
34 struct _aubio_onset_t {
35   aubio_pvoc_t * pv;            /**< phase vocoder */
36   aubio_specdesc_t * od;        /**< spectral descriptor */
37   aubio_peakpicker_t * pp;      /**< peak picker */
38   cvec_t * fftgrain;            /**< phase vocoder output */
39   fvec_t * desc;                /**< spectral description */
40   smpl_t silence;               /**< silence threhsold */
41   uint_t minioi;                /**< minimum inter onset interval */
42   uint_t delay;                 /**< constant delay, in samples, removed from detected onset times */
43   uint_t samplerate;            /**< sampling rate of the input signal */
44   uint_t hop_size;              /**< number of samples between two runs */
45
46   uint_t total_frames;          /**< total number of frames processed since the beginning */
47   uint_t last_onset;            /**< last detected onset location, in frames */
48
49   uint_t apply_compression;
50   smpl_t lambda_compression;
51   uint_t apply_adaptive_whitening;
52   aubio_spectral_whitening_t *spectral_whitening;
53 };
54
55 /* execute onset detection function on iput buffer */
56 void aubio_onset_do (aubio_onset_t *o, const fvec_t * input, fvec_t * onset)
57 {
58   smpl_t isonset = 0;
59   aubio_pvoc_do (o->pv,input, o->fftgrain);
60   /*
61   if (apply_filtering) {
62   }
63   */
64   if (o->apply_adaptive_whitening) {
65     aubio_spectral_whitening_do(o->spectral_whitening, o->fftgrain);
66   }
67   if (o->apply_compression) {
68     cvec_logmag(o->fftgrain, o->apply_compression);
69   }
70   aubio_specdesc_do (o->od, o->fftgrain, o->desc);
71   aubio_peakpicker_do(o->pp, o->desc, onset);
72   isonset = onset->data[0];
73   if (isonset > 0.) {
74     if (aubio_silence_detection(input, o->silence)==1) {
75       //AUBIO_DBG ("silent onset, not marking as onset\n");
76       isonset  = 0;
77     } else {
78       uint_t new_onset = o->total_frames + (uint_t)ROUND(isonset * o->hop_size);
79       if (o->last_onset + o->minioi < new_onset) {
80         //AUBIO_DBG ("accepted detection, marking as onset\n");
81         o->last_onset = new_onset;
82       } else {
83         //AUBIO_DBG ("doubled onset, not marking as onset\n");
84         isonset  = 0;
85       }
86     }
87   } else {
88     // we are at the beginning of the file
89     if (o->total_frames <= o->delay) {
90       // and we don't find silence
91       if (aubio_silence_detection(input, o->silence) == 0) {
92         uint_t new_onset = o->total_frames;
93         if (o->total_frames == 0 || o->last_onset + o->minioi < new_onset) {
94           isonset = o->delay / o->hop_size;
95           o->last_onset = o->total_frames + o->delay;
96         }
97       }
98     }
99   }
100   onset->data[0] = isonset;
101   o->total_frames += o->hop_size;
102   return;
103 }
104
105 uint_t aubio_onset_get_last (const aubio_onset_t *o)
106 {
107   return o->last_onset - o->delay;
108 }
109
110 smpl_t aubio_onset_get_last_s (const aubio_onset_t *o)
111 {
112   return aubio_onset_get_last (o) / (smpl_t) (o->samplerate);
113 }
114
115 smpl_t aubio_onset_get_last_ms (const aubio_onset_t *o)
116 {
117   return aubio_onset_get_last_s (o) * 1000.;
118 }
119
120 uint_t aubio_onset_set_adaptive_whitening (aubio_onset_t *o, uint_t apply_adaptive_whitening)
121 {
122   o->apply_adaptive_whitening = apply_adaptive_whitening;
123   return AUBIO_OK;
124 }
125
126 uint_t aubio_onset_get_adaptive_whitening (aubio_onset_t *o)
127 {
128   return o->apply_adaptive_whitening;
129 }
130
131 uint_t aubio_onset_set_silence(aubio_onset_t * o, smpl_t silence) {
132   o->silence = silence;
133   return AUBIO_OK;
134 }
135
136 smpl_t aubio_onset_get_silence(const aubio_onset_t * o) {
137   return o->silence;
138 }
139
140 uint_t aubio_onset_set_threshold(aubio_onset_t * o, smpl_t threshold) {
141   aubio_peakpicker_set_threshold(o->pp, threshold);
142   return AUBIO_OK;
143 }
144
145 smpl_t aubio_onset_get_threshold(const aubio_onset_t * o) {
146   return aubio_peakpicker_get_threshold(o->pp);
147 }
148
149 uint_t aubio_onset_set_minioi(aubio_onset_t * o, uint_t minioi) {
150   o->minioi = minioi;
151   return AUBIO_OK;
152 }
153
154 uint_t aubio_onset_get_minioi(const aubio_onset_t * o) {
155   return o->minioi;
156 }
157
158 uint_t aubio_onset_set_minioi_s(aubio_onset_t * o, smpl_t minioi) {
159   return aubio_onset_set_minioi (o, (uint_t)ROUND(minioi * o->samplerate));
160 }
161
162 smpl_t aubio_onset_get_minioi_s(const aubio_onset_t * o) {
163   return aubio_onset_get_minioi (o) / (smpl_t) o->samplerate;
164 }
165
166 uint_t aubio_onset_set_minioi_ms(aubio_onset_t * o, smpl_t minioi) {
167   return aubio_onset_set_minioi_s (o, minioi / 1000.);
168 }
169
170 smpl_t aubio_onset_get_minioi_ms(const aubio_onset_t * o) {
171   return aubio_onset_get_minioi_s (o) * 1000.;
172 }
173
174 uint_t aubio_onset_set_delay(aubio_onset_t * o, uint_t delay) {
175   o->delay = delay;
176   return AUBIO_OK;
177 }
178
179 uint_t aubio_onset_get_delay(const aubio_onset_t * o) {
180   return o->delay;
181 }
182
183 uint_t aubio_onset_set_delay_s(aubio_onset_t * o, smpl_t delay) {
184   return aubio_onset_set_delay (o, delay * o->samplerate);
185 }
186
187 smpl_t aubio_onset_get_delay_s(const aubio_onset_t * o) {
188   return aubio_onset_get_delay (o) / (smpl_t) o->samplerate;
189 }
190
191 uint_t aubio_onset_set_delay_ms(aubio_onset_t * o, smpl_t delay) {
192   return aubio_onset_set_delay_s (o, delay / 1000.);
193 }
194
195 smpl_t aubio_onset_get_delay_ms(const aubio_onset_t * o) {
196   return aubio_onset_get_delay_s (o) * 1000.;
197 }
198
199 smpl_t aubio_onset_get_descriptor(const aubio_onset_t * o) {
200   return o->desc->data[0];
201 }
202
203 smpl_t aubio_onset_get_thresholded_descriptor(const aubio_onset_t * o) {
204   fvec_t * thresholded = aubio_peakpicker_get_thresholded_input(o->pp);
205   return thresholded->data[0];
206 }
207
208 /* Allocate memory for an onset detection */
209 aubio_onset_t * new_aubio_onset (const char_t * onset_mode,
210     uint_t buf_size, uint_t hop_size, uint_t samplerate)
211 {
212   aubio_onset_t * o = AUBIO_NEW(aubio_onset_t);
213
214   /* check parameters are valid */
215   if ((sint_t)hop_size < 1) {
216     AUBIO_ERR("onset: got hop_size %d, but can not be < 1\n", hop_size);
217     goto beach;
218   } else if ((sint_t)buf_size < 2) {
219     AUBIO_ERR("onset: got buffer_size %d, but can not be < 2\n", buf_size);
220     goto beach;
221   } else if (buf_size < hop_size) {
222     AUBIO_ERR("onset: hop size (%d) is larger than win size (%d)\n", hop_size, buf_size);
223     goto beach;
224   } else if ((sint_t)samplerate < 1) {
225     AUBIO_ERR("onset: samplerate (%d) can not be < 1\n", samplerate);
226     goto beach;
227   }
228
229   /* store creation parameters */
230   o->samplerate = samplerate;
231   o->hop_size = hop_size;
232
233   /* allocate memory */
234   o->pv = new_aubio_pvoc(buf_size, o->hop_size);
235   o->pp = new_aubio_peakpicker();
236   o->od = new_aubio_specdesc(onset_mode,buf_size);
237   if (o->od == NULL) goto beach_specdesc;
238   o->fftgrain = new_cvec(buf_size);
239   o->desc = new_fvec(1);
240
241   o->spectral_whitening = new_aubio_spectral_whitening(buf_size, hop_size, samplerate);
242
243   aubio_onset_default_parameters (o, onset_mode);
244
245   /* initialize internal variables */
246   o->last_onset = 0;
247   o->total_frames = 0;
248   return o;
249
250 beach_specdesc:
251   del_aubio_peakpicker(o->pp);
252   del_aubio_pvoc(o->pv);
253 beach:
254   AUBIO_FREE(o);
255   return NULL;
256 }
257
258 void aubio_onset_default_parameters (aubio_onset_t * o, const char_t * onset_mode)
259 {
260   /* set some default parameter */
261   aubio_onset_set_threshold (o, 0.3);
262   aubio_onset_set_delay (o, 4.3 * o->hop_size);
263   aubio_onset_set_minioi_ms (o, 50.);
264   aubio_onset_set_silence (o, -70.);
265   aubio_onset_set_adaptive_whitening (o, 0);
266
267   o->apply_compression = 0;
268   o->lambda_compression = 1.;
269
270   /* method specific optimisations */
271   if (strcmp (onset_mode, "energy") == 0) {
272   } else if (strcmp (onset_mode, "hfc") == 0 || strcmp (onset_mode, "default") == 0) {
273     aubio_onset_set_threshold (o, 0.058);
274     o->apply_compression = 1;
275     o->lambda_compression = 1.;
276     aubio_onset_set_adaptive_whitening (o, 0);
277   } else if (strcmp (onset_mode, "complexdomain") == 0
278              || strcmp (onset_mode, "complex") == 0) {
279     aubio_onset_set_delay (o, 4.6 * o->hop_size);
280     aubio_onset_set_threshold (o, 0.15);
281     o->apply_compression = 1;
282     o->lambda_compression = 1.;
283   } else if (strcmp (onset_mode, "phase") == 0) {
284     o->apply_compression = 0;
285     aubio_onset_set_adaptive_whitening (o, 0);
286   } else if (strcmp (onset_mode, "mkl") == 0) {
287     aubio_onset_set_threshold (o, 0.05);
288   } else if (strcmp (onset_mode, "kl") == 0) {
289     aubio_onset_set_threshold (o, 0.35);
290   } else if (strcmp (onset_mode, "specflux") == 0) {
291     aubio_onset_set_threshold (o, 0.4);
292   } else if (strcmp (onset_mode, "specdiff") == 0) {
293   } else {
294     AUBIO_WRN("onset: unknown spectral descriptor type %s, "
295                "using default parameters.\n", onset_mode);
296   }
297 }
298
299 void del_aubio_onset (aubio_onset_t *o)
300 {
301   del_aubio_spectral_whitening(o->spectral_whitening);
302   del_aubio_specdesc(o->od);
303   del_aubio_peakpicker(o->pp);
304   del_aubio_pvoc(o->pv);
305   del_fvec(o->desc);
306   del_cvec(o->fftgrain);
307   AUBIO_FREE(o);
308 }