src/notes/notes.c

   1 /*
   2   Copyright (C) 2014-2018 Paul Brossier <piem@aubio.org>
   3
   4   This file is part of aubio.
   5
   6   aubio is free software: you can redistribute it and/or modify
   7   it under the terms of the GNU General Public License as published by
   8   the Free Software Foundation, either version 3 of the License, or
   9   (at your option) any later version.
  10
  11   aubio is distributed in the hope that it will be useful,
  12   but WITHOUT ANY WARRANTY; without even the implied warranty of
  13   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14   GNU General Public License for more details.
  15
  16   You should have received a copy of the GNU General Public License
  17   along with aubio.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 */
  20
  21 #include "aubio_priv.h"
  22 #include "fvec.h"
  23 #include "pitch/pitch.h"
  24 #include "onset/onset.h"
  25 #include "notes/notes.h"
  26
  27 #define AUBIO_DEFAULT_NOTES_SILENCE -70.
  28 #define AUBIO_DEFAULT_NOTES_RELEASE_DROP 10.
  29 // increase to 10. for .1  cent precision
  30 //      or to 100. for .01 cent precision
  31 #define AUBIO_DEFAULT_CENT_PRECISION 1.
  32 #define AUBIO_DEFAULT_NOTES_MINIOI_MS 30.
  33
  34 struct _aubio_notes_t {
  35
  36   uint_t onset_buf_size;
  37   uint_t pitch_buf_size;
  38   uint_t hop_size;
  39
  40   uint_t samplerate;
  41
  42   uint_t median;
  43   fvec_t *note_buffer;
  44   fvec_t *note_buffer2;
  45
  46   aubio_pitch_t *pitch;
  47   fvec_t *pitch_output;
  48   smpl_t pitch_tolerance;
  49
  50   aubio_onset_t *onset;
  51   fvec_t *onset_output;
  52   smpl_t onset_threshold;
  53
  54   smpl_t curnote;
  55   smpl_t newnote;
  56
  57   smpl_t silence_threshold;
  58
  59   uint_t isready;
  60
  61   smpl_t last_onset_level;
  62   smpl_t release_drop_level;
  63 };
  64
  65 aubio_notes_t * new_aubio_notes (const char_t * method,
  66     uint_t buf_size, uint_t hop_size, uint_t samplerate) {
  67   aubio_notes_t *o = AUBIO_NEW(aubio_notes_t);
  68
  69   const char_t * onset_method = "default";
  70   const char_t * pitch_method = "default";
  71
  72   o->onset_buf_size = buf_size;
  73   o->pitch_buf_size = buf_size * 4;
  74   o->hop_size = hop_size;
  75
  76   o->onset_threshold = 0.;
  77   o->pitch_tolerance = 0.;
  78
  79   o->samplerate = samplerate;
  80
  81   o->median = 6;
  82
  83   o->isready = 0;
  84
  85   o->onset = new_aubio_onset (onset_method, o->onset_buf_size, o->hop_size, o->samplerate);
  86   if (o->onset_threshold != 0.) aubio_onset_set_threshold (o->onset, o->onset_threshold);
  87   o->onset_output = new_fvec (1);
  88
  89   o->pitch = new_aubio_pitch (pitch_method, o->pitch_buf_size, o->hop_size, o->samplerate);
  90   if (o->pitch == NULL) goto fail;
  91   if (o->pitch_tolerance != 0.) aubio_pitch_set_tolerance (o->pitch, o->pitch_tolerance);
  92   aubio_pitch_set_unit (o->pitch, "midi");
  93   o->pitch_output = new_fvec (1);
  94
  95   if (strcmp(method, "default") != 0) {
  96     AUBIO_ERR("notes: unknown notes detection method \"%s\"\n", method);
  97     goto fail;
  98   }
  99   o->note_buffer = new_fvec(o->median);
 100   o->note_buffer2 = new_fvec(o->median);
 101
 102   o->curnote = -1.;
 103   o->newnote = 0.;
 104
 105   aubio_notes_set_silence(o, AUBIO_DEFAULT_NOTES_SILENCE);
 106   aubio_notes_set_minioi_ms (o, AUBIO_DEFAULT_NOTES_MINIOI_MS);
 107
 108   o->last_onset_level = AUBIO_DEFAULT_NOTES_SILENCE;
 109   o->release_drop_level = AUBIO_DEFAULT_NOTES_RELEASE_DROP;
 110
 111   return o;
 112
 113 fail:
 114   del_aubio_notes(o);
 115   return NULL;
 116 }
 117
 118 uint_t aubio_notes_set_silence(aubio_notes_t *o, smpl_t silence)
 119 {
 120   uint_t err = AUBIO_OK;
 121   if (aubio_pitch_set_silence(o->pitch, silence) != AUBIO_OK) {
 122     err = AUBIO_FAIL;
 123   }
 124   if (aubio_onset_set_silence(o->onset, silence) != AUBIO_OK) {
 125     err = AUBIO_FAIL;
 126   }
 127   o->silence_threshold = silence;
 128   return err;
 129 }
 130
 131 smpl_t aubio_notes_get_silence(const aubio_notes_t *o)
 132 {
 133   return aubio_pitch_get_silence(o->pitch);
 134 }
 135
 136 uint_t aubio_notes_set_minioi_ms (aubio_notes_t *o, smpl_t minioi_ms)
 137 {
 138   uint_t err = AUBIO_OK;
 139   if (!o->onset || (aubio_onset_set_minioi_ms(o->onset, minioi_ms) != 0)) {
 140     err = AUBIO_FAIL;
 141   }
 142   return err;
 143 }
 144
 145 smpl_t aubio_notes_get_minioi_ms(const aubio_notes_t *o)
 146 {
 147   return aubio_onset_get_minioi_ms(o->onset);
 148 }
 149
 150 uint_t aubio_notes_set_release_drop(aubio_notes_t *o, smpl_t release_drop_level)
 151 {
 152   uint_t err = AUBIO_OK;
 153   if (release_drop_level <= 0.) {
 154     AUBIO_ERR("notes: release_drop should be >= 0, got %f\n", release_drop_level);
 155     err = AUBIO_FAIL;
 156   } else {
 157     o->release_drop_level = release_drop_level;
 158   }
 159   return err;
 160 }
 161
 162 smpl_t aubio_notes_get_release_drop(const aubio_notes_t *o)
 163 {
 164   return o->release_drop_level;
 165 }
 166
 167 /** append new note candidate to the note_buffer and return filtered value. we
 168  * need to copy the input array as fvec_median destroy its input data.*/
 169 static void
 170 note_append (fvec_t * note_buffer, smpl_t curnote)
 171 {
 172   uint_t i = 0;
 173   for (i = 0; i < note_buffer->length - 1; i++) {
 174     note_buffer->data[i] = note_buffer->data[i + 1];
 175   }
 176   //note_buffer->data[note_buffer->length - 1] = ROUND(10.*curnote)/10.;
 177   note_buffer->data[note_buffer->length - 1] = ROUND(AUBIO_DEFAULT_CENT_PRECISION*curnote);
 178   return;
 179 }
 180
 181 static smpl_t
 182 aubio_notes_get_latest_note (aubio_notes_t *o)
 183 {
 184   fvec_copy(o->note_buffer, o->note_buffer2);
 185   return fvec_median (o->note_buffer2) / AUBIO_DEFAULT_CENT_PRECISION;
 186 }
 187
 188
 189 void aubio_notes_do (aubio_notes_t *o, const fvec_t * input, fvec_t * notes)
 190 {
 191   smpl_t new_pitch, curlevel;
 192   fvec_zeros(notes);
 193   aubio_onset_do(o->onset, input, o->onset_output);
 194
 195   aubio_pitch_do (o->pitch, input, o->pitch_output);
 196   new_pitch = o->pitch_output->data[0];
 197   if(o->median){
 198     note_append(o->note_buffer, new_pitch);
 199   }
 200
 201   /* curlevel is negatif or 1 if silence */
 202   curlevel = aubio_level_detection(input, o->silence_threshold);
 203   if (o->onset_output->data[0] != 0) {
 204     /* test for silence */
 205     if (curlevel == 1.) {
 206       if (o->median) o->isready = 0;
 207       /* send note off */
 208       //send_noteon(o->curnote,0);
 209       //notes->data[0] = o->curnote;
 210       //notes->data[1] = 0.;
 211       //AUBIO_WRN("notes: sending note-off at onset, not enough level\n");
 212       notes->data[2] = o->curnote;
 213     } else {
 214       if (o->median) {
 215         o->isready = 1;
 216       } else {
 217         /* kill old note */
 218         //send_noteon(o->curnote,0, o->samplerate);
 219         //AUBIO_WRN("notes: sending note-off at onset, new onset detected\n");
 220         notes->data[2] = o->curnote;
 221         /* get and send new one */
 222         //send_noteon(new_pitch,127+(int)floor(curlevel), o->samplerate);
 223         notes->data[0] = new_pitch;
 224         notes->data[1] = 127 + (int)floor(curlevel);
 225         o->curnote = new_pitch;
 226       }
 227       o->last_onset_level = curlevel;
 228     }
 229   } else {
 230     if (curlevel < o->last_onset_level - o->release_drop_level)
 231     {
 232       // send note off
 233       //AUBIO_WRN("notes: sending note-off, release detected\n");
 234       notes->data[0] = 0;
 235       notes->data[1] = 0;
 236       notes->data[2] = o->curnote;
 237       // reset last_onset_level to silence_threshold
 238       o->last_onset_level = o->silence_threshold;
 239       o->curnote = 0;
 240     }
 241     else if (o->median)
 242     {
 243       if (o->isready > 0)
 244         o->isready++;
 245       if (o->isready == o->median)
 246       {
 247         /* kill old note */
 248         //send_noteon(curnote,0);
 249         if (o->curnote != 0)
 250         {
 251           //AUBIO_WRN("notes: sending note-off, new note detected\n");
 252           notes->data[2] = o->curnote;
 253         }
 254         o->newnote = aubio_notes_get_latest_note(o);
 255         o->curnote = o->newnote;
 256         /* get and send new one */
 257         if (o->curnote>45){
 258           //send_noteon(curnote,127+(int)floor(curlevel));
 259           notes->data[0] = o->curnote;
 260           notes->data[1] = 127 + (int) floor(curlevel);
 261         }
 262       }
 263     } // if median
 264   }
 265 }
 266
 267 void del_aubio_notes (aubio_notes_t *o) {
 268   if (o->note_buffer) del_fvec(o->note_buffer);
 269   if (o->note_buffer2) del_fvec(o->note_buffer2);
 270   if (o->pitch_output) del_fvec(o->pitch_output);
 271   if (o->pitch) del_aubio_pitch(o->pitch);
 272   if (o->onset_output) del_fvec(o->onset_output);
 273   if (o->onset) del_aubio_onset(o->onset);
 274   AUBIO_FREE(o);
 275 }