improve neug_upgrade process
[gnuk/neug.git] / src / neug.c
1 /*
2  * neug.c - true random number generation
3  *
4  * Copyright (C) 2011, 2012, 2013 Free Software Initiative of Japan
5  * Author: NIIBE Yutaka <gniibe@fsij.org>
6  *
7  * This file is a part of NeuG, a True Random Number Generator
8  * implementation based on quantization error of ADC (for STM32F103).
9  *
10  * NeuG is free software: you can redistribute it and/or modify it
11  * under the terms of the GNU General Public License as published by
12  * the Free Software Foundation, either version 3 of the License, or
13  * (at your option) any later version.
14  *
15  * NeuG is distributed in the hope that it will be useful, but WITHOUT
16  * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
17  * or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public
18  * License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
22  *
23  */
24
25 #include <stdint.h>
26 #include <string.h>
27 #include <chopstx.h>
28
29 #include "sys.h"
30 #include "neug.h"
31 #include "stm32f103.h"
32 #include "adc.h"
33 #include "sha256.h"
34
35 static chopstx_mutex_t mode_mtx;
36 static chopstx_cond_t  mode_cond;
37
38 /*
39  * ADC finish interrupt
40  */
41 #define INTR_REQ_DMA1_Channel1 11
42
43
44 static sha256_context sha256_ctx_data;
45 static uint32_t sha256_output[SHA256_DIGEST_SIZE/sizeof (uint32_t)];
46
47 /*
48  * To be a full entropy source, the requirement is to have N samples
49  * for output of 256-bit, where:
50  *
51  *      N = (256 * 2) / <min-entropy of a sample>
52  *
53  * For example, N should be more than 103 for min-entropy = 5.0.
54  *
55  * On the other hand, in the section 6.2 "Full Entropy Source
56  * Requirements", it says:
57  *
58  *     At least twice the block size of the underlying cryptographic
59  *     primitive shall be provided as input to the conditioning
60  *     function to produce full entropy output.
61  *
62  * For us, cryptographic primitive is SHA-256 and its blocksize is
63  * 512-bit (64-byte), thus, N >= 128.
64  *
65  * We chose N=140.  Note that we have "additional bits" of 16-byte for
66  * last block (feedback from previous output of SHA-256) to feed
67  * hash_df function of SHA-256, together with sample data of 140-byte.
68  *
69  * N=140 corresponds to min-entropy >= 3.68.
70  *
71  */
72 #define NUM_NOISE_INPUTS 140
73
74 #define EP_ROUND_0 0 /* initial-five-byte and 3-byte, then 56-byte-input */
75 #define EP_ROUND_1 1 /* 64-byte-input */
76 #define EP_ROUND_2 2 /* 17-byte-input */
77 #define EP_ROUND_RAW      3 /* 32-byte-input */
78 #define EP_ROUND_RAW_DATA 4 /* 32-byte-input */
79
80 #define EP_ROUND_0_INPUTS 56
81 #define EP_ROUND_1_INPUTS 64
82 #define EP_ROUND_2_INPUTS 17
83 #define EP_ROUND_RAW_INPUTS 32
84 #define EP_ROUND_RAW_DATA_INPUTS 32
85
86 static uint8_t ep_round;
87
88 static void noise_source_continuous_test (uint8_t noise);
89 static void noise_source_continuous_test_word (uint8_t b0, uint8_t b1,
90                                                uint8_t b2, uint8_t b3);
91
92 /*
93  * Hash_df initial string:
94  *
95  *  Initial five bytes are:
96  *    1,          : counter = 1
97  *    0, 0, 1, 0  : no_of_bits_returned (in big endian)
98  *
99  *  Then, three-byte from noise source follows.
100  *
101  *  One-byte was used in the previous turn, and we have three bytes in
102  *  CRC->DR.
103  */
104 static void ep_fill_initial_string (void)
105 {
106   uint32_t v = CRC->DR;
107   uint8_t b1, b2, b3;
108
109   b3 = v >> 24;
110   b2 = v >> 16;
111   b1 = v >> 8;
112
113   noise_source_continuous_test (b1);
114   noise_source_continuous_test (b2);
115   noise_source_continuous_test (b3);
116
117   adc_buf[0] = 0x01000001;
118   adc_buf[1] = (v & 0xffffff00);
119 }
120
121 static void ep_init (int mode)
122 {
123   if (mode == NEUG_MODE_RAW)
124     {
125       ep_round = EP_ROUND_RAW;
126       adc_start_conversion (0, EP_ROUND_RAW_INPUTS);
127     }
128   else if (mode == NEUG_MODE_RAW_DATA)
129     {
130       ep_round = EP_ROUND_RAW_DATA;
131       adc_start_conversion (0, EP_ROUND_RAW_DATA_INPUTS / 4);
132     }
133   else
134     {
135       ep_round = EP_ROUND_0;
136       ep_fill_initial_string ();
137       adc_start_conversion (2, EP_ROUND_0_INPUTS);
138     }
139 }
140
141
142 static void ep_fill_wbuf_v (int i, int test, uint32_t v)
143 {
144   if (test)
145     {
146       uint8_t b0, b1, b2, b3;
147
148       b3 = v >> 24;
149       b2 = v >> 16;
150       b1 = v >> 8;
151       b0 = v;
152
153       noise_source_continuous_test_word (b0, b1, b2, b3);
154     }
155
156   sha256_ctx_data.wbuf[i] = v;
157 }
158
159 /* Here, we assume a little endian architecture.  */
160 static int ep_process (int mode)
161 {
162   int i, n;
163   uint32_t v;
164
165   if (ep_round == EP_ROUND_0)
166     {
167       sha256_start (&sha256_ctx_data);
168       sha256_ctx_data.wbuf[0] = adc_buf[0];
169       sha256_ctx_data.wbuf[1] = adc_buf[1];
170       for (i = 0; i < EP_ROUND_0_INPUTS / 4; i++)
171         {
172           CRC->DR = adc_buf[i*4 + 2];
173           CRC->DR = adc_buf[i*4 + 3];
174           CRC->DR = adc_buf[i*4 + 4];
175           CRC->DR = adc_buf[i*4 + 5];
176           v = CRC->DR;
177           ep_fill_wbuf_v (i+2, 1, v);
178         }
179
180       adc_start_conversion (0, EP_ROUND_1_INPUTS);
181       sha256_process (&sha256_ctx_data);
182       ep_round++;
183       return 0;
184     }
185   else if (ep_round == EP_ROUND_1)
186     {
187       for (i = 0; i < EP_ROUND_1_INPUTS / 4; i++)
188         {
189           CRC->DR = adc_buf[i*4];
190           CRC->DR = adc_buf[i*4 + 1];
191           CRC->DR = adc_buf[i*4 + 2];
192           CRC->DR = adc_buf[i*4 + 3];
193           v = CRC->DR;
194           ep_fill_wbuf_v (i, 1, v);
195         }
196
197       adc_start_conversion (0, EP_ROUND_2_INPUTS + 3);
198       sha256_process (&sha256_ctx_data);
199       ep_round++;
200       return 0;
201     }
202   else if (ep_round == EP_ROUND_2)
203     {
204       for (i = 0; i < EP_ROUND_2_INPUTS / 4; i++)
205         {
206           CRC->DR = adc_buf[i*4];
207           CRC->DR = adc_buf[i*4 + 1];
208           CRC->DR = adc_buf[i*4 + 2];
209           CRC->DR = adc_buf[i*4 + 3];
210           v = CRC->DR;
211           ep_fill_wbuf_v (i, 1, v);
212         }
213
214       CRC->DR = adc_buf[i*4];
215       CRC->DR = adc_buf[i*4 + 1];
216       CRC->DR = adc_buf[i*4 + 2];
217       CRC->DR = adc_buf[i*4 + 3];
218       v = CRC->DR & 0xff;   /* First byte of CRC->DR is used here.  */
219       noise_source_continuous_test (v);
220       sha256_ctx_data.wbuf[i] = v;
221       ep_init (NEUG_MODE_CONDITIONED); /* The rest three-byte of
222                                           CRC->DR is used here.  */
223       n = SHA256_DIGEST_SIZE / 2;
224       memcpy (((uint8_t *)sha256_ctx_data.wbuf) + EP_ROUND_2_INPUTS,
225               sha256_output, n);
226       sha256_ctx_data.total[0] = 5 + NUM_NOISE_INPUTS + n;
227       sha256_finish (&sha256_ctx_data, (uint8_t *)sha256_output);
228       return SHA256_DIGEST_SIZE / sizeof (uint32_t);
229     }
230   else if (ep_round == EP_ROUND_RAW)
231     {
232       for (i = 0; i < EP_ROUND_RAW_INPUTS / 4; i++)
233         {
234           CRC->DR = adc_buf[i*4];
235           CRC->DR = adc_buf[i*4 + 1];
236           CRC->DR = adc_buf[i*4 + 2];
237           CRC->DR = adc_buf[i*4 + 3];
238           v = CRC->DR;
239           ep_fill_wbuf_v (i, 1, v);
240         }
241
242       ep_init (mode);
243       return EP_ROUND_RAW_INPUTS / 4;
244     }
245   else if (ep_round == EP_ROUND_RAW_DATA)
246     {
247       for (i = 0; i < EP_ROUND_RAW_DATA_INPUTS / 4; i++)
248         {
249           v = adc_buf[i];
250           ep_fill_wbuf_v (i, 0, v);
251         }
252
253       ep_init (mode);
254       return EP_ROUND_RAW_DATA_INPUTS / 4;
255     }
256
257   return 0;
258 }
259
260
261 static const uint32_t *ep_output (int mode)
262 {
263   if (mode)
264     return sha256_ctx_data.wbuf;
265   else
266     return sha256_output;
267 }
268 \f
269 #define REPETITION_COUNT           1
270 #define ADAPTIVE_PROPORTION_64     2
271 #define ADAPTIVE_PROPORTION_4096   4
272
273 uint8_t neug_err_state;
274 uint16_t neug_err_cnt;
275 uint16_t neug_err_cnt_rc;
276 uint16_t neug_err_cnt_p64;
277 uint16_t neug_err_cnt_p4k;
278
279 uint16_t neug_rc_max;
280 uint16_t neug_p64_max;
281 uint16_t neug_p4k_max;
282
283 #include "board.h"
284
285 static void noise_source_cnt_max_reset (void)
286 {
287   neug_err_cnt = neug_err_cnt_rc = neug_err_cnt_p64 = neug_err_cnt_p4k = 0;
288   neug_rc_max = neug_p64_max = neug_p4k_max = 0;
289 }
290
291 static void noise_source_error_reset (void)
292 {
293   neug_err_state = 0;
294 }
295
296 static void noise_source_error (uint32_t err)
297 {
298   neug_err_state |= err;
299   neug_err_cnt++;
300
301   if ((err & REPETITION_COUNT))
302     neug_err_cnt_rc++;
303   if ((err & ADAPTIVE_PROPORTION_64))
304     neug_err_cnt_p64++;
305   if ((err & ADAPTIVE_PROPORTION_4096))
306     neug_err_cnt_p4k++;
307 }
308
309 /*
310  * For health tests, we assume that the device noise source has
311  * min-entropy >= 4.2.  Observing raw data stream (before CRC-32) has
312  * more than 4.2 bit/byte entropy.  When the data stream after CRC-32
313  * filter will be less than 4.2 bit/byte entropy, that must be
314  * something wrong.  Note that even we observe < 4.2, we still have
315  * some margin, since we use NUM_NOISE_INPUTS=140.
316  *
317  */
318
319 /* Cuttoff = 9, when min-entropy = 4.2, W= 2^-30 */
320 /* ceiling of (1+30/4.2) */
321 #define REPITITION_COUNT_TEST_CUTOFF 9
322
323 static uint8_t rct_a;
324 static uint8_t rct_b;
325
326 static void repetition_count_test (uint8_t sample)
327 {
328   if (rct_a == sample)
329     {
330       rct_b++;
331       if (rct_b >= REPITITION_COUNT_TEST_CUTOFF)
332         noise_source_error (REPETITION_COUNT);
333       if (rct_b > neug_rc_max)
334         neug_rc_max = rct_b;
335    }
336   else
337     {
338       rct_a = sample;
339       rct_b = 1;
340     }
341 }
342
343 static void repetition_count_test_word (uint8_t b0, uint8_t b1,
344                                         uint8_t b2, uint8_t b3)
345 {
346   if (rct_a == b0)
347     rct_b++;
348   else
349     {
350       rct_a = b0;
351       rct_b = 1;
352     }
353
354   if (rct_a == b1)
355     rct_b++;
356   else
357     {
358       rct_a = b1;
359       rct_b = 1;
360     }
361
362   if (rct_a == b2)
363     rct_b++;
364   else
365     {
366       rct_a = b2;
367       rct_b = 1;
368     }
369
370   if (rct_a == b3)
371     rct_b++;
372   else
373     {
374       rct_a = b3;
375       rct_b = 1;
376     }
377
378   if (rct_b >= REPITITION_COUNT_TEST_CUTOFF)
379     noise_source_error (REPETITION_COUNT);
380   if (rct_b > neug_rc_max)
381     neug_rc_max = rct_b;
382 }
383
384 /* Cuttoff = 18, when min-entropy = 4.2, W= 2^-30 */
385 /* With R, qbinom(1-2^-30,64,2^-4.2) */
386 #define ADAPTIVE_PROPORTION_64_TEST_CUTOFF 18
387
388 static uint8_t ap64t_a;
389 static uint8_t ap64t_b;
390 static uint8_t ap64t_s;
391
392 static void adaptive_proportion_64_test (uint8_t sample)
393 {
394   if (ap64t_s++ >= 64)
395     {
396       ap64t_a = sample;
397       ap64t_s = 1;
398       ap64t_b = 0;
399     }
400   else
401     if (ap64t_a == sample)
402       {
403         ap64t_b++;
404         if (ap64t_b > ADAPTIVE_PROPORTION_64_TEST_CUTOFF)
405           noise_source_error (ADAPTIVE_PROPORTION_64);
406         if (ap64t_b > neug_p64_max)
407           neug_p64_max = ap64t_b;
408       }
409 }
410
411 static void adaptive_proportion_64_test_word (uint8_t b0, uint8_t b1,
412                                               uint8_t b2, uint8_t b3)
413 {
414   if (ap64t_s >= 64)
415     {
416       ap64t_a = b0;
417       ap64t_s = 4;
418       ap64t_b = 0;
419     }
420   else
421     {
422       ap64t_s += 4;
423
424       if (ap64t_a == b0)
425         ap64t_b++;
426     }
427
428   if (ap64t_a == b1)
429     ap64t_b++;
430
431   if (ap64t_a == b2)
432     ap64t_b++;
433
434   if (ap64t_a == b3)
435     ap64t_b++;
436
437   if (ap64t_b > ADAPTIVE_PROPORTION_64_TEST_CUTOFF)
438     noise_source_error (ADAPTIVE_PROPORTION_64);
439   if (ap64t_b > neug_p64_max)
440     neug_p64_max = ap64t_b;
441 }
442
443 /* Cuttoff = 315, when min-entropy = 4.2, W= 2^-30 */
444 /* With R, qbinom(1-2^-30,4096,2^-4.2) */
445 #define ADAPTIVE_PROPORTION_4096_TEST_CUTOFF 315
446
447 static uint8_t ap4096t_a;
448 static uint16_t ap4096t_b;
449 static uint16_t ap4096t_s;
450
451 static void adaptive_proportion_4096_test (uint8_t sample)
452 {
453   if (ap4096t_s++ >= 4096)
454     {
455       ap4096t_a = sample;
456       ap4096t_s = 1;
457       ap4096t_b = 0;
458     }
459   else
460     if (ap4096t_a == sample)
461       {
462         ap4096t_b++;
463         if (ap4096t_b > ADAPTIVE_PROPORTION_4096_TEST_CUTOFF)
464           noise_source_error (ADAPTIVE_PROPORTION_4096);
465         if (ap4096t_b > neug_p4k_max)
466           neug_p4k_max = ap4096t_b;
467       }
468 }
469
470 static void adaptive_proportion_4096_test_word (uint8_t b0, uint8_t b1,
471                                                 uint8_t b2, uint8_t b3)
472 {
473   if (ap4096t_s >= 4096)
474     {
475       ap4096t_a = b0;
476       ap4096t_s = 4;
477       ap4096t_b = 0;
478     }
479   else
480     {
481       ap4096t_s += 4;
482
483       if (ap4096t_a == b0)
484         ap4096t_b++;
485     }
486
487   if (ap4096t_a == b1)
488     ap4096t_b++;
489
490   if (ap4096t_a == b2)
491         ap4096t_b++;
492
493   if (ap4096t_a == b3)
494     ap4096t_b++;
495
496   if (ap4096t_b > ADAPTIVE_PROPORTION_4096_TEST_CUTOFF)
497     noise_source_error (ADAPTIVE_PROPORTION_4096);
498   if (ap4096t_b > neug_p4k_max)
499     neug_p4k_max = ap4096t_b;
500 }
501
502
503 static void noise_source_continuous_test (uint8_t noise)
504 {
505   repetition_count_test (noise);
506   adaptive_proportion_64_test (noise);
507   adaptive_proportion_4096_test (noise);
508 }
509
510 static void noise_source_continuous_test_word (uint8_t b0, uint8_t b1,
511                                                uint8_t b2, uint8_t b3)
512 {
513   repetition_count_test_word (b0, b1, b2, b3);
514   adaptive_proportion_64_test_word (b0, b1, b2, b3);
515   adaptive_proportion_4096_test_word (b0, b1, b2, b3);
516 }
517 \f
518 /*
519  * Ring buffer, filled by generator, consumed by neug_get routine.
520  */
521 struct rng_rb {
522   uint32_t *buf;
523   chopstx_mutex_t m;
524   chopstx_cond_t data_available;
525   chopstx_cond_t space_available;
526   uint8_t head, tail;
527   uint8_t size;
528   unsigned int full :1;
529   unsigned int empty :1;
530 };
531
532 static void rb_init (struct rng_rb *rb, uint32_t *p, uint8_t size)
533 {
534   rb->buf = p;
535   rb->size = size;
536   chopstx_mutex_init (&rb->m);
537   chopstx_cond_init (&rb->data_available);
538   chopstx_cond_init (&rb->space_available);
539   rb->head = rb->tail = 0;
540   rb->full = 0;
541   rb->empty = 1;
542 }
543
544 static void rb_add (struct rng_rb *rb, uint32_t v)
545 {
546   rb->buf[rb->tail++] = v;
547   if (rb->tail == rb->size)
548     rb->tail = 0;
549   if (rb->tail == rb->head)
550     rb->full = 1;
551   rb->empty = 0;
552 }
553
554 static uint32_t rb_del (struct rng_rb *rb)
555 {
556   uint32_t v = rb->buf[rb->head++];
557
558   if (rb->head == rb->size)
559     rb->head = 0;
560   if (rb->head == rb->tail)
561     rb->empty = 1;
562   rb->full = 0;
563
564   return v;
565 }
566
567 uint8_t neug_mode;
568 static int rng_should_terminate;
569 static chopstx_t rng_thread;
570
571
572 /**
573  * @brief Random number generation thread.
574  */
575 static void *
576 rng (void *arg)
577 {
578   struct rng_rb *rb = (struct rng_rb *)arg;
579   chopstx_intr_t adc_intr;
580   int mode = neug_mode;
581
582   rng_should_terminate = 0;
583   chopstx_mutex_init (&mode_mtx);
584   chopstx_cond_init (&mode_cond);
585
586   /* Enable ADCs */
587   adc_start ();
588   chopstx_claim_irq (&adc_intr, INTR_REQ_DMA1_Channel1);
589
590   ep_init (mode);
591   while (!rng_should_terminate)
592     {
593       int err;
594       int n;
595
596       err = adc_wait_completion (&adc_intr);
597
598       chopstx_mutex_lock (&mode_mtx);
599       if (err || mode != neug_mode)
600         {
601           mode = neug_mode;
602
603           noise_source_cnt_max_reset ();
604
605           /* Discarding data available, re-initiate from the start.  */
606           ep_init (mode);
607           chopstx_cond_signal (&mode_cond);
608           chopstx_mutex_unlock (&mode_mtx);
609           continue;
610         }
611       else
612         chopstx_mutex_unlock (&mode_mtx);
613
614       if ((n = ep_process (mode)))
615         {
616           int i;
617           const uint32_t *vp;
618
619           if (neug_err_state != 0
620               && (mode == NEUG_MODE_CONDITIONED || mode == NEUG_MODE_RAW))
621             {
622               /* Don't use the result and do it again.  */
623               noise_source_error_reset ();
624               continue;
625             }
626
627           vp = ep_output (mode);
628
629           chopstx_mutex_lock (&rb->m);
630           while (rb->full)
631             chopstx_cond_wait (&rb->space_available, &rb->m);
632
633           for (i = 0; i < n; i++)
634             {
635               rb_add (rb, *vp++);
636               if (rb->full)
637                 break;
638             }
639
640           chopstx_cond_signal (&rb->data_available);
641           chopstx_mutex_unlock (&rb->m);
642         }
643     }
644
645   adc_stop ();
646   chopstx_release_irq (&adc_intr);
647
648   return NULL;
649 }
650
651 static struct rng_rb the_ring_buffer;
652
653 extern uint8_t __process2_stack_base__, __process2_stack_size__;
654 const uint32_t __stackaddr_rng = (uint32_t)&__process2_stack_base__;
655 const size_t __stacksize_rng = (size_t)&__process2_stack_size__;
656 #define PRIO_RNG 2
657
658 /**
659  * @brief Initialize NeuG.
660  */
661 void
662 neug_init (uint32_t *buf, uint8_t size)
663 {
664   const uint32_t *u = (const uint32_t *)unique_device_id ();
665   struct rng_rb *rb = &the_ring_buffer;
666   int i;
667
668   RCC->AHBENR |= RCC_AHBENR_CRCEN;
669   CRC->CR = CRC_CR_RESET;
670
671   /*
672    * This initialization ensures that it generates different sequence
673    * even if all physical conditions are same.
674    */
675   for (i = 0; i < 3; i++)
676     CRC->DR = *u++;
677
678   neug_mode = NEUG_MODE_CONDITIONED;
679   rb_init (rb, buf, size);
680
681   rng_thread = chopstx_create (PRIO_RNG, __stackaddr_rng, __stacksize_rng,
682                                rng, rb);
683 }
684
685 /**
686  * @breif Flush random bytes.
687  */
688 void
689 neug_flush (void)
690 {
691   struct rng_rb *rb = &the_ring_buffer;
692
693   chopstx_mutex_lock (&rb->m);
694   while (!rb->empty)
695     (void)rb_del (rb);
696   chopstx_cond_signal (&rb->space_available);
697   chopstx_mutex_unlock (&rb->m);
698 }
699
700
701 /**
702  * @brief  Wakes up RNG thread to generate random numbers.
703  */
704 void
705 neug_kick_filling (void)
706 {
707   struct rng_rb *rb = &the_ring_buffer;
708
709   chopstx_mutex_lock (&rb->m);
710   if (!rb->full)
711     chopstx_cond_signal (&rb->space_available);
712   chopstx_mutex_unlock (&rb->m);
713 }
714
715 /**
716  * @brief  Get random word (32-bit) from NeuG.
717  * @detail With NEUG_KICK_FILLING, it wakes up RNG thread.
718  *         With NEUG_NO_KICK, it doesn't wake up RNG thread automatically,
719  *         it is needed to call neug_kick_filling later.
720  */
721 uint32_t
722 neug_get (int kick)
723 {
724   struct rng_rb *rb = &the_ring_buffer;
725   uint32_t v;
726
727   chopstx_mutex_lock (&rb->m);
728   while (rb->empty)
729     chopstx_cond_wait (&rb->data_available, &rb->m);
730   v = rb_del (rb);
731   if (kick)
732     chopstx_cond_signal (&rb->space_available);
733   chopstx_mutex_unlock (&rb->m);
734
735   return v;
736 }
737
738 int
739 neug_get_nonblock (uint32_t *p)
740 {
741   struct rng_rb *rb = &the_ring_buffer;
742   int r = 0;
743
744   chopstx_mutex_lock (&rb->m);
745   if (rb->empty)
746     {
747       r = -1;
748       chopstx_cond_signal (&rb->space_available);
749     }
750   else
751     *p = rb_del (rb);
752   chopstx_mutex_unlock (&rb->m);
753
754   return r;
755 }
756
757 int neug_consume_random (void (*proc) (uint32_t, int))
758 {
759   int i = 0;
760   struct rng_rb *rb = &the_ring_buffer;
761
762   chopstx_mutex_lock (&rb->m);
763   while (!rb->empty)
764     {
765       uint32_t v;
766
767       v = rb_del (rb);
768       proc (v, i);
769       i++;
770     }
771   chopstx_cond_signal (&rb->space_available);
772   chopstx_mutex_unlock (&rb->m);
773
774   return i;
775 }
776
777 void
778 neug_wait_full (void)
779 {
780   struct rng_rb *rb = &the_ring_buffer;
781
782   chopstx_mutex_lock (&rb->m);
783   while (!rb->full)
784     chopstx_cond_wait (&rb->data_available, &rb->m);
785   chopstx_mutex_unlock (&rb->m);
786 }
787
788 void
789 neug_fini (void)
790 {
791   rng_should_terminate = 1;
792   neug_get (1);
793   chopstx_join (rng_thread, NULL);
794 }
795
796 void
797 neug_mode_select (uint8_t mode)
798 {
799   if (neug_mode == mode)
800     return;
801
802   neug_wait_full ();
803
804   chopstx_mutex_lock (&mode_mtx);
805   neug_mode = mode;
806   neug_flush ();
807   chopstx_cond_wait (&mode_cond, &mode_mtx);
808   chopstx_mutex_unlock (&mode_mtx);
809
810   neug_wait_full ();
811   neug_flush ();
812 }