9ff79e504063570ec2918d8082efc50b115d1ac8
[gnuk/neug.git] / src / neug.c
1 /*
2  * neug.c - true random number generation
3  *
4  * Copyright (C) 2011, 2012, 2013, 2016, 2017, 2018
5  *               Free Software Initiative of Japan
6  * Author: NIIBE Yutaka <gniibe@fsij.org>
7  *
8  * This file is a part of NeuG, a True Random Number Generator
9  * implementation based on quantization error of ADC (for STM32F103).
10  *
11  * NeuG is free software: you can redistribute it and/or modify it
12  * under the terms of the GNU General Public License as published by
13  * the Free Software Foundation, either version 3 of the License, or
14  * (at your option) any later version.
15  *
16  * NeuG is distributed in the hope that it will be useful, but WITHOUT
17  * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
18  * or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public
19  * License for more details.
20  *
21  * You should have received a copy of the GNU General Public License
22  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
23  *
24  */
25
26 #include <stdint.h>
27 #include <string.h>
28 #include <chopstx.h>
29
30 #include "sys.h"
31 #include "neug.h"
32 #ifndef GNU_LINUX_EMULATION
33 #include "mcu/stm32f103.h"
34 #endif
35 #include "adc.h"
36 #include "sha256.h"
37
38 #ifdef GNU_LINUX_EMULATION
39 static const uint32_t crc32_rv_table[256] = {
40   0x00000000, 0x04c11db7, 0x09823b6e, 0x0d4326d9, 0x130476dc, 0x17c56b6b,
41   0x1a864db2, 0x1e475005, 0x2608edb8, 0x22c9f00f, 0x2f8ad6d6, 0x2b4bcb61,
42   0x350c9b64, 0x31cd86d3, 0x3c8ea00a, 0x384fbdbd, 0x4c11db70, 0x48d0c6c7,
43   0x4593e01e, 0x4152fda9, 0x5f15adac, 0x5bd4b01b, 0x569796c2, 0x52568b75,
44   0x6a1936c8, 0x6ed82b7f, 0x639b0da6, 0x675a1011, 0x791d4014, 0x7ddc5da3,
45   0x709f7b7a, 0x745e66cd, 0x9823b6e0, 0x9ce2ab57, 0x91a18d8e, 0x95609039,
46   0x8b27c03c, 0x8fe6dd8b, 0x82a5fb52, 0x8664e6e5, 0xbe2b5b58, 0xbaea46ef,
47   0xb7a96036, 0xb3687d81, 0xad2f2d84, 0xa9ee3033, 0xa4ad16ea, 0xa06c0b5d,
48   0xd4326d90, 0xd0f37027, 0xddb056fe, 0xd9714b49, 0xc7361b4c, 0xc3f706fb,
49   0xceb42022, 0xca753d95, 0xf23a8028, 0xf6fb9d9f, 0xfbb8bb46, 0xff79a6f1,
50   0xe13ef6f4, 0xe5ffeb43, 0xe8bccd9a, 0xec7dd02d, 0x34867077, 0x30476dc0,
51   0x3d044b19, 0x39c556ae, 0x278206ab, 0x23431b1c, 0x2e003dc5, 0x2ac12072,
52   0x128e9dcf, 0x164f8078, 0x1b0ca6a1, 0x1fcdbb16, 0x018aeb13, 0x054bf6a4,
53   0x0808d07d, 0x0cc9cdca, 0x7897ab07, 0x7c56b6b0, 0x71159069, 0x75d48dde,
54   0x6b93dddb, 0x6f52c06c, 0x6211e6b5, 0x66d0fb02, 0x5e9f46bf, 0x5a5e5b08,
55   0x571d7dd1, 0x53dc6066, 0x4d9b3063, 0x495a2dd4, 0x44190b0d, 0x40d816ba,
56   0xaca5c697, 0xa864db20, 0xa527fdf9, 0xa1e6e04e, 0xbfa1b04b, 0xbb60adfc,
57   0xb6238b25, 0xb2e29692, 0x8aad2b2f, 0x8e6c3698, 0x832f1041, 0x87ee0df6,
58   0x99a95df3, 0x9d684044, 0x902b669d, 0x94ea7b2a, 0xe0b41de7, 0xe4750050,
59   0xe9362689, 0xedf73b3e, 0xf3b06b3b, 0xf771768c, 0xfa325055, 0xfef34de2,
60   0xc6bcf05f, 0xc27dede8, 0xcf3ecb31, 0xcbffd686, 0xd5b88683, 0xd1799b34,
61   0xdc3abded, 0xd8fba05a, 0x690ce0ee, 0x6dcdfd59, 0x608edb80, 0x644fc637,
62   0x7a089632, 0x7ec98b85, 0x738aad5c, 0x774bb0eb, 0x4f040d56, 0x4bc510e1,
63   0x46863638, 0x42472b8f, 0x5c007b8a, 0x58c1663d, 0x558240e4, 0x51435d53,
64   0x251d3b9e, 0x21dc2629, 0x2c9f00f0, 0x285e1d47, 0x36194d42, 0x32d850f5,
65   0x3f9b762c, 0x3b5a6b9b, 0x0315d626, 0x07d4cb91, 0x0a97ed48, 0x0e56f0ff,
66   0x1011a0fa, 0x14d0bd4d, 0x19939b94, 0x1d528623, 0xf12f560e, 0xf5ee4bb9,
67   0xf8ad6d60, 0xfc6c70d7, 0xe22b20d2, 0xe6ea3d65, 0xeba91bbc, 0xef68060b,
68   0xd727bbb6, 0xd3e6a601, 0xdea580d8, 0xda649d6f, 0xc423cd6a, 0xc0e2d0dd,
69   0xcda1f604, 0xc960ebb3, 0xbd3e8d7e, 0xb9ff90c9, 0xb4bcb610, 0xb07daba7,
70   0xae3afba2, 0xaafbe615, 0xa7b8c0cc, 0xa379dd7b, 0x9b3660c6, 0x9ff77d71,
71   0x92b45ba8, 0x9675461f, 0x8832161a, 0x8cf30bad, 0x81b02d74, 0x857130c3,
72   0x5d8a9099, 0x594b8d2e, 0x5408abf7, 0x50c9b640, 0x4e8ee645, 0x4a4ffbf2,
73   0x470cdd2b, 0x43cdc09c, 0x7b827d21, 0x7f436096, 0x7200464f, 0x76c15bf8,
74   0x68860bfd, 0x6c47164a, 0x61043093, 0x65c52d24, 0x119b4be9, 0x155a565e,
75   0x18197087, 0x1cd86d30, 0x029f3d35, 0x065e2082, 0x0b1d065b, 0x0fdc1bec,
76   0x3793a651, 0x3352bbe6, 0x3e119d3f, 0x3ad08088, 0x2497d08d, 0x2056cd3a,
77   0x2d15ebe3, 0x29d4f654, 0xc5a92679, 0xc1683bce, 0xcc2b1d17, 0xc8ea00a0,
78   0xd6ad50a5, 0xd26c4d12, 0xdf2f6bcb, 0xdbee767c, 0xe3a1cbc1, 0xe760d676,
79   0xea23f0af, 0xeee2ed18, 0xf0a5bd1d, 0xf464a0aa, 0xf9278673, 0xfde69bc4,
80   0x89b8fd09, 0x8d79e0be, 0x803ac667, 0x84fbdbd0, 0x9abc8bd5, 0x9e7d9662,
81   0x933eb0bb, 0x97ffad0c, 0xafb010b1, 0xab710d06, 0xa6322bdf, 0xa2f33668,
82   0xbcb4666d, 0xb8757bda, 0xb5365d03, 0xb1f740b4
83 };
84
85 static uint32_t crc;
86
87 void
88 crc32_rv_reset (void)
89 {
90   crc = 0xffffffff;
91 }
92
93 void
94 crc32_rv_step (uint32_t v)
95 {
96   crc = crc32_rv_table[(crc ^ (v << 0))  >> 24] ^ (crc << 8);
97   crc = crc32_rv_table[(crc ^ (v << 8))  >> 24] ^ (crc << 8);
98   crc = crc32_rv_table[(crc ^ (v << 16)) >> 24] ^ (crc << 8);
99   crc = crc32_rv_table[(crc ^ (v << 24)) >> 24] ^ (crc << 8);
100 }
101
102 uint32_t
103 crc32_rv_get (void)
104 {
105   return crc;
106 }
107
108 uint32_t
109 rbit (uint32_t v)
110 {
111   v = ((v >> 1) & 0x55555555) | ((v & 0x55555555) << 1);
112   v = ((v >> 2) & 0x33333333) | ((v & 0x33333333) << 2);
113   v = ((v >> 4) & 0x0F0F0F0F) | ((v & 0x0F0F0F0F) << 4);
114   v = ((v >> 8) & 0x00FF00FF) | ((v & 0x00FF00FF) << 8);
115   v = ( v >> 16             ) | ( v               << 16);
116   return v;
117 }
118
119 void
120 crc32_rv_stop (void)
121 {
122 }
123 #else
124 void
125 crc32_rv_reset (void)
126 {
127   RCC->AHBENR |= RCC_AHBENR_CRCEN;
128   CRC->CR = CRC_CR_RESET;
129 }
130
131 void
132 crc32_rv_step (uint32_t v)
133 {
134   CRC->DR = v;
135 }
136
137 uint32_t
138 crc32_rv_get (void)
139 {
140   return CRC->DR;
141 }
142
143 uint32_t
144 rbit (uint32_t v)
145 {
146   uint32_t r;
147
148   asm ("rbit    %0, %1" : "=r" (r) : "r" (v));
149   return r;
150 }
151
152 void
153 crc32_rv_stop (void)
154 {
155   RCC->AHBENR &= ~RCC_AHBENR_CRCEN;
156 }
157 #endif
158
159 static chopstx_mutex_t mode_mtx;
160 static chopstx_cond_t  mode_cond;
161
162 static sha256_context sha256_ctx_data;
163 static uint32_t sha256_output[SHA256_DIGEST_SIZE/sizeof (uint32_t)];
164
165 /*
166  * To be a full entropy source, the requirement is to have N samples
167  * for output of 256-bit, where:
168  *
169  *      N = (256 * 2) / <min-entropy of a sample>
170  *
171  * For example, N should be more than 103 for min-entropy = 5.0.
172  *
173  * On the other hand, in the section 6.2 "Full Entropy Source
174  * Requirements", it says:
175  *
176  *     At least twice the block size of the underlying cryptographic
177  *     primitive shall be provided as input to the conditioning
178  *     function to produce full entropy output.
179  *
180  * For us, cryptographic primitive is SHA-256 and its blocksize is
181  * 512-bit (64-byte), thus, N >= 128.
182  *
183  * We chose N=140.  Note that we have "additional bits" of 16-byte for
184  * last block (feedback from previous output of SHA-256) to feed
185  * hash_df function of SHA-256, together with sample data of 140-byte.
186  *
187  * N=140 corresponds to min-entropy >= 3.68.
188  *
189  */
190 #define NUM_NOISE_INPUTS 140
191
192 #define EP_ROUND_0 0 /* initial-five-byte and 3-byte, then 56-byte-input */
193 #define EP_ROUND_1 1 /* 64-byte-input */
194 #define EP_ROUND_2 2 /* 17-byte-input */
195 #define EP_ROUND_RAW      3 /* 32-byte-input */
196 #define EP_ROUND_RAW_DATA 4 /* 32-byte-input */
197
198 #define EP_ROUND_0_INPUTS 56
199 #define EP_ROUND_1_INPUTS 64
200 #define EP_ROUND_2_INPUTS 17
201 #define EP_ROUND_RAW_INPUTS 32
202 #define EP_ROUND_RAW_DATA_INPUTS 32
203
204 static uint8_t ep_round;
205
206 static void noise_source_continuous_test (uint8_t noise);
207 static void noise_source_continuous_test_word (uint8_t b0, uint8_t b1,
208                                                uint8_t b2, uint8_t b3);
209
210 /*
211  * Hash_df initial string:
212  *
213  *  Initial five bytes are:
214  *    1,          : counter = 1
215  *    0, 0, 1, 0  : no_of_bits_returned (in big endian)
216  *
217  *  Then, three-byte from noise source follows.
218  *
219  *  One-byte was used in the previous turn, and we have three bytes in
220  *  CRC32.
221  */
222 static void ep_fill_initial_string (void)
223 {
224   uint32_t v = crc32_rv_get ();
225   uint8_t b1, b2, b3;
226
227   b3 = v >> 24;
228   b2 = v >> 16;
229   b1 = v >> 8;
230
231   noise_source_continuous_test (b1);
232   noise_source_continuous_test (b2);
233   noise_source_continuous_test (b3);
234
235   adc_buf[0] = 0x01000001;
236   adc_buf[1] = (v & 0xffffff00);
237 }
238
239 static void ep_init (int mode)
240 {
241   if (mode == NEUG_MODE_RAW)
242     {
243       ep_round = EP_ROUND_RAW;
244       adc_start_conversion (0, EP_ROUND_RAW_INPUTS);
245     }
246   else if (mode == NEUG_MODE_RAW_DATA)
247     {
248       ep_round = EP_ROUND_RAW_DATA;
249       adc_start_conversion (0, EP_ROUND_RAW_DATA_INPUTS / 4);
250     }
251   else
252     {
253       ep_round = EP_ROUND_0;
254       ep_fill_initial_string ();
255       adc_start_conversion (2, EP_ROUND_0_INPUTS);
256     }
257 }
258
259
260 static void ep_fill_wbuf_v (int i, int test, uint32_t v)
261 {
262   if (test)
263     {
264       uint8_t b0, b1, b2, b3;
265
266       b3 = v >> 24;
267       b2 = v >> 16;
268       b1 = v >> 8;
269       b0 = v;
270
271       noise_source_continuous_test_word (b0, b1, b2, b3);
272     }
273
274   sha256_ctx_data.wbuf[i] = v;
275 }
276
277 /* Here, we assume a little endian architecture.  */
278 static int ep_process (int mode)
279 {
280   int i, n;
281   uint32_t v;
282
283   if (ep_round == EP_ROUND_0)
284     {
285       sha256_start (&sha256_ctx_data);
286       sha256_ctx_data.wbuf[0] = adc_buf[0];
287       sha256_ctx_data.wbuf[1] = adc_buf[1];
288       for (i = 0; i < EP_ROUND_0_INPUTS / 4; i++)
289         {
290           crc32_rv_step (adc_buf[i*4 + 2]);
291           crc32_rv_step (adc_buf[i*4 + 3]);
292           crc32_rv_step (adc_buf[i*4 + 4]);
293           crc32_rv_step (adc_buf[i*4 + 5]);
294           v = crc32_rv_get ();
295           ep_fill_wbuf_v (i+2, 1, v);
296         }
297
298       adc_start_conversion (0, EP_ROUND_1_INPUTS);
299       sha256_process (&sha256_ctx_data);
300       ep_round++;
301       return 0;
302     }
303   else if (ep_round == EP_ROUND_1)
304     {
305       for (i = 0; i < EP_ROUND_1_INPUTS / 4; i++)
306         {
307           crc32_rv_step (adc_buf[i*4]);
308           crc32_rv_step (adc_buf[i*4 + 1]);
309           crc32_rv_step (adc_buf[i*4 + 2]);
310           crc32_rv_step (adc_buf[i*4 + 3]);
311           v = crc32_rv_get ();
312           ep_fill_wbuf_v (i, 1, v);
313         }
314
315       adc_start_conversion (0, EP_ROUND_2_INPUTS + 3);
316       sha256_process (&sha256_ctx_data);
317       ep_round++;
318       return 0;
319     }
320   else if (ep_round == EP_ROUND_2)
321     {
322       for (i = 0; i < EP_ROUND_2_INPUTS / 4; i++)
323         {
324           crc32_rv_step (adc_buf[i*4]);
325           crc32_rv_step (adc_buf[i*4 + 1]);
326           crc32_rv_step (adc_buf[i*4 + 2]);
327           crc32_rv_step (adc_buf[i*4 + 3]);
328           v = crc32_rv_get ();
329           ep_fill_wbuf_v (i, 1, v);
330         }
331
332       crc32_rv_step (adc_buf[i*4]);
333       crc32_rv_step (adc_buf[i*4 + 1]);
334       crc32_rv_step (adc_buf[i*4 + 2]);
335       crc32_rv_step (adc_buf[i*4 + 3]);
336       v = crc32_rv_get () & 0xff;   /* First byte of CRC32 is used here.  */
337       noise_source_continuous_test (v);
338       sha256_ctx_data.wbuf[i] = v;
339       ep_init (NEUG_MODE_CONDITIONED); /* The rest three-byte of
340                                           CRC32 is used here.  */
341       n = SHA256_DIGEST_SIZE / 2;
342       memcpy (((uint8_t *)sha256_ctx_data.wbuf) + EP_ROUND_2_INPUTS,
343               sha256_output, n);
344       sha256_ctx_data.total[0] = 5 + NUM_NOISE_INPUTS + n;
345       sha256_finish (&sha256_ctx_data, (uint8_t *)sha256_output);
346       return SHA256_DIGEST_SIZE / sizeof (uint32_t);
347     }
348   else if (ep_round == EP_ROUND_RAW)
349     {
350       for (i = 0; i < EP_ROUND_RAW_INPUTS / 4; i++)
351         {
352           crc32_rv_step (adc_buf[i*4]);
353           crc32_rv_step (adc_buf[i*4 + 1]);
354           crc32_rv_step (adc_buf[i*4 + 2]);
355           crc32_rv_step (adc_buf[i*4 + 3]);
356           v = crc32_rv_get ();
357           ep_fill_wbuf_v (i, 1, v);
358         }
359
360       ep_init (mode);
361       return EP_ROUND_RAW_INPUTS / 4;
362     }
363   else if (ep_round == EP_ROUND_RAW_DATA)
364     {
365       for (i = 0; i < EP_ROUND_RAW_DATA_INPUTS / 4; i++)
366         {
367           v = adc_buf[i];
368           ep_fill_wbuf_v (i, 0, v);
369         }
370
371       ep_init (mode);
372       return EP_ROUND_RAW_DATA_INPUTS / 4;
373     }
374
375   return 0;
376 }
377
378
379 static const uint32_t *ep_output (int mode)
380 {
381   if (mode)
382     return sha256_ctx_data.wbuf;
383   else
384     return sha256_output;
385 }
386 \f
387 #define REPETITION_COUNT           1
388 #define ADAPTIVE_PROPORTION_64     2
389 #define ADAPTIVE_PROPORTION_4096   4
390
391 uint8_t neug_err_state;
392 uint16_t neug_err_cnt;
393 uint16_t neug_err_cnt_rc;
394 uint16_t neug_err_cnt_p64;
395 uint16_t neug_err_cnt_p4k;
396
397 uint16_t neug_rc_max;
398 uint16_t neug_p64_max;
399 uint16_t neug_p4k_max;
400
401 static void noise_source_cnt_max_reset (void)
402 {
403   neug_err_cnt = neug_err_cnt_rc = neug_err_cnt_p64 = neug_err_cnt_p4k = 0;
404   neug_rc_max = neug_p64_max = neug_p4k_max = 0;
405 }
406
407 static void noise_source_error_reset (void)
408 {
409   neug_err_state = 0;
410 }
411
412 static void noise_source_error (uint32_t err)
413 {
414   neug_err_state |= err;
415   neug_err_cnt++;
416
417   if ((err & REPETITION_COUNT))
418     neug_err_cnt_rc++;
419   if ((err & ADAPTIVE_PROPORTION_64))
420     neug_err_cnt_p64++;
421   if ((err & ADAPTIVE_PROPORTION_4096))
422     neug_err_cnt_p4k++;
423 }
424
425 /*
426  * For health tests, we assume that the device noise source has
427  * min-entropy >= 4.2.  Observing raw data stream (before CRC-32) has
428  * more than 4.2 bit/byte entropy.  When the data stream after CRC-32
429  * filter will be less than 4.2 bit/byte entropy, that must be
430  * something wrong.  Note that even we observe < 4.2, we still have
431  * some margin, since we use NUM_NOISE_INPUTS=140.
432  *
433  */
434
435 /* Cuttoff = 9, when min-entropy = 4.2, W= 2^-30 */
436 /* ceiling of (1+30/4.2) */
437 #define REPITITION_COUNT_TEST_CUTOFF 9
438
439 static uint8_t rct_a;
440 static uint8_t rct_b;
441
442 static void repetition_count_test (uint8_t sample)
443 {
444   if (rct_a == sample)
445     {
446       rct_b++;
447       if (rct_b >= REPITITION_COUNT_TEST_CUTOFF)
448         noise_source_error (REPETITION_COUNT);
449       if (rct_b > neug_rc_max)
450         neug_rc_max = rct_b;
451    }
452   else
453     {
454       rct_a = sample;
455       rct_b = 1;
456     }
457 }
458
459 static void repetition_count_test_word (uint8_t b0, uint8_t b1,
460                                         uint8_t b2, uint8_t b3)
461 {
462   if (rct_a == b0)
463     rct_b++;
464   else
465     {
466       rct_a = b0;
467       rct_b = 1;
468     }
469
470   if (rct_a == b1)
471     rct_b++;
472   else
473     {
474       rct_a = b1;
475       rct_b = 1;
476     }
477
478   if (rct_a == b2)
479     rct_b++;
480   else
481     {
482       rct_a = b2;
483       rct_b = 1;
484     }
485
486   if (rct_a == b3)
487     rct_b++;
488   else
489     {
490       rct_a = b3;
491       rct_b = 1;
492     }
493
494   if (rct_b >= REPITITION_COUNT_TEST_CUTOFF)
495     noise_source_error (REPETITION_COUNT);
496   if (rct_b > neug_rc_max)
497     neug_rc_max = rct_b;
498 }
499
500 /* Cuttoff = 18, when min-entropy = 4.2, W= 2^-30 */
501 /* With R, qbinom(1-2^-30,64,2^-4.2) */
502 #define ADAPTIVE_PROPORTION_64_TEST_CUTOFF 18
503
504 static uint8_t ap64t_a;
505 static uint8_t ap64t_b;
506 static uint8_t ap64t_s;
507
508 static void adaptive_proportion_64_test (uint8_t sample)
509 {
510   if (ap64t_s++ >= 64)
511     {
512       ap64t_a = sample;
513       ap64t_s = 1;
514       ap64t_b = 0;
515     }
516   else
517     if (ap64t_a == sample)
518       {
519         ap64t_b++;
520         if (ap64t_b > ADAPTIVE_PROPORTION_64_TEST_CUTOFF)
521           noise_source_error (ADAPTIVE_PROPORTION_64);
522         if (ap64t_b > neug_p64_max)
523           neug_p64_max = ap64t_b;
524       }
525 }
526
527 static void adaptive_proportion_64_test_word (uint8_t b0, uint8_t b1,
528                                               uint8_t b2, uint8_t b3)
529 {
530   if (ap64t_s >= 64)
531     {
532       ap64t_a = b0;
533       ap64t_s = 4;
534       ap64t_b = 0;
535     }
536   else
537     {
538       ap64t_s += 4;
539
540       if (ap64t_a == b0)
541         ap64t_b++;
542     }
543
544   if (ap64t_a == b1)
545     ap64t_b++;
546
547   if (ap64t_a == b2)
548     ap64t_b++;
549
550   if (ap64t_a == b3)
551     ap64t_b++;
552
553   if (ap64t_b > ADAPTIVE_PROPORTION_64_TEST_CUTOFF)
554     noise_source_error (ADAPTIVE_PROPORTION_64);
555   if (ap64t_b > neug_p64_max)
556     neug_p64_max = ap64t_b;
557 }
558
559 /* Cuttoff = 315, when min-entropy = 4.2, W= 2^-30 */
560 /* With R, qbinom(1-2^-30,4096,2^-4.2) */
561 #define ADAPTIVE_PROPORTION_4096_TEST_CUTOFF 315
562
563 static uint8_t ap4096t_a;
564 static uint16_t ap4096t_b;
565 static uint16_t ap4096t_s;
566
567 static void adaptive_proportion_4096_test (uint8_t sample)
568 {
569   if (ap4096t_s++ >= 4096)
570     {
571       ap4096t_a = sample;
572       ap4096t_s = 1;
573       ap4096t_b = 0;
574     }
575   else
576     if (ap4096t_a == sample)
577       {
578         ap4096t_b++;
579         if (ap4096t_b > ADAPTIVE_PROPORTION_4096_TEST_CUTOFF)
580           noise_source_error (ADAPTIVE_PROPORTION_4096);
581         if (ap4096t_b > neug_p4k_max)
582           neug_p4k_max = ap4096t_b;
583       }
584 }
585
586 static void adaptive_proportion_4096_test_word (uint8_t b0, uint8_t b1,
587                                                 uint8_t b2, uint8_t b3)
588 {
589   if (ap4096t_s >= 4096)
590     {
591       ap4096t_a = b0;
592       ap4096t_s = 4;
593       ap4096t_b = 0;
594     }
595   else
596     {
597       ap4096t_s += 4;
598
599       if (ap4096t_a == b0)
600         ap4096t_b++;
601     }
602
603   if (ap4096t_a == b1)
604     ap4096t_b++;
605
606   if (ap4096t_a == b2)
607         ap4096t_b++;
608
609   if (ap4096t_a == b3)
610     ap4096t_b++;
611
612   if (ap4096t_b > ADAPTIVE_PROPORTION_4096_TEST_CUTOFF)
613     noise_source_error (ADAPTIVE_PROPORTION_4096);
614   if (ap4096t_b > neug_p4k_max)
615     neug_p4k_max = ap4096t_b;
616 }
617
618
619 static void noise_source_continuous_test (uint8_t noise)
620 {
621   repetition_count_test (noise);
622   adaptive_proportion_64_test (noise);
623   adaptive_proportion_4096_test (noise);
624 }
625
626 static void noise_source_continuous_test_word (uint8_t b0, uint8_t b1,
627                                                uint8_t b2, uint8_t b3)
628 {
629   repetition_count_test_word (b0, b1, b2, b3);
630   adaptive_proportion_64_test_word (b0, b1, b2, b3);
631   adaptive_proportion_4096_test_word (b0, b1, b2, b3);
632 }
633 \f
634 /*
635  * Ring buffer, filled by generator, consumed by neug_get routine.
636  */
637 struct rng_rb {
638   uint32_t *buf;
639   chopstx_mutex_t m;
640   chopstx_cond_t data_available;
641   chopstx_cond_t space_available;
642   uint8_t head, tail;
643   uint8_t size;
644   unsigned int full :1;
645   unsigned int empty :1;
646 };
647
648 static void rb_init (struct rng_rb *rb, uint32_t *p, uint8_t size)
649 {
650   rb->buf = p;
651   rb->size = size;
652   chopstx_mutex_init (&rb->m);
653   chopstx_cond_init (&rb->data_available);
654   chopstx_cond_init (&rb->space_available);
655   rb->head = rb->tail = 0;
656   rb->full = 0;
657   rb->empty = 1;
658 }
659
660 static void rb_add (struct rng_rb *rb, uint32_t v)
661 {
662   rb->buf[rb->tail++] = v;
663   if (rb->tail == rb->size)
664     rb->tail = 0;
665   if (rb->tail == rb->head)
666     rb->full = 1;
667   rb->empty = 0;
668 }
669
670 static uint32_t rb_del (struct rng_rb *rb)
671 {
672   uint32_t v = rb->buf[rb->head++];
673
674   if (rb->head == rb->size)
675     rb->head = 0;
676   if (rb->head == rb->tail)
677     rb->empty = 1;
678   rb->full = 0;
679
680   return v;
681 }
682
683 uint8_t neug_mode;
684 static int rng_should_terminate;
685 static chopstx_t rng_thread;
686
687
688 /**
689  * @brief Random number generation thread.
690  */
691 static void *
692 rng (void *arg)
693 {
694   struct rng_rb *rb = (struct rng_rb *)arg;
695   int mode = neug_mode;
696
697   rng_should_terminate = 0;
698   chopstx_mutex_init (&mode_mtx);
699   chopstx_cond_init (&mode_cond);
700
701   /* Enable ADCs */
702   adc_start ();
703
704   ep_init (mode);
705   while (!rng_should_terminate)
706     {
707       int err;
708       int n;
709
710       err = adc_wait_completion ();
711
712       chopstx_mutex_lock (&mode_mtx);
713       if (err || mode != neug_mode)
714         {
715           mode = neug_mode;
716
717           noise_source_cnt_max_reset ();
718
719           /* Discarding data available, re-initiate from the start.  */
720           ep_init (mode);
721           chopstx_cond_signal (&mode_cond);
722           chopstx_mutex_unlock (&mode_mtx);
723           continue;
724         }
725       else
726         chopstx_mutex_unlock (&mode_mtx);
727
728       if ((n = ep_process (mode)))
729         {
730           int i;
731           const uint32_t *vp;
732
733           if (neug_err_state != 0
734               && (mode == NEUG_MODE_CONDITIONED || mode == NEUG_MODE_RAW))
735             {
736               /* Don't use the result and do it again.  */
737               noise_source_error_reset ();
738               continue;
739             }
740
741           vp = ep_output (mode);
742
743           chopstx_mutex_lock (&rb->m);
744           while (rb->full)
745             chopstx_cond_wait (&rb->space_available, &rb->m);
746
747           for (i = 0; i < n; i++)
748             {
749               rb_add (rb, *vp++);
750               if (rb->full)
751                 break;
752             }
753
754           chopstx_cond_signal (&rb->data_available);
755           chopstx_mutex_unlock (&rb->m);
756         }
757     }
758
759   adc_stop ();
760
761   return NULL;
762 }
763
764 static struct rng_rb the_ring_buffer;
765
766 #define STACK_PROCESS_2
767 #include "stack-def.h"
768 #define STACK_ADDR_RNG ((uintptr_t)process2_base)
769 #define STACK_SIZE_RNG (sizeof process2_base)
770
771 #define PRIO_RNG 2
772
773 /**
774  * @brief Initialize NeuG.
775  */
776 void
777 neug_init (uint32_t *buf, uint8_t size)
778 {
779   const uint32_t *u = (const uint32_t *)unique_device_id ();
780   struct rng_rb *rb = &the_ring_buffer;
781   int i;
782
783   crc32_rv_reset ();
784
785   /*
786    * This initialization ensures that it generates different sequence
787    * even if all physical conditions are same.
788    */
789   for (i = 0; i < 3; i++)
790     crc32_rv_step (*u++);
791
792   neug_mode = NEUG_MODE_CONDITIONED;
793   rb_init (rb, buf, size);
794
795   rng_thread = chopstx_create (PRIO_RNG, STACK_ADDR_RNG, STACK_SIZE_RNG,
796                                rng, rb);
797 }
798
799 /**
800  * @breif Flush random bytes.
801  */
802 void
803 neug_flush (void)
804 {
805   struct rng_rb *rb = &the_ring_buffer;
806
807   chopstx_mutex_lock (&rb->m);
808   while (!rb->empty)
809     (void)rb_del (rb);
810   chopstx_cond_signal (&rb->space_available);
811   chopstx_mutex_unlock (&rb->m);
812 }
813
814
815 /**
816  * @brief  Wakes up RNG thread to generate random numbers.
817  */
818 void
819 neug_kick_filling (void)
820 {
821   struct rng_rb *rb = &the_ring_buffer;
822
823   chopstx_mutex_lock (&rb->m);
824   if (!rb->full)
825     chopstx_cond_signal (&rb->space_available);
826   chopstx_mutex_unlock (&rb->m);
827 }
828
829 /**
830  * @brief  Get random word (32-bit) from NeuG.
831  * @detail With NEUG_KICK_FILLING, it wakes up RNG thread.
832  *         With NEUG_NO_KICK, it doesn't wake up RNG thread automatically,
833  *         it is needed to call neug_kick_filling later.
834  */
835 uint32_t
836 neug_get (int kick)
837 {
838   struct rng_rb *rb = &the_ring_buffer;
839   uint32_t v;
840
841   chopstx_mutex_lock (&rb->m);
842   while (rb->empty)
843     chopstx_cond_wait (&rb->data_available, &rb->m);
844   v = rb_del (rb);
845   if (kick)
846     chopstx_cond_signal (&rb->space_available);
847   chopstx_mutex_unlock (&rb->m);
848
849   return v;
850 }
851
852 int
853 neug_get_nonblock (uint32_t *p)
854 {
855   struct rng_rb *rb = &the_ring_buffer;
856   int r = 0;
857
858   chopstx_mutex_lock (&rb->m);
859   if (rb->empty)
860     {
861       r = -1;
862       chopstx_cond_signal (&rb->space_available);
863     }
864   else
865     *p = rb_del (rb);
866   chopstx_mutex_unlock (&rb->m);
867
868   return r;
869 }
870
871 int neug_consume_random (void (*proc) (uint32_t, int))
872 {
873   int i = 0;
874   struct rng_rb *rb = &the_ring_buffer;
875
876   chopstx_mutex_lock (&rb->m);
877   while (!rb->empty)
878     {
879       uint32_t v;
880
881       v = rb_del (rb);
882       proc (v, i);
883       i++;
884     }
885   chopstx_cond_signal (&rb->space_available);
886   chopstx_mutex_unlock (&rb->m);
887
888   return i;
889 }
890
891 void
892 neug_wait_full (void)
893 {
894   struct rng_rb *rb = &the_ring_buffer;
895
896   chopstx_mutex_lock (&rb->m);
897   while (!rb->full)
898     chopstx_cond_wait (&rb->data_available, &rb->m);
899   chopstx_mutex_unlock (&rb->m);
900 }
901
902 void
903 neug_fini (void)
904 {
905   rng_should_terminate = 1;
906   neug_get (1);
907   chopstx_join (rng_thread, NULL);
908   crc32_rv_stop ();
909 }
910
911 void
912 neug_mode_select (uint8_t mode)
913 {
914   if (neug_mode == mode)
915     return;
916
917   neug_wait_full ();
918
919   chopstx_mutex_lock (&mode_mtx);
920   neug_mode = mode;
921   neug_flush ();
922   chopstx_cond_wait (&mode_cond, &mode_mtx);
923   chopstx_mutex_unlock (&mode_mtx);
924
925   neug_wait_full ();
926   neug_flush ();
927 }