Version 1.0.2
[gnuk/neug.git] / README
diff --git a/README b/README
index 040d3c2..67d55ce 100644 (file)
--- a/README
+++ b/README
@@ -1,7 +1,7 @@
-NeuG - a random number generator implementation (for STM32F103)
+NeuG - a true random number generator implementation (for STM32F103)
 
-                                                          Version 0.01
-                                                            2011-11-14
+                                                         Version 1.0.2
+                                                            2015-07-18
                                                           Niibe Yutaka
                                      Free Software Initiative of Japan
 
@@ -21,41 +21,61 @@ My primary intention was to incorporate NeuG routines into Gnuk for
 random number generation, but the stand alone version could be useful
 too.
 
+Gnuk was named after my son who loved the pacifier when he was baby.
+NeuG was named after my daughter, but I don't say she is noisy.
+
 
 Release notes
 =============
 
-This is the second release of NeuG, which is experimental.  You can
-enjoy NeuG device, but I don't know how it is good yet.  Note that you
-need the snapshot of ChibiOS/RT (from trunk).  This means that it is
-covered by GNU GPL.  No "linking exception" option is available for
-the snapshot.
+This is the second minor release of NeuG, after 1.0.
+
+Basic features (generating random numbers) are stable, but newly added
+things like fraucheky (USB Mass Storage Class) support and reGNUal
+(firmware upgrad) support should be considered experimental.
+
+Note that you need Chopstx (the thread library) as external source
+code (instead of ChibiOS/RT).
 
 
 FAQ
 ===
 
 Q0: How NeuG device is good?
-A0: I believe it's good enough.  I evaluated it with rngtest of
-    RNG-tools, NIST STS test and Dieharder.
-    See the directory neug/test-results/.
-A0-dash: For better entropy device, you can get EntropyKey.
-         See http://www.entropykey.co.uk/
-A0-double-dash: STM32F2xx has built-in TRNG, it would be better for you.
+A0: I believe it's good enough if we compare to other hardware RNGs.
+    I evaluated it with rngtest of RNG-tools, NIST STS test suite and
+    Dieharder.  See the directory neug/test-results/.
+A0-dash: For better entropy device with embedded test, you could get
+         EntropyKey.  See http://www.entropykey.co.uk/
+A0-double-dash: STM32F2xx and STM32F4xx have built-in TRNG, it would
+                be better for you (although the quality of randomness
+                looks not that good).
 
 Q1: How fast is NeuG device?
-A1: It's something around 24 Ki-byte/second.
+A1: It's more than 80 kB/sec for conditioned output (by SHA-256), and
+    more than 280 kB/sec for CRC-32 filtered output (kB = 1000 byte).
 
 Q2: Should we check condition of noise sources?
-A2: Yes, we should.  It's not implemented yet, and I don't have an
-    good idea how to implement.  Please let me know your idea.
+A2: Yes, we should.  Three continuous tests are implemented, following
+    (Draft of) NIST SP 800-90B.  Those are Repetition Count Test,
+    Adaptive Proportion Test (for 64 samples), and another Adaptive
+    Proportion Test (for 4096 samples).  When it detects an error (it
+    is really rare, but it could occur even for normal condition), the
+    generation of random bits restart again.
+
+Q3: Conditioning with SHA-256 sounds over-kill.  Why not simpler?
+A3: It is because NIST SP 800-90B mandates something like that for
+    "full entropy source".  If your usage is as an entropy source for
+    RNG-tools to feed entropy to your kernel, or use for computer
+    simulations, I think that CRC-32 filtered output would be good
+    enough.
 
 
 Targets
 =======
 
-FST-01, STBee Mini, Olimex STM32-H103, CQ-STARM, and STBee are
-supported.
+FST-01, Olimex STM32-H103, and STM32 part of STM8S Discovery Kit,
+STBee Mini, and STBee are supported.
 
 
 Souce code
@@ -63,6 +83,11 @@ Souce code
 
 NeuG source code is under src/ directory.
 
+Note that SHA-256 hash function implementation, src/sha256.c, is based
+on the original implementation by Dr. Brian Gladman.  See:
+
+  http://gladman.plushost.co.uk/oldsite/cryptography_technology/sha/index.php
+
 
 License
 =======
@@ -74,12 +99,52 @@ It is distributed under GNU General Public Licence version 3 or later
 External source code
 ====================
 
-To build NeuG device, we need external source code.
+NeuG is distributed with external source code.
+
+* chopstx/ -- Chopstx, the RT Thread Library
+
+* [optional] fraucheky/ -- Fraucheky, the GPL container
+
+Those are available at:
+
+  https://anonscm.debian.org/cgit/gnuk/chopstx/
+
+
+USB vendor ID and product ID (USB device ID)
+============================================
+
+When you have a vender ID and assign a product ID for NeuG, edit the
+file NEUG_USB_DEVICE_ID and add an entry for yours.  In this case,
+please contact Niibe, so that it is listed to the file in the official
+release of the source code.
+
+When you are modifing NeuG and installing the binary to device, you
+should replace the vendor string to yours, so that users can see it's
+not by original vendor, and it is modified version.
+
+FSIJ allows you to use USB device ID of FSIJ (234b:0001) for devices
+with standalone NeuG under one of following conditions:
 
-* chibios/  -- ChibiOS/RT 2.3.x snapshot
+  * For everyone for experimental purpose:
 
-  Please get it from http://chibios.sourceforge.net/
-  We use ChibiOS/RT as the kernel for NeuG device.
+    - You must not distribute a binary with FSIJ's USB device ID, but
+      must use the binary by yourself only for your experiment.  Note
+      that "Distributing binary" includes distributing a device which
+      holds the binary.
+
+  * For individuals:
+
+    - No additional conditions.
+
+FSIJ could give companies or business entities "second source
+manufacturer" license to use USB device ID of FSIJ for devices with
+unmodified version of NeuG, provided they support Free Software and
+respect users' freedom for computing.  Please ask FSIJ for the
+license.
+
+Otherwise, companies which want to distribute NeuG devices, please use
+your own USB vendor ID and product ID.  Please replace vendor string
+and possibly product string to yours, when you modify NeuG.
 
 
 How to compile
@@ -87,7 +152,7 @@ How to compile
 
 You need GNU toolchain and newlib for 'arm-none-eabi' target.
 
-See http://github.com/uwehermann/summon-arm-toolchain/ for preparation
+See https://launchpad.net/gcc-arm-embedded for preparation
 of GNU Toolchain for 'arm-none-eabi' target.
 
 Change directory to `src':
@@ -96,30 +161,23 @@ Change directory to `src':
 
 Then, run `configure':
 
-  $ ./configure
+  $ ./configure --vidpid=<VID:PID>
+
+Here, you need to specify USB vendor ID and product ID.  For FSIJ's,
+it's: --vidpid=234b:0001 .  Please read section 'USB vendor ID and
+product ID' above.
+
 
 Type:
 
   $ make
 
-Then, we will have "neug.elf".
+Then, we will have "neug.elf" under the "build" directory.
 
 
 How to install
 ==============
 
-STBee Mini and STBee
---------------------
-
-Reset the board with "USER" switch pushed.  Type following to write
-to flash:
-
-  # cd ../tool
-  # ./dfuse.py ../src/neug.hex
-
-Then, reset the board.
-
-
 Olimex STM32-H103 board
 -----------------------
 
@@ -127,7 +185,7 @@ If you are using Olimex JTAG-Tiny, type following to invoke OpenOCD:
 
   $ openocd -f interface/olimex-jtag-tiny.cfg -f board/olimex_stm32_h103.cfg
 
-Then, with another terminal, type following to write "gnuk.elf" to Flash ROM:
+Then, with another terminal, type following to write "neug.elf" to Flash ROM:
 
   $ telnet localhost 4444
   > reset halt
@@ -137,89 +195,172 @@ Then, with another terminal, type following to write "gnuk.elf" to Flash ROM:
   $ 
 
 
+Flying Stone Tiny 01 and STM8S Discovery Kit
+--------------------------------------------
 
-Use of NeuG device
-==================
-
-It is USB CDC ACM device.  On GNU/Linux, it can be /dev/ttyACM0 or like.
-Before using /dev/ttyACM0, you need to configure its TTY discipline.
+If you are using Flying Stone Tiny 01, you need a SWD writer.
 
-  $ stty -F /dev/ttyACM0 -echo raw
+OpenOCD 0.6.1 or newer supports ST-Link/V2.  With that we can do:
 
-Then, you can use output of /dev/ttyACM0.
+  $ openocd -f interface/stlink-v2.cfg -f target/stm32f1x_stlink.cfg
 
+Then, with another terminal, type following to write "neug.elf" to Flash ROM:
 
+  $ telnet localhost 4444
+  > reset halt
+  > flash write_image erase neug.elf
+  > reset
+  > exit
+  $ 
 
-Structure of the NeuG
-=====================
+Note that OpenOCD (as of 0.7.0) doesn't support option bytes handling yet.
 
-NeuG consists of two RNG, one is the RNG based on physical noise, and
-another is Pseudo RNG.  Outputs of RNGs are exclusive or-ed
-to generate final output.  Here is a figure of the circuit.
+You can also use tool/stlinkv2.py in Gnuk.
 
 
-                        Entropy Pool (32-byte)
-                       +----------------+
-                       |                |
-                       | 8 parallel     |   8  ||<-- [ Vref ]
-                 +---- |  CRC-32        |<--/--||
-                 |     | shift registers|      ||<-- [ Temperature Sensor ]
-                 |     |                |
-                 |     |                |<-----/------ SysTick
-                 |     +----------------+      1
-                 |     Physical-based RNG
-                 / 8
-                 |
-                 v
-               ===== Output function
-                 |
-                 / 32
-                 |
-                 v
-        Random Number Output       
-               
+Use of NeuG device
+==================
 
+It is USB CDC ACM device.  On GNU/Linux, it can be /dev/ttyACM0 or like.
+Before using /dev/ttyACM0, you need to configure its TTY discipline.
 
-STM32F103 has built-in Vref (voltage reference) and Temperature Sensor
-which are connected to A/D converter of 12-bit resolution.  NeuG uses
-LSBs of A/D converter's outputs as entropy sources.
+  $ stty -F /dev/ttyACM0 -echo raw
 
-By four samplings of two channels, we can get 8-bit, as we can get two
-bits (LSB of Vref and LSB of Temperature Sensor) from one sampling.
-We put this 8-bit noise to entropy pool.  Entropy pool consist of
-16-byte buffer, which is 8 parallel CRC-32 shift registers.  The noise
-source is not "white", but it can be used as RNG with this CRC-32
-filter.  An experiment shows that raw noise source of LSBs has more
-than 6 bit/byte entropy.  So, we put 6-byte (36-bit) to get 4-byte
-(32-bit) output.
+Then, you can use output of /dev/ttyACM0.
 
-I don't know how stable the noise source is.
+When you want to get CRC-32 filtered output, you can configure:
+
+  $ stty -F /dev/ttyACM0 parenb parodd
+
+for raw data after filter.  For direct raw data of ADC samples,
+configure:
+
+  $ stty -F /dev/ttyACM0 parenb -parodd
+
+And you can get SHA-256 conditioned output by configuring:
+
+  $ stty -F /dev/ttyACM0 -parenb
+
+
+Structure of NeuG
+=================
+
+Here is a figure of the circuit.
+
+                                         Noise sources
+
+                              /|<---+--- [ Analog input Vref ]
+                16           | |<-+-|--- [ Analog input Temperature Sensor ]
+             +---/-[ADC1] <==| |  | |
+             |               | |<-+ |
+      +-+    |                \|<---+
+      | |<---+                |
+ +----| |          MUX CTL >--+
+ |    | |<---+
+ |    +-+    |                /|
+ |           |  16           | |<------- [ Analog input 0 ] (pull up to Vdd)
+ |           +---/-[ADC2] <==| |
+ |                           | |<------- [ Analog input 1 ] (pull up to Vdd)
+ |                            \|
+ |                            |
+ |                 MUX CTL >--+
+ |
+ +------------------+         <============ (*1)
+                    |
+                    / 32
+                    |
+                    | Put 4 times to output 32-bit
+                    V
+            [ CRC-32 filter ]
+                    |
+                    |           Put 35 times to output 1120-bit
+                    +---------------------------------+         <====== (*2)
+                                                      |
+                                                      / 32
+                                                      |
+                                                      V
+                                              [ Entropy Buffer ]
+                                                      |          
+            +--------------+                          |
+            |              |                          |
+            | Conditioning |            1120          |
+            | Component    |<------------/------------+
+            |              |
+      +-----|  Hash_df     |
+      |     |    by        |
+      |     |  SHA-256     |
+      |     |              |  128
+      |     |              |<--/--+
+      |     +--------------+      |
+      |                           |
+      +---------------------------+
+      |
+      / 256
+      |
+      v
+ Random Number Output <========== (*3)
+
+
+
+Specifying by "stty", you can get (*3) with -parenb, (*2) with parenb
+parodd, and (*1) with parenb -parodd.
+
+STM32F103 has two built-in A/D converters.  NeuG uses A/D converters'
+outputs as entropy sources.  It is considered noise of quantization
+error, plus noise from power supply, etc.
+
+We chose four analog input sources of: built-in voltage reference,
+temperature sensor and two analog inputs which are pull-up to Vdd.
+
+By a single sampling of two channels, we get 32-bit (not all 32-bit is
+valid, as a A/D converter resolution is 12-bit only).  We take four
+sampling of combinations: (Vref, IN0), (Temp, IN1), (Vref, IN1), and
+(Temp, IN0).  Those 32-bit * 4 is fed into CRC32 filter.
+
+We use STM32F103's CRC32 calculation unit as a kind of filter.  We put
+output of A/D converters into CRC32 calculation unit, four times, to
+get 4-byte output.
+
+Output of CRC32 filter is collected 35 times, and it becomes 1120-bit
+(32 * 35).  This is the noise source bits.
+
+We put this 1120-bit and half of previous output (128-bit) to
+conditioning component.
+
+Conditioning Component is implemented by Hash_df function which is
+composed by SHA-256.  Since the noise source is not "white", signal is
+whiten by this Conditioning Component.
+
+My experience with STM32F103 and NeuG shows that noise source is
+stable at least for a year.
 
 
 Test results
 ============
 
 See files under the directory test-results, for test result of
-"rngtest" in rng-tools, and NIST STS 2.1.1.  Currently, I am testing
-NeuG device by dieharder, but it seems that it takes a month or so (8
-days passed, it's running RGB Bit distribution test ntup=9).
+"rngtest" in rng-tools, NIST STS 2.1.1, Dieharder, and PractRand 0.92.
 
+I collect 110 files of 125MB (= 13750MB), and use scripts to invoke
+dieharder and rngtest.  Collecting 110 files, it took more than two
+days.
 
-Read-only Git Repository
-========================
+For NIST STS 2.1.1, I used only 10 files of size 125MB.
 
-You can browse at http://www.gniibe.org/gitweb?p=neug.git;a=summary
 
-You can get it by:
+Git Repository
+==============
 
-  $ git clone git://www.gniibe.org/neug.git/
+NeuG is available in the Gnuk repository at:
 
-or
+    https://anonscm.debian.org/cgit/gnuk/gnuk/
 
-  $ git clone http://www.gniibe.org/git/neug.git/
+You can get it by:
 
+    $ git clone git://anonscm.debian.org/gnuk/gnuk/neug.git
 
-I put ChibiOS/RT as a submodule of Git.  Please do this:
+
+I put Chopstx and Fraucheky as a submodules of Git.  Please do this:
 
   $ git submodule init
   $ git submodule update
@@ -229,36 +370,14 @@ I put ChibiOS/RT as a submodule of Git.  Please do this:
 Information on the Web
 ======================
 
-Not yet.
-
-
-Known Problem(s)
-================
+Please see the FST-01 support pages:
 
-On STBee (high-density device of STM32), sometimes, I observed stall
-of generation of random number, after two hours, two hours and half,
-etc.
+    http://www.gniibe.org/category/fst-01.html
 
-Identified somehow.  When it stalls, status is like this (by OpenOCD, GDB):
+Please consider to join Gnuk-users mailing list:
 
-       adcp->state = ADC_ACTIVE
-       main thread: wait on condition variable at neug_get
-       rng thread: holding rb->m, event wait at rng_gen for ADC_DATA_AVAILABLE
-       idle thread: running
-       LED thread: event wait
+    https://lists.alioth.debian.org/mailman/listinfo/gnuk-users
 
-Kicking DMA controller again (note: ADC is continuous mode, no need to
-kick), by doing following:
-
-  (gdb) set ADCD1.dmastp->channel->CCR = 0
-  (gdb) set ADCD1.dmastp->channel->CNDTR = 8
-  (gdb) set ADCD1.dmastp->channel->CCR = 0x258f
-  (gdb) x/x 0x40020000         # DMA interrupt status register (DMA_ISR)
-  0x40020000:  0x00000007
-
-Then, it goes again.
-
-Lost DMA finish interrupt?
 
 
 Your Contributions
@@ -266,4 +385,10 @@ Your Contributions
 
 FSIJ welcomes your contributions.  Please assign your copyright
 to FSIJ (if possible).
+
+
+Foot note
+==========
+
+If NeuG had a family name, it must be Kunisada.
 --