An intermezzo: for Denis's benefit, let's compute a table of digraph frequencies in Currier notation. cat .voyn.fsg \ | sed \ -e 's/HZ/q/g' \ -e 's/PZ/w/g' \ -e 's/DZ/x/g' \ -e 's/FZ/y/g' \ -e 's/IIIE/1/g' \ -e 's/IIE/h/g' \ -e 's/IE/g/g' \ -e 's/IIIR/0/g' \ -e 's/IIR/t/g' \ -e 's/IR/u/g' \ -e 's/IIIL/3/g' \ -e 's/IIIK/5/g' \ -e 's/IIK/l/g' \ -e 's/IK/k/g' \ | tr 'GTSHPDFLK' '9SZPBFVDJ' \ | tr 'qwxyhgtulk' 'QWXYHGTULK' \ > .voyn.cur cat .voyn.cur \ | tr -d '/= ' \ | tr 'IGHTUDL56' '*********' \ | count-digraph-freqs \ -vshowentropy=1 \ -vchars='PFBVQXWYSZC2RNMJ4AEO89IGH1TU0D3KL567' Digraph counts: TT P F B V Q X W Y S Z C 2 R N M J 4 A E O 8 9 * ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- P 852 . 1 . . . . . . 62 26 341 1 . . 1 . . 259 3 62 3 88 5 . F 1993 . . . . . . . . 72 30 869 . 1 . 2 . . 736 11 95 3 170 4 . B 195 . . . . . . . . 92 25 4 . . . . . . 13 . 51 3 7 . . V 32 . . . . . . . . 24 2 1 . . . . . . 2 . 3 . . . . Q 121 . . . . . . . . . . 31 1 . . . . . 3 . 5 6 74 . 1 X 199 . . . . . . . . 2 1 53 . . . . . . 5 . 3 10 125 . . W 21 . . . . . . . . . . 9 . . . . . . 2 . 2 3 5 . . Y 4 . . . . . . . . . . 2 . . . . . . . . . 2 . . . S 1453 8 17 4 1 31 66 8 2 1 3 1053 6 4 . . . . 27 13 49 96 62 2 . Z 1078 6 6 . . 19 39 . . 3 . 866 1 1 . . . 2 23 5 38 41 28 . . C 4268 38 79 13 3 39 69 4 . 15 9 953 45 8 . . . 2 53 4 175 1898 844 14 3 2 365 3 4 1 . 1 1 . . 18 19 2 2 . . . . 3 150 2 133 4 10 1 11 R 883 2 5 3 . 1 1 1 1 123 145 4 4 1 . . . 25 147 3 272 22 54 6 63 N 503 1 . . . 3 . 2 . 117 104 3 5 1 . . . 19 9 2 169 30 9 . 29 M 438 . 2 . . . 2 . 1 114 89 1 7 1 . . . 16 4 2 127 25 13 1 33 J 53 . . . . . . . . . . . 1 . . . . . . 2 2 . . . 48 4 1676 1 5 2 2 5 1 . . . 1 10 2 . . . . 1 . . 1646 . . . . A 1952 . . 1 . . . 1 . . . . . 405 495 414 43 . . 552 . . . 41 . E 2344 64 310 15 8 2 1 1 . 501 344 19 41 28 . . 2 96 69 41 377 174 114 1 136 O 3964 571 1434 67 13 9 14 1 . 10 10 19 7 305 7 20 7 13 4 1349 15 41 20 19 9 8 2740 1 8 . 1 . . . . 41 43 15 2 2 . . . 21 417 14 98 4 2059 2 12 9 3781 107 115 17 2 9 3 2 . 233 190 6 101 121 . . 1 1277 18 312 556 266 34 9 402 * 113 . 1 1 . . 1 . . 8 14 4 1 1 1 1 . 3 11 3 28 5 6 8 16 763 50 6 71 2 2 1 1 . 17 23 3 138 4 . . . 198 . 26 58 104 59 . . ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- TOT 29791 852 1993 195 32 121 199 21 4 1453 1078 4268 365 883 503 438 53 1676 1952 2344 3964 2740 3781 113 763 Next-symbol probability (× 99): TT P F B V Q X W Y S Z C 2 R N M J 4 A E O 8 9 * -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- P 99 . . . . . . . . 7 3 40 . . . . . . 30 . 7 . 10 1 . F 99 . . . . . . . . 4 1 43 . . . . . . 37 1 5 . 8 . . B 99 . . . . . . . . 47 13 2 . . . . . . 7 . 26 2 4 . . V 99 . . . . . . . . 74 6 3 . . . . . . 6 . 9 . . . . Q 99 . . . . . . . . . . 25 1 . . . . . 2 . 4 5 61 . 1 X 99 . . . . . . . . 1 . 26 . . . . . . 2 . 1 5 62 . . W 99 . . . . . . . . . . 42 . . . . . . 9 . 9 14 24 . . Y 99 . . . . . . . . . . 50 . . . . . . . . . 50 . . . S 99 1 1 . . 2 4 1 . . . 72 . . . . . . 2 1 3 7 4 . . Z 99 1 1 . . 2 4 . . . . 80 . . . . . . 2 . 3 4 3 . . C 99 1 2 . . 1 2 . . . . 22 1 . . . . . 1 . 4 44 20 . . 2 99 1 1 . . . . . . 5 5 1 1 . . . . 1 41 1 36 1 3 . 3 R 99 . 1 . . . . . . 14 16 . . . . . . 3 16 . 30 2 6 1 7 N 99 . . . . 1 . . . 23 20 1 1 . . . . 4 2 . 33 6 2 . 6 M 99 . . . . . . . . 26 20 . 2 . . . . 4 1 . 29 6 3 . 7 J 99 . . . . . . . . . . . 2 . . . . . . 4 4 . . . 90 4 99 . . . . . . . . . . 1 . . . . . . . . 97 . . . . A 99 . . . . . . . . . . . . 21 25 21 2 . . 28 . . . 2 . E 99 3 13 1 . . . . . 21 15 1 2 1 . . . 4 3 2 16 7 5 . 6 O 99 14 36 2 . . . . . . . . . 8 . . . . . 34 . 1 . . . 8 99 . . . . . . . . 1 2 1 . . . . . 1 15 1 4 . 74 . . 9 99 3 3 . . . . . . 6 5 . 3 3 . . . 33 . 8 15 7 1 . 11 * 99 . 1 1 . . 1 . . 7 12 4 1 1 1 1 . 3 10 3 25 4 5 7 14 99 6 1 9 . . . . . 2 3 . 18 1 . . . 26 . 3 8 13 8 . . -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- TOT 99 3 7 1 0 0 1 0 0 5 4 14 1 3 2 1 0 6 6 8 13 9 13 0 3 Previous-symbol probability (× 99): TT P F B V Q X W Y S Z C 2 R N M J 4 A E O 8 9 * -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- P 3 . . . . . . . . 4 2 8 . . . . . . 13 . 2 . 2 4 . F 7 . . . . . . . . 5 3 20 . . . . . . 37 . 2 . 4 4 . B 1 . . . . . . . . 6 2 . . . . . . . 1 . 1 . . . . V 0 . . . . . . . . 2 . . . . . . . . . . . . . . . Q 0 . . . . . . . . . . 1 . . . . . . . . . . 2 . . X 1 . . . . . . . . . . 1 . . . . . . . . . . 3 . . W 0 . . . . . . . . . . . . . . . . . . . . . . . . Y 0 . . . . . . . . . . . . . . . . . . . . . . . . S 5 1 1 2 3 25 33 38 50 . . 24 2 . . . . . 1 1 1 3 2 2 . Z 4 1 . . . 16 19 . . . . 20 . . . . . . 1 . 1 1 1 . . C 14 4 4 7 9 32 34 19 . 1 1 22 12 1 . . . . 3 . 4 69 22 12 . 2 1 . . 1 . 1 . . . 1 2 . 1 . . . . . 8 . 3 . . 1 1 R 3 . . 2 . 1 . 5 25 8 13 . 1 . . . . 1 7 . 7 1 1 5 8 N 2 . . . . 2 . 9 . 8 10 . 1 . . . . 1 . . 4 1 . . 4 M 1 . . . . . 1 . 25 8 8 . 2 . . . . 1 . . 3 1 . 1 4 J 0 . . . . . . . . . . . . . . . . . . . . . . . 6 4 6 . . 1 6 4 . . . . . . 1 . . . . . . . 41 . . . . A 6 . . 1 . . . 5 . . . . . 45 97 94 80 . . 23 . . . 36 . E 8 7 15 8 25 2 . 5 . 34 32 . 11 3 . . 4 6 3 2 9 6 3 1 18 O 13 66 71 34 40 7 7 5 . 1 1 . 2 34 1 5 13 1 . 57 . 1 1 17 1 8 9 . . . 3 . . . . 3 4 . 1 . . . . 1 21 1 2 . 54 2 2 9 13 12 6 9 6 7 1 9 . 16 17 . 27 14 . . 2 75 1 13 14 10 1 8 52 * 0 . . 1 . . . . . 1 1 . . . . . . . 1 . 1 . . 7 2 3 6 . 36 6 2 . 5 . 1 2 . 37 . . . . 12 . 1 1 4 2 . . -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 Symbol entropy: 3.804 Next-symbol entropy: TT P F B V Q X W Y S Z C 2 R N M J 4 A E O 8 9 * ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- P 2.228 . 0.011 . . . . . . 0.275 0.154 0.529 0.011 . . 0.011 . . 0.522 0.029 0.275 0.029 0.338 0.044 . F 1.918 . . . . . . . . 0.173 0.091 0.522 . 0.005 . 0.010 . . 0.531 0.041 0.209 0.014 0.303 0.018 . B 2.038 . . . . . . . . 0.511 0.380 0.115 . . . . . . 0.260 . 0.506 0.093 0.172 . . V 1.288 . . . . . . . . 0.311 0.250 0.156 . . . . . . 0.250 . 0.320 . . . . Q 1.589 . . . . . . . . . . 0.503 0.057 . . . . . 0.132 . 0.190 0.215 0.434 . 0.057 X 1.476 . . . . . . . . 0.067 0.038 0.508 . . . . . . 0.134 . 0.091 0.217 0.421 . . W 2.064 . . . . . . . . . . 0.524 . . . . . . 0.323 . 0.323 0.401 0.493 . . Y 1.000 . . . . . . . . . . 0.500 . . . . . . . . . 0.500 . . . S 1.740 0.041 0.075 0.023 0.007 0.118 0.203 0.041 0.013 0.007 0.018 0.337 0.033 0.023 . . . . 0.107 0.061 0.165 0.259 0.194 0.013 . Z 1.313 0.042 0.042 . . 0.103 0.173 . . 0.024 . 0.254 0.009 0.009 . . . 0.017 0.118 0.036 0.170 0.179 0.137 . . C 2.283 0.061 0.107 0.025 0.007 0.062 0.096 0.009 . 0.029 0.019 0.483 0.069 0.017 . . . 0.005 0.079 0.009 0.189 0.520 0.462 0.027 0.007 2 2.262 0.057 0.071 0.023 . 0.023 0.023 . . 0.214 0.222 0.041 0.041 . . . . 0.057 0.527 0.041 0.531 0.071 0.142 0.023 0.152 R 2.867 0.020 0.042 0.028 . 0.011 0.011 0.011 0.011 0.396 0.428 0.035 0.035 0.011 . . . 0.146 0.431 0.028 0.523 0.133 0.247 0.049 0.272 N 2.608 0.018 . . . 0.044 . 0.032 . 0.489 0.470 0.044 0.066 0.018 . . . 0.179 0.104 0.032 0.529 0.243 0.104 . 0.237 M 2.676 . 0.036 . . . 0.036 . 0.020 0.505 0.467 0.020 0.095 0.020 . . . 0.174 0.062 0.036 0.518 0.236 0.151 0.020 0.281 J 0.594 . . . . . . . . . . . 0.108 . . . . . . 0.178 0.178 . . . 0.129 4 0.180 0.006 0.025 0.012 0.012 0.025 0.006 . . . 0.006 0.044 0.012 . . . . 0.006 . . 0.026 . . . . A 2.212 . . 0.006 . . . 0.006 . . . . . 0.471 0.502 0.474 0.121 . . 0.515 . . . 0.117 . E 3.345 0.142 0.386 0.047 0.028 0.009 0.005 0.005 . 0.476 0.406 0.056 0.102 0.076 . . 0.009 0.189 0.150 0.102 0.424 0.279 0.212 0.005 0.238 O 2.324 0.403 0.531 0.099 0.027 0.020 0.029 0.003 . 0.022 0.022 0.037 0.016 0.285 0.016 0.039 0.016 0.027 0.010 0.529 0.030 0.068 0.039 0.037 0.020 8 1.317 0.004 0.025 . 0.004 . . . . 0.091 0.094 0.041 0.008 0.008 . . . 0.054 0.413 0.039 0.172 0.014 0.310 0.008 0.034 9 3.120 0.146 0.153 0.035 0.006 0.021 0.008 0.006 . 0.248 0.217 0.015 0.140 0.159 . . 0.003 0.529 0.037 0.297 0.407 0.269 0.061 0.021 0.344 * 3.434 . 0.060 0.060 . . 0.060 . . 0.270 0.373 0.171 0.060 0.060 0.060 0.060 . 0.139 0.327 0.139 0.499 0.199 0.225 0.270 0.399 3.125 0.258 0.055 0.319 0.022 0.022 0.013 0.013 . 0.122 0.152 0.031 0.446 0.040 . . . 0.505 . 0.166 0.283 0.392 0.286 . . ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- TOT 2.219 0.147 0.261 0.047 0.011 0.032 0.048 0.007 0.002 0.213 0.173 0.402 0.078 0.150 0.099 0.090 0.016 0.234 0.258 0.289 0.387 0.317 0.378 0.031 0.135 Previous-symbol entropy: TT P F B V Q X W Y S Z C 2 R N M J 4 A E O 8 9 * ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- P 0.147 . 0.005 . . . . . . 0.194 0.130 0.291 0.023 . . 0.020 . . 0.387 0.012 0.094 0.011 0.126 0.199 . F 0.261 . . . . . . . . 0.215 0.144 0.468 . 0.011 . 0.036 . . 0.531 0.036 0.129 0.011 0.201 0.171 . B 0.047 . . . . . . . . 0.252 0.126 0.009 . . . . . . 0.048 . 0.081 0.011 0.017 . . V 0.011 . . . . . . . . 0.098 0.017 0.003 . . . . . . 0.010 . 0.008 . . . . Q 0.032 . . . . . . . . . . 0.052 0.023 . . . . . 0.014 . 0.012 0.019 0.111 . 0.013 X 0.048 . . . . . . . . 0.013 0.009 0.079 . . . . . . 0.022 . 0.008 0.030 0.163 . . W 0.007 . . . . . . . . . . 0.019 . . . . . . 0.010 . 0.006 0.011 0.013 . . Y 0.002 . . . . . . . . . . 0.005 . . . . . . . . . 0.008 . . . S 0.213 0.063 0.059 0.115 0.156 0.503 0.528 0.530 0.500 0.007 0.024 0.498 0.097 0.035 . . . . 0.085 0.042 0.078 0.169 0.097 0.103 . Z 0.173 0.050 0.025 . . 0.419 0.461 . . 0.018 . 0.467 0.023 0.011 . . . 0.012 0.075 0.019 0.064 0.091 0.052 . . C 0.402 0.200 0.185 0.260 0.320 0.526 0.530 0.456 . 0.068 0.058 0.483 0.372 0.061 . . . 0.012 0.141 0.016 0.199 0.367 0.483 0.373 0.031 2 0.078 0.029 0.018 0.039 . 0.057 0.038 . . 0.078 0.103 0.005 0.041 . . . . 0.016 0.284 0.009 0.164 0.014 0.023 0.060 0.088 R 0.150 0.021 0.022 0.093 . 0.057 0.038 0.209 0.500 0.302 0.389 0.009 0.071 0.011 . . . 0.090 0.281 0.012 0.265 0.056 0.088 0.225 0.297 N 0.099 0.011 . . . 0.132 . 0.323 . 0.293 0.325 0.007 0.085 0.011 . . . 0.073 0.036 0.009 0.194 0.071 0.021 . 0.179 M 0.090 . 0.010 . . . 0.067 . 0.500 0.288 0.297 0.003 0.109 0.011 . . . 0.064 0.018 0.009 0.159 0.062 0.028 0.060 0.196 J 0.016 . . . . . . . . . . . 0.023 . . . . . . 0.009 0.006 . . . 0.251 4 0.234 0.011 0.022 0.068 0.250 0.190 0.038 . . . 0.009 0.020 0.041 . . . . 0.006 . . 0.527 . . . . A 0.258 . . 0.039 . . . 0.209 . . . . . 0.516 0.023 0.077 0.245 . . 0.491 . . . 0.531 . E 0.289 0.281 0.418 0.285 0.500 0.098 0.038 0.209 . 0.530 0.526 0.035 0.354 0.158 . . 0.178 0.236 0.170 0.102 0.323 0.253 0.152 0.060 0.443 O 0.387 0.387 0.342 0.530 0.528 0.279 0.269 0.209 . 0.049 0.063 0.035 0.109 0.530 0.086 0.203 0.386 0.054 0.018 0.459 0.030 0.091 0.040 0.433 0.076 8 0.317 0.011 0.032 . 0.156 . . . . 0.145 0.185 0.029 0.041 0.020 . . . 0.079 0.476 0.044 0.132 0.014 0.477 0.103 0.094 9 0.378 0.376 0.237 0.307 0.250 0.279 0.091 0.323 . 0.423 0.441 0.013 0.513 0.393 . . 0.108 0.299 0.062 0.387 0.397 0.327 0.061 0.291 0.487 * 0.031 . 0.005 0.039 . . 0.038 . . 0.041 0.081 0.009 0.023 0.011 0.018 0.020 . 0.016 0.042 0.012 0.050 0.017 0.015 0.270 0.117 0.135 0.240 0.025 0.531 0.250 0.098 0.038 0.209 . 0.075 0.118 0.007 0.531 0.035 . . . 0.364 . 0.072 0.089 0.179 0.094 . . ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- TOT 2.219 1.681 1.405 2.305 2.411 2.639 2.176 2.678 1.500 3.091 3.046 2.547 2.483 1.815 0.126 0.356 0.917 1.323 2.713 1.740 3.015 1.809 2.262 2.879 2.273 Denis would like me to remove the paragraph-initial lines. Testing the hypothesis that P,F are (often) HOE,DOE cat .voyn.cur \ | tr -d '/= ' \ | tr 'IGHTUDL56' '*********' \ | sed \ -e 's/POE/b/g' \ -e 's/FOE/v/g' \ | count-digraph-freqs \ -vshowentropy=1 \ -vchars='PFBVbvQXWYSZC2RNMJ4AEO89IGH1TU0D3KL567' Next-symbol probability (× 99): P F B V b v Q X W Y S Z C 2 R N M J 4 A E O 8 9 * -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- P . . . . . . . . . . 8 3 42 . . . . . . 32 . 2 . 11 1 . F . . . . . . . . . . 4 2 44 . . . . . . 38 1 2 . 9 . . B . . . . . . . . . . 47 13 2 . . . . . . 7 . 26 2 4 . . V . . . . . . . . . . 74 6 3 . . . . . . 6 . 9 . . . . R . . . . . . . . . . 14 16 . . . . . . 3 16 . 30 2 6 1 7 N . . . . . . 1 . . . 23 20 1 1 . . . . 4 2 . 33 6 2 . 6 M . . . . . . . . . . 26 20 . 2 . . . . 4 1 . 29 6 3 . 7 E 3 13 1 . . . . . . . 21 14 1 2 1 . . . 4 3 2 16 7 5 . 6 O 14 36 2 . 1 1 . . . . . . . . 8 . 1 . . . 32 . 1 1 . . A . . . . . . . . . . . . . . 21 25 21 2 . . 28 . . . 2 . 9 3 3 . . . . . . . . 6 5 . 3 3 . . . 33 . 8 15 7 1 . 11 b 7 9 2 2 . . . . . . 20 18 . . . . . . 4 . . 24 13 . . . v . 6 2 . . . . . . . 32 21 . . . . . . . . . 24 13 . . 2 Q . . . . . . . . . . . . 25 1 . . . . . 2 . 4 5 61 . 1 X . . . . . . . . . . 1 . 26 . . . . . . 2 . 1 5 62 . . W . . . . . . . . . . . . 42 . . . . . . 9 . 9 14 24 . . Y . . . . . . . . . . . . 50 . . . . . . . . . 50 . . . S . 1 . . . . 2 4 1 . . . 72 . . . . . . 2 1 3 7 4 . . Z . 1 . . . . 2 4 . . . . 80 . . . . . . 2 . 3 4 3 . . C 1 2 . . . . 1 2 . . . . 22 1 . . . . . 1 . 4 44 20 . . 2 1 1 . . . . . . . . 5 5 1 1 . . . . 1 41 1 36 1 3 . 3 J . . . . . . . . . . . . . 2 . . . . . . 4 4 . . . 90 4 . . . . . . . . . . . . 1 . . . . . . . . 97 . . . . 8 . . . . . . . . . . 1 2 1 . . . . . 1 15 1 4 . 74 . . * . 1 1 . . . . 1 . . 7 12 4 1 1 1 1 . 3 10 3 25 4 5 7 14 5 1 9 . 1 . . . . . 2 3 . 18 1 . . . 26 . 3 8 13 8 . . -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- Previous-symbol probability (× 99): P F B V b v Q X W Y S Z C 2 R N M J 4 A 9 E O 8 * -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- P . . . . . . . . . . 4 2 8 . . . . . . 13 2 . . . 4 . F . . . . . . . . . . 5 3 20 . . . . . . 37 4 . 1 . 4 . B . . . . . . . . . . 6 2 . . . . . . . 1 . . 1 . . . V . . . . . . . . . . 2 . . . . . . . . . . . . . . . b . . 1 3 . . . . . . 1 1 . . . . . . . . . . . . . . v . . 1 . . . . . . . 1 1 . . . . . . . . . . . . . . Q . . . . . . . . . . . . 1 . . . . . . . 2 . . . . . X . . . . . . . . . . . . 1 . . . . . . . 3 . . . . . W . . . . . . . . . . . . . . . . . . . . . . . . . . Y . . . . . . . . . . . . . . . . . . . . . . . . . . S 1 1 2 3 2 . 25 33 38 50 . . 24 2 . . . . . 1 2 1 1 3 2 . Z . . . . 7 . 16 19 . . . . 20 . . . . . . 1 1 . 1 1 . . C 5 4 7 9 . . 32 34 19 . 1 1 22 12 1 . . . . 3 22 . 4 69 12 . 2 . . 1 . 2 . 1 . . . 1 2 . 1 . . . . . 8 . . 3 . 1 1 R . . 2 . . 2 1 . 5 25 8 13 . 1 . . . . 1 7 1 . 7 1 5 8 N . . . . . . 2 . 9 . 8 10 . 1 . . . . 1 . . . 4 1 . 4 M . . . . . . . 1 . 25 8 8 . 2 . . . . 1 . . . 3 1 1 4 J . . . . . . . . . . . . . . . . . . . . . . . . . 6 4 . . 1 6 . 2 4 . . . . . . 1 . . . . . . . . 42 . . . A . . 1 . . . . . 5 . . . . . 45 97 94 80 . . . 24 . . 36 . E 7 15 7 22 7 11 2 . 5 . 32 30 . 11 3 . . 4 6 3 3 2 9 6 1 18 O 67 71 34 40 48 65 7 7 5 . 1 1 . 2 34 1 5 13 1 . 1 55 . 1 17 1 8 . . . 3 . . . . . . 3 4 . 1 . . . . 1 21 54 1 3 . 2 2 9 13 5 9 6 11 15 7 1 9 . 16 17 . 27 14 . . 2 75 1 1 14 14 10 8 52 * . . 1 . . . . . . . 1 1 . . . . . . . 1 . . 1 . 7 2 5 . 36 6 22 4 2 . 5 . 1 2 . 37 . . . . 12 . 2 1 1 4 . . -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- Perhaps they are POE8/HOE8: cat .voyn.cur \ | tr -d '/= ' \ | tr 'IGHTUDL56' '*********' \ | sed \ -e 's/POE8/b/g' \ -e 's/FOE8/v/g' \ | count-digraph-freqs \ -vshowentropy=1 \ -vchars='PFBVbvQXWYSZC2RNMJ4AEO89IGH1TU0D3KL567' Digraph counts: TT P F B V b v Q X W Y S Z C 2 R N M J 4 A E O 8 9 * ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- P 846 . 1 . . . . . . . . 62 26 341 1 . . 1 . . 259 3 56 3 88 5 . F 1986 . . . . . . . . . . 72 30 869 . 1 . 2 . . 736 11 88 3 170 4 . B 195 . . . . . . . . . . 92 25 4 . . . . . . 13 . 51 3 7 . . V 32 . . . . . . . . . . 24 2 1 . . . . . . 2 . 3 . . . . b 6 . . . . . . . . . . . . . . . . . . . 2 . 1 . 3 . . v 7 . . . . . . . . . . . . . . . . . . . 1 . . . 6 . . Q 121 . . . . . . . . . . . . 31 1 . . . . . 3 . 5 6 74 . 1 X 199 . . . . . . . . . . 2 1 53 . . . . . . 5 . 3 10 125 . . W 21 . . . . . . . . . . . . 9 . . . . . . 2 . 2 3 5 . . Y 4 . . . . . . . . . . . . 2 . . . . . . . . . 2 . . . S 1453 8 17 4 1 . . 31 66 8 2 1 3 1053 6 4 . . . . 27 13 49 96 62 2 . Z 1078 6 6 . . . . 19 39 . . 3 . 866 1 1 . . . 2 23 5 38 41 28 . . C 4268 38 79 13 3 . . 39 69 4 . 15 9 953 45 8 . . . 2 53 4 175 1898 844 14 3 2 365 3 4 1 . . . 1 1 . . 18 19 2 2 . . . . 3 150 2 133 4 10 1 11 R 883 2 5 3 . . . 1 1 1 1 123 145 4 4 1 . . . 25 147 3 272 22 54 6 63 N 503 1 . . . . . 3 . 2 . 117 104 3 5 1 . . . 19 9 2 169 30 9 . 29 M 438 . 2 . . . . . 2 . 1 114 89 1 7 1 . . . 16 4 2 127 25 13 1 33 J 53 . . . . . . . . . . . . . 1 . . . . . . 2 2 . . . 48 4 1676 1 5 2 2 . . 5 1 . . . 1 10 2 . . . . 1 . . 1646 . . . . A 1952 . . 1 . . . . . 1 . . . . . 405 495 414 43 . . 552 . . . 41 . E 2331 64 309 15 8 . 1 2 1 1 . 501 344 19 41 28 . . 2 96 69 41 377 161 114 1 136 O 3951 567 1430 67 13 4 4 9 14 1 . 10 10 19 7 305 7 20 7 13 4 1336 15 41 20 19 9 8 2727 1 8 . 1 . . . . . . 41 43 15 2 2 . . . 21 414 14 97 4 2050 2 12 9 3781 106 113 17 2 1 2 9 3 2 . 233 190 6 101 121 . . 1 1277 18 312 556 266 34 9 402 * 113 . 1 1 . . . . 1 . . 8 14 4 1 1 1 1 . 3 11 3 28 5 6 8 16 763 49 6 71 2 1 . 2 1 1 . 17 23 3 138 4 . . . 198 . 26 58 104 59 . . ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- TOT 29752 846 1986 195 32 6 7 121 199 21 4 1453 1078 4268 365 883 503 438 53 1676 1952 2331 3951 2727 3781 113 763 Next-symbol probability (× 99): P F B V b v Q X W Y S Z C 2 R N M J 4 A E O 8 9 * -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- P . . . . . . . . . . 7 3 40 . . . . . . 30 . 7 . 10 1 . F . . . . . . . . . . 4 1 43 . . . . . . 37 1 4 . 8 . . B . . . . . . . . . . 47 13 2 . . . . . . 7 . 26 2 4 . . V . . . . . . . . . . 74 6 3 . . . . . . 6 . 9 . . . . b . . . . . . . . . . . . . . . . . . . 33 . 17 . 50 . . v . . . . . . . . . . . . . . . . . . . 14 . . . 85 . . Q . . . . . . . . . . . . 25 1 . . . . . 2 . 4 5 61 . 1 X . . . . . . . . . . 1 . 26 . . . . . . 2 . 1 5 62 . . W . . . . . . . . . . . . 42 . . . . . . 9 . 9 14 24 . . Y . . . . . . . . . . . . 50 . . . . . . . . . 50 . . . S 1 1 . . . . 2 4 1 . . . 72 . . . . . . 2 1 3 7 4 . . Z 1 1 . . . . 2 4 . . . . 80 . . . . . . 2 . 3 4 3 . . C 1 2 . . . . 1 2 . . . . 22 1 . . . . . 1 . 4 44 20 . . 2 1 1 . . . . . . . . 5 5 1 1 . . . . 1 41 1 36 1 3 . 3 R . 1 . . . . . . . . 14 16 . . . . . . 3 16 . 30 2 6 1 7 N . . . . . . 1 . . . 23 20 1 1 . . . . 4 2 . 33 6 2 . 6 M . . . . . . . . . . 26 20 . 2 . . . . 4 1 . 29 6 3 . 7 J . . . . . . . . . . . . . 2 . . . . . . 4 4 . . . 90 4 . . . . . . . . . . . . 1 . . . . . . . . 97 . . . . A . . . . . . . . . . . . . . 21 25 21 2 . . 28 . . . 2 . E 3 13 1 . . . . . . . 21 15 1 2 1 . . . 4 3 2 16 7 5 . 6 O 14 36 2 . . . . . . . . . . . 8 . 1 . . . 33 . 1 1 . . 8 . . . . . . . . . . 1 2 1 . . . . . 1 15 1 4 . 74 . . 9 3 3 . . . . . . . . 6 5 . 3 3 . . . 33 . 8 15 7 1 . 11 * . 1 1 . . . . 1 . . 7 12 4 1 1 1 1 . 3 10 3 25 4 5 7 14 6 1 9 . . . . . . . 2 3 . 18 1 . . . 26 . 3 8 13 8 . . -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- Previous-symbol probability (× 99): P F B V b v Q X W Y S Z C 2 R N M J 4 A E O 8 9 * -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- P . . . . . . . . . . 4 2 8 . . . . . . 13 . 1 . 2 4 . F . . . . . . . . . . 5 3 20 . . . . . . 37 . 2 . 4 4 . B . . . . . . . . . . 6 2 . . . . . . . 1 . 1 . . . . V . . . . . . . . . . 2 . . . . . . . . . . . . . . . b . . . . . . . . . . . . . . . . . . . . . . . . . . v . . . . . . . . . . . . . . . . . . . . . . . . . . Q . . . . . . . . . . . . 1 . . . . . . . . . . 2 . . X . . . . . . . . . . . . 1 . . . . . . . . . . 3 . . W . . . . . . . . . . . . . . . . . . . . . . . . . . Y . . . . . . . . . . . . . . . . . . . . . . . . . . S 1 1 2 3 . . 25 33 38 50 . . 24 2 . . . . . 1 1 1 3 2 2 . Z 1 . . . . . 16 19 . . . . 20 . . . . . . 1 . 1 1 1 . . C 4 4 7 9 . . 32 34 19 . 1 1 22 12 1 . . . . 3 . 4 69 22 12 . 2 . . 1 . . . 1 . . . 1 2 . 1 . . . . . 8 . 3 . . 1 1 R . . 2 . . . 1 . 5 25 8 13 . 1 . . . . 1 7 . 7 1 1 5 8 N . . . . . . 2 . 9 . 8 10 . 1 . . . . 1 . . 4 1 . . 4 M . . . . . . . 1 . 25 8 8 . 2 . . . . 1 . . 3 1 . 1 4 J . . . . . . . . . . . . . . . . . . . . . . . . . 6 4 . . 1 6 . . 4 . . . . . . 1 . . . . . . . 41 . . . . A . . 1 . . . . . 5 . . . . . 45 97 94 80 . . 23 . . . 36 . E 7 15 8 25 . 14 2 . 5 . 34 32 . 11 3 . . 4 6 3 2 9 6 3 1 18 O 66 71 34 40 66 57 7 7 5 . 1 1 . 2 34 1 5 13 1 . 57 . 1 1 17 1 8 . . . 3 . . . . . . 3 4 . 1 . . . . 1 21 1 2 . 54 2 2 9 12 6 9 6 17 28 7 1 9 . 16 17 . 27 14 . . 2 75 1 13 14 10 1 8 52 * . . 1 . . . . . . . 1 1 . . . . . . . 1 . 1 . . 7 2 6 . 36 6 17 . 2 . 5 . 1 2 . 37 . . . . 12 . 1 1 4 2 . . -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- Obviously B/V are not POE8/HOE8: the counts are too low and the next-symbol frequencies are all wrong. POE/HOE is still the best fit. But surely there is more to the story... Digraph frequencies ignoring blanks and line breaks, and collapsing 'DFT' to 'HPS': cat .voyn.fsg \ | tr -d ' /=\012' \ | tr 'DFT' 'HPS' \ | enum-ngraphs -v n=2 \ | egrep -v '\*' \ > .voyn-tt-2-r.grm cat .voyn-tt-2-r.grm \ | sed -e 's/^\(.\)\(.\)$/\1:\2/g' \ > .voyn-tt-1-1-r.grm cat .voyn-tt-1-1-r.grm \ | sort | uniq -c | expand \ | compute-freqs \ > .voyn-tt-1-1-r.frq Digraph frequencies around line breaks, ignoring spaces: cat .voyn.fsg \ | tr -d ' /=' \ | tr 'DFT' 'HPS' \ | sed -e 's/^\(..\).*\(..\)$/\1\2/g' \ | tr -s '\012' ':' \ | enum-ngraphs -v n=3 \ | egrep -v '\*' \ | egrep '^.:.$' \ > .voyn-nl-1-1-r.grm cat .voyn-nl-1-1-r.grm \ | sort | uniq -c | expand \ | compute-freqs \ > .voyn-nl-1-1-r.frq Digraph frequencies around interword blanks (omitting line breaks): cat .voyn.fsg \ | tr -d '/=\012' \ | tr 'DFT' 'HPS' \ | tr -s ' ' ':' \ | enum-ngraphs -v n=3 \ | egrep -v '\*' \ | egrep '^.:.$' \ > .voyn-sp-1-1-r.grm cat .voyn-sp-1-1-r.grm \ | sort | uniq -c | expand \ | compute-freqs \ > .voyn-sp-1-1-r.frq Now let's do the comparisons. First, line breaks against total occurrences: compare-freqs \ .voyn-tt-1-1-r.frq \ .voyn-nl-1-1-r.frq \ | compute-count-ratio \ -v nmin=10 -v mw=8 -v mc=40 \ | sort +0.0 -0.2r +4 -5nr \ > .voyn-tt-nl-1-1-r.cmp cat .voyn-tt-nl-1-1-r.cmp \ | print-pattern-classes \ -v rowchars='AI4FPDHCTSZ2L68OKMNREG' \ -v colchars='A6KLMNIZFC2PEDHSTR4G8O' A 6 K L M N I Z C 2 P E H S R 4 G 8 O -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- A | . . oo . oo oo oo . . . -? oo . . oo . . . . I | . . -? -? . . oo . . . . -? . . oo . . . . 4 | . . . . . . . . oo -? -? . oo -? . -? . . oo P | oo . . . . . . oo -? . . . . oo . . -? -? oo H | oo . . . -? . -? oo oo -? . oo -? oo -? . oo -? oo C | oo -? . -? . . . . oo oo oo -? oo oo -? -? oo -- oo S | oo . . . . . . . oo -? oo oo oo -? -? -? oo oo oo Z | oo . . . . . . . oo -? . . . -? . . oo oo -- 2 | oo . . . . . -? . -? +? -? -? || -- . +? oo -? -- L | . . . . . . . . . . . -? . -? . . -? . -? 6 | -? . . . . . . . . -? . . -? -? . +? . +? -? 8 | oo . . -? . . -? . oo -? -? || || oo -? || oo -? -- O | -? -? -? -? oo -? -? . oo ## oo oo oo -- oo || oo oo || K | . . . . . . . . . ## -? -? -? +? . ## +? +? +? M | -? . . . . . -? . -? ## +? -? +? -- -? || -- -- -- N | -? . . . . . . . -? ## +? +? -? -- -? || || ++ -- R | oo -? . . . . -? . -? ## ## +? || -- -? || -- || -- E | oo . -? . . . . . -- || || || -- -- oo || ++ ++ -- G | oo -? -? -? . . -? . +? || || -- || -- -- ++ || || -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- A 6 K L M N I Z C 2 P E H S R 4 G 8 O Now, intra-line spaces against all occurrences: compare-freqs \ .voyn-tt-1-1-r.frq \ .voyn-sp-1-1-r.frq \ | compute-count-ratio \ -v nmin=10 -v mw=5 -v mc=5 \ | sort +0.0 -0.2r +4 -5nr \ > .voyn-tt-sp-1-1-r.cmp cat .voyn-tt-sp-1-1-r.cmp \ | print-pattern-classes \ -v rowchars='AI4FPDHCTSZ2L68OKMNREG' \ -v colchars='A6KLMNIZFC2PEDHSTR4G8O' A 6 K L M N I Z C 2 P E H S R 4 G 8 O -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- A | . . oo . oo oo oo . . . +? oo . . oo . . . . I | . . +? +? . . oo . . . . -? . . oo . . . . 4 | . . . . . . . . oo +? +? . || +? . +? . . oo P | oo . . . . . . oo +? . . . . -- . . -? +? -- H | -- . . . +? . +? oo -- +? . oo +? -- +? . -- +? -- C | oo +? . +? . . . . oo oo oo +? oo oo +? +? -- -- -- S | oo . . . . . . . oo -? oo oo oo +? +? +? oo -- -- Z | oo . . . . . . . oo +? . . . +? . . oo oo ++ 2 | ++ . . . . . +? . +? +? +? +? ## || . +? ++ +? ++ L | . . . . . . . . . . . +? . +? . . +? . +? 6 | +? . . . . . . . . +? . . +? +? . +? . +? +? 8 | -- . . +? . . +? . oo +? +? || || ++ +? ## -- +? || O | +? -? -? +? oo -? +? . oo ## oo -- -- || -- ## ++ -- || K | . . . . . . . . . ## +? +? +? +? . ## +? +? +? M | +? . . . . . +? . +? ## +? +? +? ## +? ## ## ## ## N | +? . . . . . . . +? ## +? +? +? ## +? ## ## ## ## R | || +? . . . . +? . +? ## ## +? ## || +? ## || ## || E | || . +? . . . . . || || || ## ++ || || ## ++ || || G | ## +? +? +? . . +? . +? ## ## || || || || || ## || ## -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- A 6 K L M N I Z C 2 P E H S R 4 G 8 O There are some notable differences. Patterns that are strong space-contexts but weak or negligible line break contexts: [28OMNREG]:[ST] [2O]:G [N8]:O M:[G8O] R:[GO] E:[CRO] G:[AERO] Just for the sake of completeness, here is the comparison of spaces with line breaks: compare-freqs \ .voyn-sp-1-1-r.frq \ .voyn-nl-1-1-r.frq \ | compute-count-ratio \ -v nmin=10 -v mw=2 -v mc=8 \ | sort +0.0 -0.2r +4 -5nr \ > .voyn-sp-nl-1-1-r.cmp cat .voyn-sp-nl-1-1-r.cmp \ | print-pattern-classes \ -v rowchars='AI4FPDHCTSZ2L68OKMNREG' \ -v colchars='A6KLMNIZFC2PEDHSTR4G8O' A 6 L I C 2 P E H S R 4 G 8 O -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 4 | . . . . . . -? . -? . . -? . . . P | . . . . -? . . . . -? . . . . -? H | -? . . . -? . . . . -? -? . -? -? -? C | . . . . . . . . . . -? -? -? -? -? S | . . . . . . . . . -? . -? . -? -? Z | . . . . . . . . . -? . . . . -? 2 | oo . . . . +? -? -? +? oo . -? -? -? oo L | . . . . . . . . . -? . . . . -? 6 | . . . . . -? . . -? -? . +? . +? -? 8 | -? . . . . -? -? -? +? -? . -- -? -? oo O | . . . . . +? . -? -? -? -? -? -? -? -? K | . . . . . ## -? -? -? +? . ## +? +? +? M | -? . . -? -? ## +? -? +? oo -? || -? oo oo N | -? . . . -? ## +? +? -? oo -? -- oo -- oo R | oo . . . -? ## ## +? ## -- -? ++ -- ++ -- E | oo . . . oo || ## -- -- -- oo ++ ## -- -- G | oo -? -? . -? ++ || -- ++ -- oo -- || -- -- Let's write a sed script to split words and syllabes according to the patterns that occur at line breaks. I recomputed the ratio by the more generous formula gawk '\ { printf " %5d %5.3f %5d %5.3f %5.3f %s %s\n",\ $1, $2, $3, $4, ($3)/($1+2), $6, $7 \ }' Then classified them as ++ very likey a word break ratio >= 0.200 and NT >= 5 +? possibly a word break ratio >= 0.200 and NT < 5 :: very likey a syllabe break 0.200 > ratio >= 0.005 and NL >= 5 :? possible syllabe break 0.200 > ratio >= 0.005 and NL < 5 -- very likely unbreakable 0.005 > ratio and NT >= 80 -? possibly unbreakable 0.005 > ratio and NT < 80 Result is in .voyn-tt-nl-1-1-r-hand.cmp cat .voyn-tt-nl-1-1-r-hand.cmp \ | print-pattern-classes \ -v rowchars='AI4FPDHCTSZ2L68OKMNREG' \ -v colchars='A6KLMNIZFC2PEDHSTR4G8O' A 6 K L M N I Z C 2 P E H S R 4 G 8 O -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- A | . . -? . -- -- -? . . . -? -- . . -- . . . . I | . . -? -? . . -? . . . . -? . . -? . . . . 4 | . . . . . . . . -? -? -? . -? -? . -? . . -- P | -? . . . . . . -? -? . . . . -- . . -? -? -? H | -- . . . -? . -? -- -- -? . -? -? -- -? . -- -? -- C | -? -? . -? . . . . -- -? -? -? -- -? :? +? -- -- -- S | -? . . . . . . . -- -? -? -? -- -? -? -? -- -- -- Z | -? . . . . . . . -- -? . . . -? . . -- -? :? 2 | -- . . . . . -? . -? ++ +? -? :? :? . ++ -? -? :? L | . . . . . . . . . . . -? . -? . . -? . -? 6 | -? . . . . . . . . +? . . +? +? . +? . +? -? 8 | -- . . -? . . -? . -? +? -? :? :? -- -? :? -- :? :? O | -? -? -? -? -? -? -? . -? ++ -- -- -- :? -- :? -? -? :? K | . . . . . . . . . ++ +? -? +? +? . ++ +? ++ ++ M | -? . . . . . -? . -? ++ +? +? ++ :? -? ++ :? :? :? N | -? . . . . . . . -? ++ ++ +? :? :? -? :: ++ :? :? R | -- -? . . . . -? . -? ++ ++ ++ ++ :? +? ++ :? ++ :: E | -? . -? . . . . . :? ++ ++ :: :: :? -? ++ :: :: :: G | -? -? -? -? . . -? . ++ ++ ++ :: :: :: :? :: ++ :: :: Here are the rules ("+" means word split, ":" means syllabe, "-" means no break). .-[A6KLMNIZ] [AI4FPDHCSTZ]-. [2MNRE]-G [L8O]-[CFPEDHSTR4G8O] [26KMNREG]+[FP] [2L68OKMNREG]+2 [G]+[CFPG] [MNR]+[EDHG] [MER2]+[4] [R]+[8R] [2]:[FPEDHSTRG8O] [MNR]:[ST] [E]:[EDHSTG8] [G]:[EDHSTR8] [MN]:[8] {MNREG]:[O] cat .voyn.fsg \ | tr -d '/= ' \ | sed -e 's/\(.\)/\1 /g' \ | split-by-nl-patterns \ | split-by-nl-patterns \ | tr -d ' \-' \ | tr '+' ' ' \ > .voyn-nl-split.fsg Global tetragram frequencies, ignoring line breaks and word spaces: cat .voyn.fsg \ | tr -d ' /=\012' \ | enum-ngraphs -v n=4 \ | egrep -v '\*' \ > .voyn-tt-4.grm cat .voyn-tt-4.grm \ | sed -e 's/^\(..\)\(..\)$/\1:\2/g' \ > .voyn-tt-2-2.grm cat .voyn-tt-2-2.grm \ | sort | uniq -c | expand \ | compute-freqs \ > .voyn-tt-2-2.frq