以前の記事に図書館で読んだ本の話を書きましたが、そのとき読んだある本に、ニューラルネットで扱う情報の桁は、それほど必要でない、と書かれていました。
ニューロンで扱う信号を、4ビットの符号付整数と、4ビットの指数部で表したらどうでしょうか。ココで議論しているようなニューラルネットを実装する際、最も負荷の掛る部分は乗算器なんですけど、その複雑さは、大雑把に言って、桁数の二乗に比例します。
以前紹介したザイリンクスのチップ（百万円）は、18 ビットの整数乗算を 166 個内蔵できます。整数部が4ビットの乗算であれば、乗算器の規模はこの 1/20 程度に収まるでしょう。