fp16とbf16

• 浮動小数点数の話
  • 浮動小数点数は符号+指数部+仮数部で数値を表す
    • 12345 x 10^-2 (=123.45)みたいに数を扱う
  • $a=f\times r^e$と数を表すときに
    • fを仮数、eを指数、rを基数という
  • Floating Point Number; FP, 浮動小数点数
    • IEEE Standard for Floating-Point Arithmeticとして規格されている
    • binary16, 半精度 half FP16 指数部5bits 仮数部10bits
    • binary32, 単精度 single FP32 指数部8bits 仮数部23bits
  • BF
    • bfloat16, 指数部8bits 仮数部7bits
      • FP32と同じ8bitsの指数部により-256~256の範囲の整数を正しく表現できる
      • googleのTPUで採用