PyTorch FP16

PyTorch只在 NVIDIA CUDA 中支持FP16，并且在新型的CPU或TPU中支持BF16 ( PyTorch twitter 4/11 )

参考

• FP16 in Pytorch

• Performance and Scalability: How To Fit a Bigger Model and Train It Faster