zhaohaipeng 2 недель назад
Родитель
Сommit
b10b9e03e2
1 измененных файлов с 2 добавлено и 1 удалено
  1. 2 1
      tools/server/model_manager.py

+ 2 - 1
tools/server/model_manager.py

@@ -27,7 +27,8 @@ class ModelManager:
         self.compile = compile
         self.num_workers = num_workers
 
-        self.precision = torch.half if half else torch.bfloat16
+        # self.precision = torch.half if half else torch.bfloat16
+        self.precision = torch.float8_e4m3fn
 
         # Check if MPS or CUDA is available
         if torch.backends.mps.is_available():