Theo Pinwan.com vào ngày 19 tháng 8, NVIDIA và Meta đã cùng nhau ra mắt mô hình nhỏ Llama-3.1-Minitron 4B AI. Mô hình này chỉ có 4 tỷ tham số và được thu thập bằng cách cắt tỉa và chưng cất mô hình 15B lớn hơn (15 tỷ tham số) trong dòng Nemotron của NVIDIA. Việc cắt tỉa và chưng cất có thể mang lại nhiều lợi ích: so với đào tạo từ đầu, điểm MMLU của mô hình được cải thiện 16%, yêu cầu dán nhãn đào tạo nhỏ hơn và chi phí có thể tiết kiệm tới 1,8 lần.