Databricks, một công ty của Mỹ, ra mắt DBRX, một mô hình nguồn mở lớn, hoạt động tốt hơn các mô hình nguồn mở chính thống

Theo tin tức của Pinwan.com vào ngày 28 tháng 3, công ty Databricks của Mỹ đã tung ra mô hình nguồn mở lớn DBRX, có hiệu suất tốt hơn các mô hình nguồn mở chính thống. DBRX áp dụng kiến ​​trúc Transformer, chứa 132 tỷ tham số và bao gồm tổng cộng 16 mạng chuyên gia. Mỗi suy luận sử dụng 4 mạng chuyên gia và kích hoạt 36 tỷ tham số. Databricks cho biết, về mặt hiểu ngôn ngữ, lập trình, toán học và logic, so với các mô hình nguồn mở chính thống như Llama 2-70B của Meta, Mixtral của MixtralAI và Grok-1 của xAI, DBRX có lợi thế hơn.

Nguồn: https://www.pingwest.com/w/293621