Theo tin tức từ trang web của công ty xAI vào ngày 17 tháng 3, công ty xAI của Mỹ đã mở nguồn cho mô hình ngôn ngữ lớn Grok-1, với khối lượng thông số là 314 tỷ. xAI được thành lập bởi doanh nhân nổi tiếng người Mỹ Elon Musk. Grok-1 là mô hình ngôn ngữ lớn được xây dựng dựa trên công nghệ Mixture-of-Experts (MoE). Nó có 314 tỷ thông số, vượt xa con số 175 tỷ của OpenAI GPT-3.5. Đây là mô hình ngôn ngữ lớn mã nguồn mở với số lượng tham số lớn nhất tính đến thời điểm hiện tại. Nó tuân theo giao thức Apache 2.0 để mở trọng lượng và kiến trúc mô hình, cho phép người dùng tự do sử dụng, sửa đổi và phân phối phần mềm, cho dù cho mục đích sử dụng cá nhân hay thương mại. Công ty xAI chỉ ra rằng việc đào tạo mô hình này dựa trên một lượng lớn văn bản và chưa được tinh chỉnh cho bất kỳ ứng dụng cụ thể nào. Sự hiểu biết và truy xuất bối cảnh dài và khả năng đa phương thức là hướng nghiên cứu trong tương lai.
TRANG TỔNG HỢP, PHÂN TÍCH TIN TỨC VỀ KH-CN
