Ảnh: KamranAydinov/ freepik
Các nhà nghiên cứu từ Công ty Máy tính Apple cho biết các câu trả lời được cung cấp bởi các mô hình ngôn ngữ lớn (LLM) như ChatGPT tạo ra ảo tưởng về trí thông minh mà không phải là kết quả của lý luận logic thực sự. Bài viết có kết quả nghiên cứu được xuất bản tới các máy chủ của bản in trước arXiv.
Nhóm nghiên cứu tập trung vào khả năng của những sinh vật thông minh, bao gồm cả con người, để phân biệt giữa thông tin quan trọng và không quan trọng trong các tình huống cần phân tích logic. Các nhà nghiên cứu cho rằng trí thông minh thực sự bao gồm sự hiểu biết, cho phép người ta bỏ qua những dữ liệu không liên quan và tập trung vào bản chất của vấn đề, giống như trường hợp suy nghĩ của con người.
Để kiểm tra giả thuyết này, các nhà nghiên cứu đã đưa một lượng nhỏ thông tin không liên quan vào câu hỏi LLM của họ. Họ hỏi hàng trăm câu hỏi trước đây được sử dụng để kiểm tra các mô hình ngôn ngữ, bổ sung thêm dữ liệu không liên quan đến chủ đề. Mục tiêu là để xác định xem LLM có thể bỏ qua thông tin không liên quan và đưa ra câu trả lời chính xác hay không.
Kết quả thử nghiệm cho thấy LLM thường nhầm lẫn với những chi tiết không cần thiết, dẫn đến trả lời sai hoặc vô nghĩa đối với những câu hỏi mà các mô hình đã trả lời đúng trước đó. Theo các nhà nghiên cứu, điều này chỉ ra rằng LLM thiếu khả năng thực sự hiểu và suy nghĩ hợp lý.
Trong quá trình nghiên cứu, người ta nhận thấy rằng LLM có xu hướng đưa ra các câu trả lời thoạt nhìn có vẻ hợp lý, nhưng khi kiểm tra kỹ hơn thì hóa ra lại không chính xác. Ví dụ: khi LLM được hỏi họ “cảm thấy gì”, các mô hình sẽ đưa ra câu trả lời ngụ ý rằng họ có cảm giác có ý thức, điều này không đúng vì họ không có khả năng cảm nhận.
Dựa trên những dữ liệu này, các nhà nghiên cứu kết luận rằng các mô hình ngôn ngữ hiện đại không có trí thông minh thực sự mà chỉ xác định các mẫu trong văn bản và xây dựng câu trả lời dựa trên quá trình xử lý dữ liệu thống kê chứ không phải là sự hiểu biết thực sự về bản chất của câu hỏi được hỏi.
