Theo tin tức từ Science Network vào ngày 2 tháng 3, nhóm nghiên cứu của Đại học Fudan đã ra mắt APP “Hear the World”, được thiết kế riêng cho người khiếm thị dựa trên mô hình lớn đa phương thức “Fudan·MouSi” (MouSi). APP có thể hiểu và xác định nội dung của hình ảnh và chuyển đổi hình ảnh thành ngôn ngữ. Nó cũng cung cấp các chế độ dịch vụ cho ba cảnh cuộc sống: đi bộ trên đường phố, hỏi đáp miễn phí và tìm kiếm đồ vật. Nó cung cấp mô tả cảnh, nhắc nhở rủi ro và các chức năng khác cho người khiếm thị. Trong tương lai, nhóm dự định kết hợp AR để nâng cấp độ chính xác định vị trong APP lên cấp đồng hồ đo phụ, nâng cấp các mô hình lớn lên phán đoán dựa trên video và phát triển nhiều chế độ hơn như đọc và giải thích. APP sẽ hoàn thành vòng thử nghiệm đầu tiên vào tháng 3.
Nguồn: https://news.sciencenet.cn/htmlnews/2024/3/518286.shtm
