ETH Zurich và EPFL sẽ phát hành LLM mã nguồn mở
Hai trường đại học hàng đầu Thụy Sĩ chuẩn bị công bố mô hình AI đa ngôn ngữ được huấn luyện trên siêu máy tính Alps vào cuối hè này.
Viện Kỹ thuật liên bang Zurich (ETH Zurich) và Viện Kỹ thuật liên bang Lausanne (EPFL) sẽ phát hành một mô hình ngôn ngữ lớn (LLM) được phát triển hoàn toàn trên cơ sở hạ tầng công cộng. Mô hình được huấn luyện trên siêu máy tính Alps tại Trung tâm Siêu máy tính Quốc gia Thụy Sĩ (CSCS), đánh dấu cột mốc quan trọng trong lĩnh vực AI mã nguồn mở.
Tuần trước tại Geneva, khoảng 50 tổ chức hàng đầu thế giới về LLM mã nguồn mở và AI đáng tin cậy đã tham dự International Open-Source LLM Builders Summit (Hội nghị thượng đỉnh Quốc tế về Xây dựng LLM Mã nguồn mở). Sự kiện do các trung tâm AI của EPFL và ETH Zurich tổ chức nhằm xây dựng hệ sinh thái hợp tác quốc tế cho các mô hình nền tảng mở.
Mô hình này hiện đang trong giai đoạn thử nghiệm cuối cùng và sẽ được tải xuống dưới giấy phép mở. Điểm nổi bật là khả năng xử lý thông thạo hơn 1000 ngôn ngữ. “Chúng tôi đã nhấn mạnh việc tạo ra các mô hình đa ngôn ngữ từ ban đầu”, Antoine Bosselut, Giáo sư tại EPFL AI Center cho biết.
Thông báo của ETH Zurich cho biết, mô hình ngôn ngữ lớn của họ được huấn luyện trên bộ dữ liệu văn bản lớn với hơn 1500 ngôn ngữ – khoảng 60% tiếng Anh và 40% các ngôn ngữ khác – cùng với dữ liệu mã và toán học. Quá trình huấn luyện sử dụng hơn 15 nghìn tỉ token chất lượng cao giúp mô hình có độ tin cậy cao.
Mô hình sẽ được phát hành với hai phiên bản 8 tỉ và 70 tỉ tham số, đáp ứng nhu cầu đa dạng của người dùng. Phiên bản 70B sẽ nằm trong số các mô hình mở mạnh nhất thế giới.
“Việc huấn luyện mô hình này chỉ có thể thực hiện được nhờ đầu tư chiến lược vào Alps, siêu máy tính được thiết kế riêng cho AI”, Thomas Schulthess, Giám đốc CSCS và Giáo sư tại ETH Zurich nói.
Mô hình sẽ được phát hành vào cuối mùa hè 2024 theo giấy phép Apache 2.0, kèm theo tài liệu chi tiết về kiến trúc, phương pháp huấn luyện và hướng dẫn sử dụng để hỗ trợ việc tái sử dụng và phát triển tiếp.
