AMD Ra Mắt AMD OLMo Mô Hình Ngôn Ngữ Lớn Mã Nguồn Mở Đầu Tiên OLMo – Bước Tiến Đáng Chú Ý Trong AI

AMD vừa chính thức công bố AMD OLMo, mô hình ngôn ngữ lớn (LLM) mã nguồn mở đầu tiên của mình với quy mô 1 tỷ tham số. Được phát triển để đáp ứng nhu cầu của các ứng dụng AI đa dạng như suy luận, theo dõi chỉ dẫn, và trò chuyện, AMD OLMo là một bước đi chiến lược của AMD trong lĩnh vực trí tuệ nhân tạo (AI). Sự ra đời của AMD OLMo không chỉ củng cố vị thế của AMD trong lĩnh vực này mà còn mở ra cơ hội cho các nhà phát triển khai thác tiềm năng của nó trên phần cứng AMD, hỗ trợ mở rộng ứng dụng AI vào nhiều lĩnh vực.

Mục Tiêu Của AMD OLMo

AMD OLMo nhằm mục đích nâng cao khả năng cạnh tranh trong thị trường AI và tạo điều kiện thuận lợi cho các nhà phát triển dễ dàng điều chỉnh, triển khai mô hình trên hệ thống AMD, từ trung tâm dữ liệu đến máy tính cá nhân. Với hỗ trợ từ bộ xử lý AMD Ryzen AI cùng NPU tích hợp, mô hình này hứa hẹn thúc đẩy AI trên các thiết bị cá nhân. Cách tiếp cận mã nguồn mở cho phép người dùng không chỉ sử dụng mà còn có thể tùy chỉnh mô hình để phục vụ nhu cầu riêng, từ đó thúc đẩy sáng tạo và mở rộng khả năng ứng dụng của AI.

Quá Trình Huấn Luyện Và Cấu Trúc AMD OLMo

Mô hình AMD OLMo được huấn luyện trên 1,3 nghìn tỷ token, sử dụng 64 GPU AMD Instinct MI250 phân bổ trên 16 máy chủ. Quá trình huấn luyện chia làm ba giai đoạn chính:

1. OLMo 1B Ban Đầu: Sử dụng dữ liệu Dolma v1.7, mô hình này học các mẫu ngôn ngữ và kiến thức phổ quát, tạo nền tảng cho các bước huấn luyện tiếp theo.

2. Phiên Bản Fine-Tuned (SFT): Tiếp theo, OLMo được tinh chỉnh với các tập dữ liệu như Tulu V2, OpenHermes-2.5, và WebInstructSub, giúp cải thiện khả năng theo dõi chỉ dẫn và thực hiện các nhiệm vụ phức tạp như lập trình, toán học và khoa học.

3. Phiên Bản DPO (Direct Preference Optimization): Được tinh chỉnh dựa trên phản hồi từ con người qua tập dữ liệu UltraFeedback, giúp mô hình điều chỉnh phản hồi sao cho phù hợp với mong đợi của người dùng.

Hiệu Suất Vượt Trội Của AMD OLMo

Kết quả thử nghiệm nội bộ cho thấy AMD OLMo đạt hiệu suất ấn tượng khi so sánh với các mô hình mở khác cùng quy mô như TinyLlama-1.1B, MobiLlama-1B và OpenELM-1_1B. Phiên bản OLMo SFT hai giai đoạn đạt mức độ chính xác cao hơn với điểm MMLU tăng 5,09% và GSM8k tăng 15,32%. Ở các bài kiểm tra hiệu chỉnh chỉ dẫn và trò chuyện, OLMo có mức tăng lần lượt là 3,41% và 2,29% trong bài kiểm tra AlpacaEval 2 và MT-Bench.

Bên cạnh đó, AMD cũng đảm bảo rằng OLMo tuân thủ các tiêu chuẩn AI có trách nhiệm như kiểm soát ngôn ngữ độc hại (ToxiGen), thiên lệch (crows_pairs), và tính trung thực (TruthfulQA-mc2), giúp đáp ứng các yêu cầu về an toàn và công bằng trong AI.

Kết Luận

AMD OLMo là một minh chứng rõ ràng cho cam kết của AMD trong việc đổi mới công nghệ AI. Với sự hỗ trợ từ phần cứng AMD Instinct và tính năng mã nguồn mở, OLMo mở ra nhiều cơ hội cho các nhà phát triển và doanh nghiệp, tạo ra các ứng dụng AI hiệu quả và đa dạng. Sự ra đời của OLMo hứa hẹn sẽ tạo ra một làn sóng mới trong lĩnh vực AI, đồng thời giúp AMD khẳng định vị thế hàng đầu của mình trong công nghệ trí tuệ nhân tạo.

➤ Nếu bạn có bất kỳ câu hỏi nào liên quan hoặc các sản phẩm công nghệ khác, hãy để lại câu hỏi ngay bên dưới hoặc liên hệ ngay với đội ngũ chuyên viên tư vấn của khanhhungpc Hotline: 0966.093.625

• Địa chỉ: Tòa 105 Phố Nhổn – Quận Nam Từ Liêm – TP Hà Nội..
• Tel: 0966.093.625
• Fanpage:PC Gaming Khánh Hưng 

Xem thêm :Full Các Phần Mềm Máy Tính Văn Phòng Cực Hiểu Quả