66b là tên gọi tôn vinh kích thước tham số của một mô hình ngôn ngữ quy mô lớn. Với khoảng 66 tỷ tham số, mô hình được huấn luyện để nắm bắt ngữ nghĩa, cú pháp và ngữ cảnh ở nhiều ngữ cảnh khác nhau, từ văn bản ngắn đến văn bản dài.
Tiền thân của 66b xuất phát từ sự tiến bộ của các mô hình ngôn ngữ lớn, nơi tổng hợp dữ liệu lớn và kỹ thuật tối ưu hóa để cải thiện khả năng suy luận và sinh văn bản tự nhiên. Động lực thúc đẩy là nhu cầu có các hệ thống hiểu và tham gia vào cuộc trò chuyện một cách linh hoạt và có độ sáng tạo cao.
Kiến trúc của 66b dựa trên mạng nơ-ron transformer, với nhiều lớp tự chú ý và các cơ chế định vị để xử lý ngữ cảnh dài. Số lượng tham số khoảng 66 tỷ cho phép mô hình lưu trữ thông tin phong phú, nhưng cũng đòi hỏi tối ưu hóa để giảm tiêu hao tài nguyên và kiểm soát năng suất.
66b có thể được áp dụng trong dịch thuật, tổng hợp văn bản, trả lời câu hỏi và trợ lý ảo. Tuy nhiên, thách thức gồm chi phí huấn luyện, nguy cơ sai lệch và cần có biện pháp đảm bảo đạo đức, an toàn và khả năng giải thích kết quả.