66b là một mô hình ngôn ngữ lớn được thiết kế để xử lý ngôn ngữ tự nhiên với kích thước khoảng 66 tỷ tham số. Nó được huấn luyện trên một tập dữ liệu đa dạng và có khả năng sinh văn bản, trả lời câu hỏi, tóm tắt nội dung và tham gia vào các cuộc đối thoại.
Kiến trúc của 66b kết hợp các lớp transformer tiến tiến, với cơ chế attention và tối ưu hóa hiệu suất. Việc huấn luyện dựa trên một qui trình song song, phân phối trên nhiều thiết bị và sử dụng các kỹ thuật như dự đoán từ tiếp theo, làm mượt gradient và quản lý sự mất mát. Mẫu được tinh chỉnh để hợp tác với người dùng và giảm thiểu sai lệch.
Hiệu năng của 66b được đánh giá trên các bộ chuẩn ngôn ngữ và các tác vụ tổng hợp. Mẫu cho thấy khả năng hiểu ngữ cảnh, duy trì thông tin và sinh văn bản mạch lạc trong nhiều ngữ cảnh. So với các mô hình cùng kích thước, 66b có ưu thế ở việc tạo câu tự nhiên và phản hồi ngắn gọn nhanh.
66b có thể được tích hợp trong hệ thống hỗ trợ viết, trợ lý ảo, tóm tắt tài liệu, phân tích cảm xúc và hỗ trợ học tập. Người dùng có thể tinh chỉnh mô hình cho ngôn ngữ mục tiêu của mình và tuỳ biến đầu ra cho phong cách riêng.