Khi tạo các prompt, bạn thường tương tác với LLM thông qua một API. Bạn có thể cấu hình một vài tham số để nhận được những kết quả khác nhau từ các prompt của mình. Việc điều chỉnh các cài đặt này là rất quan trọng để cải thiện độ tin cậy và sự mong muốn của các phản hồi, và bạn sẽ cần thử nghiệm cũng như điều chỉnh để tìm ra cài đặt phù hợp cho các trường hợp sử dụng của bạn. Dưới đây là những tham số phổ biến mà bạn sẽ gặp phải khi sử dụng các nhà cung cấp LLM khác nhau:
Temperature - Nói ngắn gọn, nhiệt độ (temperature) là mức độ "sáng tạo" của mô hình với các phản hồi của nó. Nhiệt độ càng cao, sự ngẫu nhiên, tính đa dạng và sáng tạo sẽ nhiều hơn, trong khi nhiệt độ thấp hơn tạo ra các phản hồi có thể dự đoán và nhất quán hơn. Nếu bạn muốn chuyển đổi như trích xuất dữ liệu hoặc sửa lỗi ngữ pháp, nhiệt độ thấp từ 0 đến 0,3 thường là lý tưởng. Tuy nhiên, nếu bạn muốn có nhiều phản hồi sáng tạo và đa dạng hơn, nhiệt độ khoảng 0,5 thường tốt hơn. Nếu bạn đang tìm kiếm những phản hồi thực sự độc đáo và sáng tạo, bạn có thể thử nghiệm với nhiệt độ từ 0,7 đến 1.
Top P - Một kỹ thuật lấy mẫu với nhiệt độ, nơi bạn có thể kiểm soát mức độ xác định của mô hình. Nếu bạn đang tìm kiếm các câu trả lời chính xác và thực tế, hãy giữ nó thấp. Nếu bạn đang tìm kiếm các phản hồi đa dạng hơn, hãy tăng lên giá trị cao hơn. Nếu bạn sử dụng Top P, điều đó có nghĩa là chỉ những token cấu thành khối xác suất top_p được xem xét cho các phản hồi, vì vậy, giá trị top_p thấp sẽ tạo ra các phản hồi có độ chính xác cao hơn. Giá trị top_p cao sẽ cho phép mô hình xem xét nhiều từ có khả năng hơn, bao gồm cả những từ ít khả năng hơn, dẫn đến các đầu ra đa dạng và sáng tạo hơn.
Khuyến nghị chung là thay đổi Temperature hoặc Top P nhưng không nên thay đổi cả hai.
Max Length - Bạn có thể quản lý số lượng token mà mô hình tạo ra bằng cách điều chỉnh max length. Việc chỉ định một độ dài tối đa giúp bạn ngăn chặn các phản hồi dài hoặc không liên quan và kiểm soát chi phí.
Stop Sequences - Một stop sequence là một chuỗi để ngăn mô hình tạo ra các token. Việc chỉ định các chuỗi dừng là một cách khác để kiểm soát độ dài và cấu trúc của phản hồi của mô hình. Ví dụ, bạn có thể yêu cầu mô hình tạo ra danh sách không có quá 10 mục bằng cách thêm "11" làm chuỗi dừng.
Frequency Penalty - frequency penalty áp dụng một hình phạt lên token tiếp theo tỉ lệ thuận với số lần token đó đã xuất hiện trong phản hồi và prompt. Hình phạt càng lớn, từ đó càng ít khả năng xuất hiện lại. Cài đặt này giảm sự lặp lại của các từ trong phản hồi của mô hình bằng cách áp dụng hình phạt cao hơn cho các token xuất hiện nhiều hơn.
Presence Penalty - presence penalty cũng áp dụng hình phạt cho các token lặp lại nhưng, khác với frequency penalty, hình phạt là như nhau cho tất cả các token lặp lại. Một token xuất hiện hai lần và một token xuất hiện 10 lần đều bị chịu hình phạt giống nhau. Cài đặt này ngăn mô hình lặp lại các câu quá nhiều trong phản hồi của nó. Nếu bạn muốn mô hình tạo ra văn bản đa dạng hoặc sáng tạo, bạn có thể muốn sử dụng Presence Penalty cao hơn. Hoặc, nếu bạn cần mô hình giữ tập trung, hãy thử sử dụng một Presence Penalty thấp.
Tương tự như temperature và top_p, khuyến nghị chung là thay đổi Frequency Penalty hoặc Presence Penalty nhưng không thay đổi cả hai.
Hãy nhớ rằng kết quả của bạn có thể khác nhau tùy thuộc vào mô hình ngôn ngữ và phiên bản mà bạn sử dụng.