Trick tối ưu chi phí khi dùng AI API

Hóa đơn API phình lên chủ yếu vì gửi lại cùng một ngữ cảnh nhiều lần. Bắt đầu từ đó.

• Cache kết quả theo hash của prompt
• Dùng model nhỏ cho bước phân loại, model lớn chỉ cho bước viết
• Rút ngắn prompt hệ thống, bỏ ví dụ dài không cần thiết
• Gộp nhiều bản ghi vào một lần gọi khi tác vụ đơn giản
• Đặt giới hạn token đầu ra rõ ràng
• Ghi log chi phí theo từng workflow để biết chỗ rò rỉ