Ứng dụng kỹ thuật Chain of Thought Prompting và Zero-Shot Chain of Thought vào việc huấn luyện mô hình LLM

Chain of Thought Prompting (CoT-Prompting) và Zero-Shot Chain of Thought (Zero-shot-CoT) đều là những kỹ thuật thường được sử dụng trong các mô hình ngôn ngữ AI như GPT-3. Nói một cách đơn giản, cả hai đều là những phương pháp sử dụng bối cảnh hoặc một chuỗi các bước để hướng dẫn phản hồi của mô hình LLM.

Giải thích ngắn gọn:

CoT-Prompting cung cấp các gợi ý cụ thể, từng bước để hướng dẫn mô hình đi đến câu trả lời. Giống như bạn đang giải thích vấn đề từng chút một cho ai nghe vậy.
Zero-shot-CoT không cần bất kỳ gợi ý cụ thể nào. Họ thấy rằng bằng cách thêm các từ "Hãy suy nghĩ từng bước." vào cuối câu hỏi, LLM có thể tạo ra một chuỗi suy nghĩ trả lời câu hỏi. Từ chuỗi suy nghĩ này, họ có thể rút ra câu trả lời chính xác hơn.

I. Chain of Thought Prompting (CoT-Prompting)

Ý tưởng của kỹ thuật này là đưa cho mô hình LLM các ví dụ về quá trình lý luận. Mô hình LLM cũng sẽ hiển thị quá trình lý luận khi trả lời các câu hỏi. Khi kèm theo lý luận thì kết quả cuối cùng sẽ chính xác hơn.

Cách thức CoT-Prompting hoạt động

Bước	Giải thích
Gợi Ý Ban Đầu	Đây là điểm khởi đầu của quá trình tư duy, nơi câu hỏi hoặc phát biểu ban đầu được trình bày.
Gợi Ý Thứ Cấp	Dựa trên gợi ý ban đầu, một gợi ý thứ cấp liên quan được giới thiệu để theo dõi hoặc đi sâu vào khái niệm.
Ý Nghĩ Cuối Cùng / Kết Qủa	Mô hình LMM đạt được cái nhìn sâu sắc để đưa ra kết luận cuối cùng

Khi không áp dụng CoT-Prompting

Kết quả thử nghiệm với text-davinci-003 (GPT-3)

⇒ LLM đưa ra được kết quả không chính xác.

Khi áp dụng CoT-Prompting

Chúng ta sẽ hướng dẫn mô hình phương pháp tính toán để đưa ra nhận xét cuối cùng. Mô hình sẽ bắt chước hướng dẫn trước đó của chúng ta để đưa ra kết quả

⇒ LLM với CoT-Prompting hướng dẫn mô hình có lập luận sâu sắc hơn và đưa ra kết quả chính xác.

Ưu nhược điểm của kỹ thuật CoT-Prompting

Ưu điểm chính của Chain of Thought Prompting là duy trì sự mạch lạc và tính liên tục trong cuộc trò chuyện.

Tuy nhiên, kỹ thuật này có những nhược điểm sau:

Cần quản lý hiệu quả lịch sử đối thoại: Điều này liên quan đến việc lưu trữ, truy cập và xử lý hiệu quả các dữ liệu qua lại giữa người dùng và AI, đảm bảo đủ thông tin để tạo ra phản hồi liên quan.
Cần thiết kế cẩn thận cửa sổ ngữ cảnh: Xác định độ dài phù hợp của lịch sử đối thoại mà CoT-Prompting sẽ sử dụng. Cửa sổ quá ngắn có thể bỏ qua thông tin quan trọng, còn cửa sổ quá dài có thể khiến việc xử lý trở nên nặng nề.
Hạn chế về khả năng xử lý ngôn ngữ tự nhiên: CoT-Prompting cần hiểu chính xác ý nghĩa của cả nội dung hiện tại và lịch sử đối thoại để tạo ra phản hồi phù hợp. Điều này đòi hỏi thuật toán NLU tiên tiến có thể nắm bắt các mối liên hệ ngữ nghĩa phức tạp.

Tóm lại, CoT-Prompting mang lại lợi ích đáng kể trong việc cải thiện các cuộc trò chuyện AI nhưng đồng thời cũng đặt ra những thách thức về mặt kỹ thuật cần được giải quyết để vận hành hiệu quả.

II. Zero-Shot Chain of Thought (Zero-shot-CoT)

Zero-Shot Chain of Thought là một ý tưởng tương đối mới trong lĩnh vực Trí tuệ Nhân tạo hội thoại. Phương pháp này tận dụng khả năng của hệ thống AI để xử lý và phản hồi một tình huống hoặc bối cảnh mà nó chưa từng gặp trước, tức là theo cách "Zero-Shot" (không cần huấn luyện cụ thể).

Một trong những đặc điểm chính của cách trò chuyện của con người là khả năng duy trì mạch suy nghĩ xuyên suốt cuộc đối thoại. Chuyển điều này sang mô hình AI luôn là một thách thức, chủ yếu bởi vì các mô hình AI thường xử lý từng đầu vào của người dùng một cách độc lập, không quan tâm đến lịch sử cuộc trò chuyện. Điều này thường dẫn đến các phản hồi lạc lõng, không ăn khớp với bối cảnh từ phía AI.

Zero-shot-CoT là nỗ lực để AI mô phỏng dòng chảy trò chuyện giống con người này. Ở đây, AI sẽ tính đến lịch sử cuộc trò chuyện, hoặc một phần đáng kể của nó, khi xây dựng phản hồi. Đặc biệt, nó làm điều này mà không cần bất kỳ huấn luyện cụ thể nào trước đó để xử lý các cuộc trò chuyện theo chuỗi suy nghĩ.

Cách thức Zero-shot-CoT hoạt động

Bước	Giải thích
Người dùng nhập liệu	Người dùng cung cấp cho AI một câu hỏi hoặc yêu cầu.
Tạo dựng bối cảnh	Mô hình AI nối câu hỏi/yêu cầu này với lịch sử đối thoại (nếu có) để tạo thành một bối cảnh đầy đủ hơn.
Tạo phản hồi	Mô hình AI xử lý nhắc nhở được nối ghép này và tạo ra phản hồi cho câu hỏi/yêu cầu của người dùng, tham chiếu đến lịch sử đối thoại khi cần thiết, tất cả đều thực hiện theo cách Zero-Shot (không cần huấn luyện cụ thể).
Cập nhật lịch sử	Phản hồi của mô hình được thêm vào lịch sử đối thoại.
Lặp lại	Quá trình này lặp lại với mỗi câu hỏi/yêu cầu mới của người dùng.

Ví dụ minh họa:

Kết quả thực nghiệm dựa trên mô hình text-davinci-003 (GPT-3)

Khi không sử dụng Zero-shot-CoT

⇒　Mô hình LLM đã cho kết quả không chính xác với bài toán đơn giản

Khi sử dụng Zero-shot-CoT

Chúng ta thêm vào cụm từ "Hãy suy nghĩ từng bước một" mô hình sẽ thể hiện ra các lập luận để đưa ra kết quả

⇒ Mô hình đã tự mình lập luận và cho kết quả chính xác

Zero-shot-CoT cũng có hiệu quả trong việc cải thiện kết quả đối với các nhiệm vụ liên quan đến số học, suy luận thông thường và suy luận logic. Tuy nhiên, không có gì ngạc nhiên khi nó thường không hiệu quả bằng CoT-Prompting (kỹ thuật Chuỗi suy nghĩ cần huấn luyện). Một trường hợp sử dụng quan trọng của Zero-shot-CoT là khi khó có được các ví dụ cụ thể để huấn luyện cho CoT-Prompting.

Ưu nhược điểm của kỹ thuật Zero-shot-CoT

Ưu điểm của kỹ thuật Zero-shot-CoT

Khả năng duy trì mạch suy nghĩ xuyên suốt cuộc trò chuyện: Zero-shot-CoT sử dụng lịch sử đối thoại để tạo ra các phản hồi phù hợp với bối cảnh, từ đó giúp duy trì mạch suy nghĩ của cuộc trò chuyện. Điều này mang lại trải nghiệm trò chuyện tự nhiên và hấp dẫn hơn cho người dùng.
Hiệu quả trong các nhiệm vụ đòi hỏi hiểu biết về ngữ cảnh: Zero-shot-CoT có thể xử lý các câu hỏi và yêu cầu phức tạp, liên quan đến nhiều chủ đề khác nhau. Điều này là do Zero-shot-CoT sử dụng lịch sử đối thoại để hiểu bối cảnh của câu hỏi hoặc yêu cầu, từ đó đưa ra các phản hồi chính xác và phù hợp hơn.
Khả năng áp dụng cho các tình huống Zero-Shot: Zero-shot-CoT có thể được áp dụng cho các tình huống mà mô hình AI chưa được huấn luyện cụ thể cho các câu hỏi hoặc yêu cầu cụ thể. Điều này cho phép Zero-shot-CoT được sử dụng trong một loạt các ứng dụng, bao gồm trợ lý ảo, chatbot và các hệ thống hỗ trợ khách hàng.

Nhược điểm của kỹ thuật Zero-shot-CoT

Giới hạn về kích thước lịch sử đối thoại: Zero-shot-CoTcó thể bị hạn chế bởi kích thước lịch sử đối thoại. Nếu lịch sử đối thoại quá dài, mô hình AI có thể gặp khó khăn trong việc xử lý và hiểu toàn bộ bối cảnh.
Tính phức tạp của việc xác định tính liên quan của ngữ cảnh: Zero-shot-CoT phụ thuộc vào khả năng của mô hình AI trong việc xác định các phần nào của lịch sử đối thoại là liên quan đến câu hỏi hoặc yêu cầu hiện tại. Điều này có thể là một nhiệm vụ phức tạp, đặc biệt là đối với các cuộc trò chuyện dài hoặc phức tạp.
Hiệu suất trong các nhiệm vụ đòi hỏi hiểu biết sâu sắc: Zero-shot-CoT có thể gặp khó khăn trong các nhiệm vụ đòi hỏi hiểu biết sâu sắc về thế giới. Ví dụ, Zero-shot-CoT có thể gặp khó khăn trong việc hiểu các khái niệm trừu tượng, châm biếm hoặc mỉa mai.