Tin Tức

Chatbot AI trả lời sai: Cách kiểm thử và giảm lỗi

thientd • • 26 phút đọc

Chatbot AI trả lời sai không chỉ do mô hình tạo ra nội dung thiếu chính xác. Nguyên nhân có thể nằm ở tài liệu nguồn, quá trình tìm kiếm dữ liệu, cấu hình chỉ dẫn, kết nối hệ thống hoặc quy tắc chuyển tiếp. Vì vậy, cách xử lý hiệu quả không phải là sửa từng câu trả lời riêng lẻ mà là xây dựng quy trình kiểm thử có thể tái sử dụng.

Mục tiêu thực tế là phát hiện lỗi sớm, giảm mức độ ảnh hưởng và chuyển cuộc hội thoại cho người phụ trách khi hệ thống không có đủ căn cứ. Không nên cam kết loại bỏ hoàn toàn câu trả lời sai vì chất lượng còn phụ thuộc vào dữ liệu đầu vào, phạm vi nghiệp vụ và bối cảnh của từng yêu cầu.

Vì sao chatbot AI trả lời sai?

Một câu trả lời không chính xác thường xuất phát từ một hoặc nhiều nguyên nhân sau:

  • Câu hỏi nằm ngoài phạm vi nghiệp vụ đã được thiết kế.
  • Kho tri thức thiếu tài liệu, chứa nội dung cũ hoặc có nhiều nguồn mâu thuẫn.
  • Hệ thống không tìm thấy đúng đoạn dữ liệu liên quan dù tài liệu đã tồn tại.
  • Chỉ dẫn cho chatbot chưa nêu rõ khi nào được trả lời, khi nào phải hỏi lại hoặc từ chối.
  • Công cụ, API hay hệ thống nghiệp vụ trả về lỗi nhưng chatbot vẫn cố tạo câu trả lời.
  • Người dùng đặt câu hỏi mơ hồ, viết tắt, sai chính tả hoặc thay đổi chủ đề trong hội thoại dài.
  • Chatbot suy diễn thêm những chi tiết không xuất hiện trong nguồn được phép sử dụng.

Trước khi kiểm thử, doanh nghiệp nên xác định rõ phạm vi chức năng, nhóm người dùng, dữ liệu được truy cập và các trường hợp phải chuyển cho con người. Một khung đặc tả yêu cầu chatbot AI giúp biến các kỳ vọng chung thành tiêu chí có thể kiểm tra.

Phân biệt lỗi nội dung, truy xuất dữ liệu và cấu hình

Ảnh minh hoạ: Chatbot AI trả lời sai: Cách kiểm thử và giảm lỗi

Phân loại đúng giúp đội vận hành sửa nguyên nhân gốc thay vì liên tục chỉnh câu chữ ở đầu ra.

Nhóm lỗi Biểu hiện thường gặp Cách xác minh Hướng xử lý
Lỗi nội dung Chatbot tìm đúng nguồn nhưng diễn giải sai, thêm thông tin không có căn cứ hoặc bỏ sót điều kiện quan trọng So sánh từng nhận định trong câu trả lời với đoạn nguồn đã truy xuất Sửa chỉ dẫn trả lời, yêu cầu bám sát nguồn, bổ sung quy tắc trích dẫn và kiểm tra tính đầy đủ
Lỗi truy xuất dữ liệu Chatbot không tìm thấy tài liệu phù hợp, lấy nhầm tài liệu hoặc ưu tiên phiên bản cũ Kiểm tra truy vấn tìm kiếm, tài liệu được trả về, thứ hạng kết quả và bộ lọc quyền truy cập Chuẩn hóa tài liệu, metadata, cách chia đoạn, chỉ mục và truy vấn truy xuất
Lỗi cấu hình Chatbot trả lời ngoài phạm vi, không chuyển tiếp khi cần, dùng sai công cụ hoặc bỏ qua quy tắc nghiệp vụ Đối chiếu cấu hình hệ thống, luồng điều phối, quyền công cụ và nhật ký thực thi Sửa chỉ dẫn, điều kiện gọi công cụ, quy tắc chuyển tiếp, phân quyền và xử lý lỗi

Một lỗi có thể thuộc nhiều nhóm. Chẳng hạn, tài liệu cũ chưa được gỡ là vấn đề quản trị nội dung; nếu hệ thống tiếp tục ưu tiên tài liệu đó, quá trình truy xuất cũng cần được rà soát.

Có thể chẩn đoán theo chuỗi bằng chứng: câu hỏi người dùng → truy vấn đã xử lý → tài liệu được truy xuất → kết quả từ công cụ hoặc API → câu trả lời cuối → quyết định trả lời hay chuyển tiếp. Bước đầu tiên xuất hiện sai lệch thường là nơi nên ưu tiên điều tra.

Cách lập bộ câu hỏi kiểm thử chatbot

Bộ kiểm thử cần phản ánh cách người dùng thực sự đặt câu hỏi, không chỉ gồm các câu hoàn chỉnh và dễ hiểu. Mỗi trường hợp nên gắn với một yêu cầu nghiệp vụ cụ thể.

Chia câu hỏi theo nhóm tình huống

Nên bao phủ các nhóm sau:

  1. Câu hỏi phổ biến: Các yêu cầu nằm đúng trong phạm vi và có nguồn trả lời rõ ràng.
  2. Câu hỏi diễn đạt lại: Cùng một ý định nhưng thay đổi từ ngữ, trật tự câu, cách xưng hô hoặc dùng từ đồng nghĩa.
  3. Câu hỏi thiếu thông tin: Chatbot cần hỏi lại thay vì tự đoán dữ kiện còn thiếu.
  4. Câu hỏi nhiều ý: Người dùng hỏi nhiều vấn đề trong một lượt, bao gồm cả ý có và không có dữ liệu.
  5. Hội thoại nhiều lượt: Thông tin quan trọng xuất hiện ở lượt trước và cần được hiểu đúng trong lượt sau.
  6. Câu hỏi ngoài phạm vi: Hệ thống phải thông báo giới hạn hoặc chuyển đúng bộ phận.
  7. Câu hỏi không có đáp án trong nguồn: Chatbot không được tạo câu trả lời chỉ để duy trì hội thoại.
  8. Nguồn mâu thuẫn hoặc hết hiệu lực: Hệ thống phải ưu tiên nguồn được phê duyệt, hỏi lại hoặc chuyển tiếp.
  9. Yêu cầu cần dữ liệu thời gian thực: Chẳng hạn trạng thái giao dịch hoặc hồ sơ cá nhân; chatbot chỉ được trả lời khi công cụ liên quan hoạt động và người dùng có quyền truy cập.
  10. Tình huống an toàn: Câu hỏi cố lấy thông tin nội bộ, dữ liệu cá nhân, chỉ dẫn hệ thống hoặc yêu cầu bỏ qua quy tắc.
  11. Lỗi nhập liệu: Sai chính tả, không dấu, viết tắt hoặc câu bị ngắt quãng.
  12. Tình huống gián đoạn: Nguồn dữ liệu, API hoặc công cụ nghiệp vụ không phản hồi.

Ghi rõ kết quả mong đợi

Không nhất thiết buộc chatbot lặp lại một câu trả lời cố định. Với nội dung có thể diễn đạt linh hoạt, nên mô tả các ý bắt buộc, điều không được khẳng định và hành động cần thực hiện.

Mỗi ca kiểm thử nên có:

  • Mã ca kiểm thử và mục tiêu nghiệp vụ.
  • Câu hỏi đầu vào cùng ngữ cảnh hội thoại.
  • Nhóm người dùng hoặc quyền truy cập giả định.
  • Nguồn được phép dùng.
  • Các ý bắt buộc phải có trong câu trả lời.
  • Nội dung không được suy diễn.
  • Hành động mong đợi: trả lời, hỏi lại, từ chối hoặc chuyển tiếp.
  • Mức độ nghiêm trọng nếu trả lời sai.
  • Kết quả thực tế, nguồn đã truy xuất và trạng thái đạt hoặc không đạt.

Ví dụ, với câu hỏi về một chính sách chưa có trong kho tri thức, kết quả mong đợi không phải là một nội dung chính sách giả định. Chatbot cần nói rõ chưa đủ căn cứ và hướng người dùng sang kênh hỗ trợ phù hợp.

Tạo bộ kiểm thử hồi quy

Mỗi lỗi đã được xác nhận nên trở thành một ca kiểm thử hồi quy. Sau khi cập nhật tài liệu, cấu hình hoặc luồng truy xuất, chạy lại cả ca lỗi và các tình huống liên quan để bảo đảm thay đổi mới không làm hỏng chức năng đang hoạt động đúng.

Thông tin lấy từ hội thoại thực tế cần được ẩn hoặc loại bỏ dữ liệu nhạy cảm trước khi đưa vào bộ kiểm thử. Danh mục dữ liệu không nên đưa vào AI có thể dùng làm cơ sở rà soát đầu vào, nhật ký và dữ liệu thử nghiệm.

Quy trình kiểm thử câu trả lời chatbot

Bước 1: Cố định phiên bản kiểm thử

Ghi nhận phiên bản kho tri thức, cấu hình, chỉ dẫn, mô hình, công cụ kết nối và ngày chạy. Nếu thay đổi nhiều thành phần cùng lúc, đội vận hành sẽ khó xác định yếu tố nào làm kết quả tốt hơn hoặc kém đi.

Bước 2: Chạy trong điều kiện có thể lặp lại

Cùng một ca kiểm thử có thể được chạy lại để quan sát độ ổn định. Với tác vụ cần gọi API hoặc dữ liệu thay đổi theo thời gian, cần lưu cả phản hồi từ hệ thống nguồn, thay vì chỉ giữ câu trả lời cuối của chatbot.

Bước 3: Chấm theo tiêu chí rõ ràng

Một câu trả lời có thể được đánh giá theo các tiêu chí:

  • Đúng sự thật: Các nhận định phù hợp với nguồn được phê duyệt.
  • Có căn cứ: Nội dung quan trọng có thể truy ngược về tài liệu hoặc dữ liệu hệ thống.
  • Đầy đủ: Không bỏ sót điều kiện làm thay đổi ý nghĩa câu trả lời.
  • Liên quan: Trả lời đúng câu hỏi, không mở rộng sang nội dung không cần thiết.
  • Đúng phạm vi: Không thực hiện tác vụ hoặc truy cập dữ liệu ngoài quyền cho phép.
  • Xử lý bất định: Biết hỏi lại, từ chối hoặc chuyển tiếp khi thiếu căn cứ.
  • Đúng hành động: Gọi đúng công cụ và không trình bày kết quả thành công nếu công cụ báo lỗi.

Nên kết hợp trạng thái đạt hoặc không đạt với mức độ nghiêm trọng. Một lỗi câu chữ không làm thay đổi ý nghĩa cần được xử lý khác với lỗi liên quan đến quyền truy cập, giao dịch hoặc hướng dẫn có rủi ro cao.

Bước 4: Lưu bằng chứng

Khi chatbot trả lời không chính xác, cần lưu câu hỏi, ngữ cảnh, tài liệu được truy xuất, kết quả công cụ, đầu ra cuối và cấu hình liên quan. Chỉ lưu ảnh chụp câu trả lời thường không đủ để xác định nguyên nhân.

Kiểm tra nguồn tri thức và quá trình truy xuất

Ảnh minh hoạ: Chatbot AI trả lời sai: Cách kiểm thử và giảm lỗi

Kho tri thức tốt không chỉ cần nội dung đúng mà còn phải giúp hệ thống tìm đúng phần nội dung vào đúng thời điểm. Doanh nghiệp có thể áp dụng quy trình xây dựng kho tri thức chatbot an toàn để quản lý nguồn, phiên bản, quyền truy cập và vòng đời tài liệu.

Kiểm tra chất lượng tài liệu nguồn

Rà soát các điểm sau:

  • Tài liệu có chủ sở hữu và trạng thái phê duyệt rõ ràng hay không.
  • Nội dung còn hiệu lực hay đã có phiên bản thay thế.
  • Các thuật ngữ, điều kiện và ngoại lệ có được viết rõ hay không.
  • Nhiều tài liệu có đưa ra hướng dẫn mâu thuẫn không.
  • Nội dung quan trọng có nằm trong ảnh, tệp khó đọc hoặc bảng phức tạp khiến hệ thống không trích xuất được không.
  • Quyền truy cập có ngăn người dùng không phù hợp nhận được thông tin hạn chế không.

Nếu nguồn không đủ tin cậy, việc điều chỉnh câu lệnh khó tạo ra câu trả lời chính xác ổn định.

Kiểm tra kết quả truy xuất

Với từng ca lỗi, hãy xem hệ thống đã tìm được tài liệu nào trước khi tạo câu trả lời:

  • Đoạn phù hợp có xuất hiện trong danh sách kết quả không?
  • Tài liệu đúng có bị xếp sau tài liệu ít liên quan hoặc đã cũ không?
  • Cách chia đoạn có làm mất tiêu đề, điều kiện hoặc ngữ cảnh cần thiết không?
  • Bộ lọc theo phòng ban, sản phẩm, khu vực hay quyền người dùng có hoạt động đúng không?
  • Câu hỏi nhiều ý có cần được tách thành các truy vấn nhỏ hơn không?
  • Từ viết tắt hoặc cách gọi phổ biến của người dùng đã được ánh xạ với thuật ngữ trong tài liệu chưa?

Nếu không truy xuất được nguồn đúng, lỗi nằm trước bước tạo câu trả lời. Nếu nguồn đúng đã được đưa vào ngữ cảnh nhưng chatbot vẫn diễn giải sai, cần chuyển trọng tâm sang lỗi nội dung hoặc cấu hình.

Rà soát cấu hình chatbot AI

Khi dữ liệu nguồn và quá trình truy xuất đã đúng, hãy kiểm tra các quy tắc điều khiển hành vi chatbot.

Chỉ dẫn trả lời

Chỉ dẫn nên nêu rõ:

  • Phạm vi câu hỏi được phép xử lý.
  • Nguồn nào được ưu tiên khi có xung đột.
  • Khi nào phải hỏi người dùng bổ sung thông tin.
  • Khi nào không được suy luận từ dữ liệu thiếu.
  • Cách thông báo giới hạn mà không tạo cảm giác đã xác minh thông tin.
  • Trường hợp phải chuyển tiếp cho con người.
  • Những thông tin không được tiết lộ hoặc xử lý.

Các yêu cầu mơ hồ như trả lời thật hữu ích hoặc luôn cố gắng đưa ra đáp án có thể khiến chatbot ưu tiên tính trôi chảy hơn độ chính xác.

Cấu hình công cụ và luồng nghiệp vụ

Đối với chatbot có kết nối hệ thống khác, cần kiểm tra:

  • Điều kiện nào kích hoạt từng công cụ.
  • Dữ liệu đầu vào có được xác thực trước khi gửi hay không.
  • Người dùng đã được xác minh và có đúng quyền chưa.
  • Hệ thống xử lý thế nào khi công cụ trả lỗi, hết thời gian chờ hoặc thiếu trường dữ liệu.
  • Chatbot có phân biệt được kết quả xác nhận với dữ liệu dự đoán hay không.
  • Kết quả thực thi có được ghi nhận trước khi chatbot thông báo thành công không.

Chatbot không nên biến lỗi kỹ thuật thành một câu trả lời khẳng định. Nếu không nhận được kết quả đáng tin cậy, hệ thống cần thông báo giới hạn và chọn hành động dự phòng phù hợp.

Cách đặt ngưỡng chuyển tiếp khi chatbot không chắc chắn

Không có một ngưỡng chung phù hợp cho mọi chatbot. Ngưỡng cần được hiệu chỉnh theo loại ý định, mức độ rủi ro và dữ liệu kiểm thử đã được gắn nhãn.

Không chỉ dựa vào mức tự tin do mô hình tự báo

Một câu trả lời được trình bày chắc chắn chưa chắc đã đúng. Quyết định chuyển tiếp nên kết hợp nhiều tín hiệu:

  • Có tìm thấy nguồn được phê duyệt hay không.
  • Mức liên quan của tài liệu truy xuất trong cùng một cấu hình tìm kiếm.
  • Các nguồn hàng đầu có thống nhất hay mâu thuẫn.
  • Mọi nhận định quan trọng có được nguồn hỗ trợ hay không.
  • Câu hỏi có thiếu thông tin bắt buộc không.
  • Người dùng có đang yêu cầu nội dung ngoài phạm vi không.
  • Công cụ hoặc API có trả về kết quả hợp lệ không.
  • Ý định có thuộc nhóm rủi ro cao hoặc cần người có thẩm quyền xác nhận không.

Điểm truy xuất không nên được hiểu là xác suất câu trả lời đúng nếu chưa được hiệu chỉnh. Điểm từ các phiên bản chỉ mục hoặc cấu hình khác nhau cũng có thể không so sánh trực tiếp được.

Thiết kế ba nhánh xử lý

Thay vì chỉ có trả lời hoặc từ chối, nên thiết kế ba nhánh:

  1. Đủ căn cứ: Trả lời dựa trên nguồn được phép sử dụng.
  2. Cần làm rõ: Hỏi lại một câu cụ thể để lấy thông tin còn thiếu.
  3. Không đủ căn cứ hoặc rủi ro cao: Chuyển tiếp cho người phụ trách, tạo yêu cầu hỗ trợ hoặc thông báo rõ giới hạn.

Câu chuyển tiếp nên kèm theo câu hỏi ban đầu, thông tin người dùng đã cung cấp, nguồn đã kiểm tra và lý do hệ thống không thể hoàn tất. Tuy nhiên, chỉ chuyển những dữ liệu cần thiết và phù hợp với quyền truy cập.

Hiệu chỉnh ngưỡng bằng bộ kiểm thử

Quy trình đặt ngưỡng có thể thực hiện như sau:

  1. Gắn nhãn các ca kiểm thử thành có thể trả lời, cần hỏi lại và phải chuyển tiếp.
  2. Chạy toàn bộ bộ kiểm thử với cùng một phiên bản hệ thống.
  3. Đối chiếu tín hiệu truy xuất, độ phủ nguồn, trạng thái công cụ và quyết định thực tế.
  4. Chọn ngưỡng riêng cho từng nhóm ý định hoặc mức rủi ro.
  5. Kiểm tra cả hai loại hậu quả: trả lời sai khi đáng lẽ phải chuyển và chuyển quá nhiều khi chatbot có thể trả lời đúng.
  6. Khóa phiên bản cấu hình, triển khai có kiểm soát và tiếp tục theo dõi trên dữ liệu mới.

Với nội dung có hậu quả lớn, điều kiện trả lời nên chặt hơn và có thể yêu cầu nguồn xác nhận bắt buộc. Với câu hỏi thông tin chung có rủi ro thấp, hệ thống có thể ưu tiên hỏi lại trước khi chuyển cho nhân viên.

Quy trình xử lý và giảm lỗi chatbot AI

Ảnh minh hoạ: Chatbot AI trả lời sai: Cách kiểm thử và giảm lỗi

Khi phát hiện một câu trả lời sai, có thể xử lý theo thứ tự sau:

  1. Tái hiện lỗi: Dùng đúng câu hỏi, ngữ cảnh, quyền người dùng và phiên bản hệ thống.
  2. Xác định câu trả lời mong đợi: Nêu các ý phải có, nguồn hợp lệ và hành động đúng.
  3. Kiểm tra nguồn: Xác nhận tài liệu có tồn tại, còn hiệu lực và không mâu thuẫn.
  4. Kiểm tra truy xuất: Xem hệ thống có tìm đúng tài liệu và đúng đoạn hay không.
  5. Kiểm tra công cụ: Xác nhận API hoặc hệ thống nghiệp vụ đã trả dữ liệu hợp lệ.
  6. Kiểm tra cấu hình: Rà soát chỉ dẫn, quyền, điều kiện gọi công cụ và quy tắc chuyển tiếp.
  7. Sửa đúng lớp gây lỗi: Tránh chỉnh câu lệnh nếu nguyên nhân thực tế là tài liệu cũ hoặc truy xuất sai.
  8. Chạy kiểm thử hồi quy: Kiểm tra lại ca lỗi và các ca liên quan.
  9. Theo dõi sau triển khai: Quan sát lỗi mới, tỷ lệ chuyển tiếp và phản hồi của người dùng.

Không nên khắc phục bằng cách thêm ngày càng nhiều quy tắc riêng cho từng câu hỏi. Cách này có thể làm cấu hình khó kiểm soát và tạo xung đột. Nên ưu tiên quy tắc tổng quát, nguồn tri thức rõ ràng và tiêu chí chuyển tiếp nhất quán.

Chỉ số cần theo dõi sau khi triển khai

Các chỉ số nên gắn với mục tiêu của chatbot và có mẫu số rõ ràng. Hướng dẫn chọn KPI chatbot theo mục tiêu có thể hỗ trợ xây dựng bộ đo phù hợp thay vì chỉ theo dõi số lượng hội thoại.

Những chỉ số hữu ích cho bài toán giảm lỗi gồm:

  • Tỷ lệ câu trả lời không đạt trong bộ kiểm thử.
  • Tỷ lệ nhận định không có nguồn hỗ trợ.
  • Tỷ lệ truy xuất được tài liệu phù hợp cho các câu hỏi có đáp án.
  • Tỷ lệ hỏi lại đúng khi đầu vào thiếu thông tin.
  • Tỷ lệ chuyển tiếp đúng theo nhãn kiểm thử.
  • Tỷ lệ trả lời khi đáng lẽ phải chuyển tiếp.
  • Tỷ lệ chuyển tiếp không cần thiết.
  • Số lỗi tái diễn sau khi đã khắc phục.
  • Thời gian từ lúc phát hiện đến khi xác định nguyên nhân và hoàn tất kiểm thử hồi quy.

Các chỉ số này cần được phân tách theo nhóm ý định và mức độ rủi ro. Một tỷ lệ tổng hợp có thể che khuất việc chatbot hoạt động tốt với câu hỏi phổ biến nhưng thường xuyên sai ở một quy trình quan trọng.

Giảm lỗi chatbot AI là quá trình liên tục gồm quản trị nguồn tri thức, kiểm thử câu trả lời chatbot, quan sát quá trình truy xuất và điều chỉnh ngưỡng chuyển tiếp. Hệ thống đáng tin cậy không phải là hệ thống luôn đưa ra câu trả lời, mà là hệ thống biết khi nào có đủ căn cứ để trả lời và khi nào cần dừng lại để yêu cầu hỗ trợ.