NGHIÊN CỨU TÁC ĐỘNG CỦA “ẢO GIÁC AI” TRONG CÁC MÔ HÌNH NGÔN NGỮ LỚN VÀ GIẢI PHÁP KHẮC PHỤC BẰNG DỮ LIỆU CỤC BỘ THÔNG QUA RAG

Bùi Phương Nguyên - Nguyễn Nam Thành

Khoa Điện- Điện tử, trường Cao đẳng Công nghiệp Quốc phòng

Email: [email protected]

Tóm tắt: Hiện tượng "ảo giác AI" (AI Hallucination) đang trở thành một trong những thách thức lớn đối với việc ứng dụng các mô hình ngôn ngữ lớn (LLMs), khi hệ thống có thể tạo ra thông tin sai lệch hoặc không có căn cứ nhưng vẫn thể hiện với độ tin cậy cao. Bài viết phân tích nguyên nhân, tác động của hiện tượng này và đánh giá hiệu quả của kỹ thuật Retrieval-Augmented Generation (RAG) kết hợp với dữ liệu cục bộ trong việc nâng cao độ chính xác của nội dung do AI tạo sinh. Kết quả nghiên cứu cho thấy RAG giúp AI truy xuất thông tin từ nguồn dữ liệu đã được kiểm chứng, hạn chế đáng kể hiện tượng ảo giác, đồng thời tăng khả năng kiểm chứng và truy xuất nguồn gốc thông tin. Trên cơ sở đó, bài viết đề xuất một số định hướng ứng dụng RAG nhằm nâng cao độ tin cậy và hiệu quả của AI tạo sinh trong giáo dục, nghiên cứu khoa học và các lĩnh vực chuyên môn có yêu cầu cao về tính chính xác.

Từ khóa: Ảo giác AI; mô hình ngôn ngữ lớn; trí tuệ nhân tạo tạo sinh; RAG; dữ liệu cục bộ; kiểm chứng thông tin.

1. Đặt vấn đề

Trí tuệ nhân tạo tạo sinh, đặc biệt là các mô hình ngôn ngữ lớn, đang phát triển nhanh chóng và được ứng dụng rộng rãi trong nhiều lĩnh vực như giáo dục, nghiên cứu khoa học, truyền thông, hành chính, y tế, tài chính, pháp luật, quốc phòng, an ninh và quản trị doanh nghiệp. Với khả năng tạo lập văn bản, tóm tắt tài liệu, phân tích dữ liệu, hỗ trợ lập trình, xây dựng kế hoạch và trả lời câu hỏi theo ngôn ngữ tự nhiên, các mô hình ngôn ngữ lớn tạo ra cơ hội lớn để nâng cao năng suất lao động trí óc.

Theo Báo cáo AI Index 2026 của Stanford, tỷ lệ tổ chức được khảo sát sử dụng AI trong ít nhất một chức năng đã tăng lên 88% vào năm 2025; trong đó, 70% tổ chức cho biết đã sử dụng AI tạo sinh trong ít nhất một chức năng. Điều này cho thấy AI không còn là công nghệ thử nghiệm phạm vi hẹp, mà đang trở thành công cụ phổ biến trong hoạt động của các tổ chức hiện đại [1].

Tuy nhiên, cùng với lợi ích, AI tạo sinh cũng đặt ra nhiều rủi ro mới. Một trong những rủi ro nổi bật là hiện tượng “ảo giác AI” hay AI hallucination. Đây là hiện tượng mô hình tạo ra nội dung sai, không có căn cứ, bịa đặt nguồn, nhầm lẫn số liệu, gán sai tác giả, sai thời gian, sai văn bản hoặc đưa ra kết luận không được chứng minh, nhưng lại trình bày bằng ngôn ngữ mạch lạc, tự tin, khiến người dùng dễ tin là đúng.

NIST (National Institute of Standards and Technology) gọi hiện tượng này là “confabulation”, tức việc hệ thống AI tạo ra nội dung sai hoặc không chính xác nhưng được trình bày một cách chắc chắn, có thể làm người dùng bị hiểu lầm hoặc bị đánh lừa [2]. Trong môi trường học thuật, quản lý, nghiên cứu và tham mưu, vấn đề này đặc biệt nguy hiểm, bởi chỉ một sai lệch nhỏ về số liệu, trích dẫn, văn kiện, căn cứ pháp lý hoặc thông tin chuyên ngành cũng có thể làm giảm chất lượng sản phẩm, ảnh hưởng đến uy tín cá nhân, cơ quan, đơn vị.

Thực tiễn sử dụng cho thấy, mô hình ngôn ngữ lớn thường trả lời tốt với những vấn đề phổ biến, có nhiều dữ liệu trên Internet; nhưng dễ sai khi gặp câu hỏi về tài liệu nội bộ, thông tin mới ban hành, dữ liệu chuyên ngành hẹp, tên riêng ít xuất hiện, văn bản địa phương, số trang tài liệu, trích dẫn chính xác hoặc những nội dung yêu cầu căn cứ nguồn cụ thể. Đây chính là khoảng trống giữa “tri thức chung” của mô hình và “tri thức cục bộ” của từng tổ chức.

Trong bối cảnh Việt Nam đẩy mạnh chuyển đổi số, phát triển khoa học, công nghệ, đổi mới sáng tạo theo tinh thần Nghị quyết số 57-NQ/TW ngày 22/12/2024 của Bộ Chính trị, việc khai thác AI phải gắn với yêu cầu làm giàu dữ liệu, khai thác dữ liệu, bảo đảm an ninh dữ liệu, an toàn thông tin và chủ quyền số [3]. Vì vậy, nghiên cứu tác động của ảo giác AI và đề xuất giải pháp khắc phục bằng dữ liệu cục bộ thông qua RAG có ý nghĩa thiết thực cả về lý luận và thực tiễn.

2. Bản chất và biểu hiện của ảo giác AI

Ảo giác AI không phải là lỗi ngẫu nhiên đơn giản, mà xuất phát từ cơ chế hoạt động của mô hình ngôn ngữ lớn. Về bản chất, mô hình được huấn luyện để dự đoán chuỗi từ tiếp theo dựa trên xác suất ngôn ngữ và các mẫu tri thức đã học được trong dữ liệu huấn luyện. Do đó, mô hình có thể tạo ra câu trả lời nghe có vẻ hợp lý về mặt ngôn ngữ, nhưng không bảo đảm hoàn toàn đúng về mặt thực tế.

Ảo giác AI thường biểu hiện dưới một số dạng chủ yếu:

Thứ nhất, bịa đặt sự kiện. Mô hình có thể tạo ra một sự kiện không có thật, nhầm thời gian, nhầm nhân vật hoặc gán một hoạt động cho tổ chức, cá nhân không liên quan.

Thứ hai, bịa đặt nguồn trích dẫn. Đây là lỗi phổ biến trong nghiên cứu và viết bài. Mô hình có thể tạo ra tên tài liệu, tên tác giả, số trang, đường dẫn hoặc mã văn bản trông rất hợp lý nhưng không tồn tại.

Thứ ba, sai lệch số liệu. Mô hình có thể đưa ra tỷ lệ phần trăm, bảng biểu, kết quả thống kê hoặc xếp hạng không đúng với nguồn gốc ban đầu.

Thứ tư, suy luận quá mức. Mô hình có thể lấy một thông tin đúng làm căn cứ rồi suy diễn thành kết luận vượt quá phạm vi mà dữ liệu cho phép.

Thứ năm, lỗi cập nhật tri thức. Vì tri thức của mô hình có giới hạn theo thời điểm huấn luyện hoặc theo dữ liệu truy cập, mô hình có thể trả lời sai đối với văn bản mới ban hành, chính sách mới, nhân sự mới, số liệu mới hoặc sự kiện vừa diễn ra.

Các lỗi trên đặc biệt nguy hiểm vì chúng thường được diễn đạt bằng văn phong mạch lạc, chặt chẽ, có vẻ khoa học. Người dùng thiếu kinh nghiệm rất dễ nhầm lẫn giữa “câu trả lời trôi chảy” và “câu trả lời chính xác”.

3. Một số số liệu quốc tế về mức độ sai lệch thông tin của mô hình ngôn ngữ lớn

Các đánh giá quốc tế cho thấy ảo giác AI vẫn là vấn đề hiện hữu, kể cả với các mô hình tiên tiến. Trong GPT-4.5 System Card, OpenAI công bố kết quả đánh giá trên PersonQA, một bộ câu hỏi nhằm khơi gợi hiện tượng hallucination đối với các thông tin công khai về con người. Kết quả cho thấy GPT-4o có độ chính xác 0,50 và hallucination rate 0,30; o1 có độ chính xác 0,55 và hallucination rate 0,20; GPT-4.5 có độ chính xác 0,78 và hallucination rate 0,19 [4]. Như vậy, dù mô hình mới có cải thiện, tỷ lệ ảo giác vẫn chưa bằng 0.

Ở một đánh giá khác, OpenAI công bố kết quả SimpleQA, bộ đo lường tính đúng sự thật của mô hình đối với các câu hỏi kiến thức ngắn. Kết quả hiển thị cho thấy hallucination rate của một số mô hình vẫn ở mức cao, trong đó GPT-4.5 là 37,1%, GPT-4o là 61,8%, o1 là 44% và o3-mini là 80,3% [5]. Các con số này cho thấy, ngay cả với câu hỏi ngắn, có đáp án rõ ràng, mô hình vẫn có thể trả lời sai nếu không được thiết kế để biết từ chối hoặc thể hiện sự không chắc chắn khi thiếu căn cứ.

Nghiên cứu HaluEval cũng ghi nhận ChatGPT có xu hướng tạo ra nội dung ảo giác trong một số chủ đề, với khoảng 19,5% phản hồi chứa nội dung bịa đặt hoặc không thể kiểm chứng [6]. Trong khi đó, RAGTruth xây dựng một kho dữ liệu gần 18.000 phản hồi được tạo tự nhiên từ nhiều mô hình khác nhau trong bối cảnh RAG, sau đó được gán nhãn thủ công ở cấp độ phản hồi và cấp độ từ để phân tích mức độ ảo giác [7]. Điều này cho thấy, kể cả khi đã sử dụng RAG, ảo giác AI vẫn có thể xuất hiện nếu tài liệu truy xuất không phù hợp, bộ tìm kiếm yếu, dữ liệu cục bộ chưa sạch hoặc mô hình tổng hợp thông tin không đúng.

Từ các số liệu trên có thể rút ra ba nhận xét. Một là, ảo giác AI là vấn đề có thật, đã được ghi nhận bằng các đánh giá định lượng. Hai là, mô hình càng mới, càng mạnh không đồng nghĩa với việc hoàn toàn hết ảo giác. Ba là, muốn ứng dụng AI trong môi trường chuyên môn, không thể chỉ dựa vào mô hình chung, mà cần cơ chế nối mô hình với nguồn dữ liệu đáng tin cậy và có quy trình kiểm chứng.

4. Nguyên nhân chính dẫn đến ảo giác AI

Có nhiều nguyên nhân làm phát sinh ảo giác AI, trong đó nổi bật là:

Một là, giới hạn của dữ liệu huấn luyện. Mô hình ngôn ngữ lớn được huấn luyện trên lượng dữ liệu rất lớn, nhưng dữ liệu đó không thể bao phủ toàn bộ tri thức của thế giới, nhất là tài liệu nội bộ, văn bản mới, số liệu cập nhật hoặc thông tin chuyên ngành hẹp.

Hai là, mô hình không “hiểu” nguồn theo nghĩa con người. Mô hình có thể học được mối liên hệ giữa các từ, câu, khái niệm, nhưng không mặc nhiên có khả năng xác minh xem thông tin nào đang tồn tại trong một văn bản cụ thể, số trang cụ thể, phiên bản cụ thể.

Ba là, cơ chế tối ưu hóa có thể khuyến khích trả lời hơn là từ chối. Trong nhiều trường hợp, mô hình có xu hướng đưa ra câu trả lời có vẻ hữu ích thay vì thừa nhận “không đủ dữ liệu”. Điều này làm tăng nguy cơ bịa đặt khi người dùng đặt câu hỏi có tính đánh đố, quá hẹp hoặc yêu cầu thông tin không nằm trong dữ liệu mô hình.

Bốn là, thiếu dữ liệu cục bộ đã được kiểm duyệt. Đối với cơ quan, đơn vị, nhà trường hoặc doanh nghiệp, rất nhiều tri thức quan trọng nằm trong tài liệu nội bộ. Nếu mô hình không được kết nối với kho dữ liệu này, câu trả lời dễ dựa vào tri thức chung, dẫn đến sai lệch so với quy định, quy trình và thực tiễn của tổ chức.

Năm là, người dùng sử dụng AI thiếu kỹ năng kiểm chứng. Khi người dùng không yêu cầu nguồn, không đối chiếu tài liệu gốc, không kiểm tra số liệu và không nhận diện rủi ro ảo giác, sai lệch của AI có thể đi thẳng vào báo cáo, bài viết, bài giảng hoặc quyết định chuyên môn.

5. Tác động của ảo giác AI trong thực tiễn

Ảo giác AI có thể gây ra nhiều tác động tiêu cực.

Trong giáo dục và đào tạo, AI có thể tạo ra khái niệm sai, trích dẫn sai giáo trình, bịa đặt tên tác giả, làm sai lệch kiến thức hoặc khiến người học phụ thuộc vào câu trả lời chưa kiểm chứng. Nếu giảng viên, học viên sử dụng trực tiếp nội dung đó trong bài giảng, bài thu hoạch, đề cương hoặc tài liệu học tập, chất lượng giáo dục sẽ bị ảnh hưởng.

Trong nghiên cứu khoa học, ảo giác AI có thể dẫn đến trích dẫn giả, tài liệu tham khảo không tồn tại, số liệu không có nguồn, phương pháp nghiên cứu thiếu căn cứ. Đây là rủi ro lớn đối với đạo đức học thuật và uy tín khoa học.

Trong quản lý nhà nước và hoạt động hành chính, AI trả lời sai về văn bản quy phạm pháp luật, thời điểm hiệu lực, thẩm quyền, quy trình, biểu mẫu hoặc số liệu thống kê có thể ảnh hưởng trực tiếp đến chất lượng tham mưu, xử lý công việc và phục vụ người dân, doanh nghiệp.

Trong lĩnh vực quốc phòng, an ninh, ảo giác AI còn nguy hiểm hơn vì thông tin sai có thể ảnh hưởng đến nhận định tình hình, huấn luyện, giáo dục chính trị, bảo mật thông tin và ra quyết định. Do đó, AI chỉ nên đóng vai trò công cụ hỗ trợ, không thay thế trách nhiệm kiểm tra, đánh giá và quyết định của con người.

Trong truyền thông và không gian mạng, nội dung do AI tạo ra nếu không kiểm chứng có thể làm gia tăng tin giả, tin sai sự thật, gây nhiễu loạn thông tin, tác động tiêu cực đến nhận thức xã hội.

6. Giải pháp khắc phục bằng dữ liệu cục bộ thông qua RAG

Một là, làm rõ RAG và phân biệt với fine-tuning

RAG là viết tắt của Retrieval-Augmented Generation, nghĩa là tạo sinh tăng cường bằng truy xuất. Về nguyên lý, RAG không nhất thiết là fine-tuning theo nghĩa truyền thống. Fine-tuning là quá trình tiếp tục huấn luyện mô hình trên bộ dữ liệu mới để điều chỉnh trọng số của mô hình. Trong khi đó, RAG không thay đổi trọng số cốt lõi của mô hình, mà bổ sung một tầng truy xuất tài liệu bên ngoài để mô hình trả lời dựa trên các đoạn tài liệu liên quan.

Có thể hiểu ngắn gọn: fine-tuning giúp mô hình “học thêm cách trả lời” hoặc thích nghi với phong cách, nhiệm vụ; còn RAG giúp mô hình “mở tài liệu ra tra cứu” trước khi trả lời. Đối với các cơ quan, đơn vị cần bảo đảm tính chính xác của thông tin, RAG thường phù hợp hơn ở giai đoạn đầu vì dễ cập nhật, dễ kiểm soát nguồn, không đòi hỏi huấn luyện lại mô hình và có thể truy xuất căn cứ cụ thể.

Nghiên cứu ban đầu về RAG cho thấy mô hình kết hợp giữa trí nhớ tham số của mô hình và trí nhớ phi tham số từ kho dữ liệu truy xuất có thể tạo ra ngôn ngữ cụ thể, đa dạng và đúng sự thật hơn so với mô hình chỉ dựa vào tham số [8]. Đây là cơ sở quan trọng để ứng dụng RAG trong việc giảm ảo giác AI.

Hai là, thực hiện quy trình ứng dụng RAG với dữ liệu cục bộ

Một hệ thống RAG dùng cho cơ quan, đơn vị có thể triển khai theo quy trình sau:

Bước 1: Xây dựng kho dữ liệu cục bộ. Cơ quan, đơn vị cần tập hợp các tài liệu chính thức như văn bản chỉ đạo, quy chế, quy định, giáo trình, báo cáo, biểu mẫu, tài liệu nghiệp vụ, ngân hàng câu hỏi, tài liệu nghiên cứu và dữ liệu thống kê đã được kiểm duyệt.

Bước 2: Làm sạch và chuẩn hóa dữ liệu. Tài liệu cần được rà soát, loại bỏ bản trùng, bản cũ, bản hết hiệu lực; chuẩn hóa tên văn bản, thời gian ban hành, cơ quan ban hành, số trang, mục lục, từ khóa và metadata. Đây là khâu đặc biệt quan trọng, vì RAG chỉ tốt khi dữ liệu đầu vào chính xác.

Bước 3: Chia nhỏ tài liệu thành các đoạn phù hợp. Tài liệu được chia thành các đoạn ngắn theo mục, điều, khoản, đoạn văn hoặc chủ đề. Nếu chia quá dài, hệ thống khó tìm đúng nội dung; nếu chia quá ngắn, câu trả lời dễ mất ngữ cảnh.

Bước 4: Tạo chỉ mục truy xuất. Các đoạn tài liệu được chuyển thành vector hoặc cấu trúc chỉ mục để hệ thống tìm kiếm nhanh theo ngữ nghĩa, không chỉ theo từ khóa.

Bước 5: Truy xuất tài liệu liên quan khi người dùng đặt câu hỏi. Khi người dùng hỏi, hệ thống sẽ tìm những đoạn tài liệu phù hợp nhất trong kho dữ liệu cục bộ và đưa vào ngữ cảnh cho mô hình.

Bước 6: Mô hình tạo câu trả lời có căn cứ. Mô hình chỉ được yêu cầu trả lời dựa trên tài liệu đã truy xuất, kèm nguồn, tên tài liệu, mục, trang hoặc đoạn trích nếu có.

Bước 7: Kiểm chứng và phản hồi. Người dùng hoặc chuyên gia kiểm tra lại câu trả lời. Các lỗi phát hiện được ghi nhận để cải thiện kho dữ liệu, cách chia đoạn, truy vấn, bộ lọc và hướng dẫn sử dụng.

Ba là, sử dụng cơ chế RAG giúp giảm ảo giác AI

Một là, neo câu trả lời vào nguồn tài liệu cụ thể. Thay vì để mô hình tự sinh câu trả lời từ trí nhớ tham số, RAG buộc mô hình dựa vào các đoạn văn bản được truy xuất từ kho dữ liệu cục bộ.

Hai là, tăng khả năng truy xuất nguồn gốc. Mỗi câu trả lời có thể gắn với tài liệu, mục, trang hoặc đoạn liên quan, giúp người dùng kiểm tra nhanh.

Ba là, cập nhật tri thức dễ hơn. Khi có văn bản mới, chỉ cần cập nhật kho dữ liệu và chỉ mục, không nhất thiết huấn luyện lại toàn bộ mô hình.

Bốn là, phù hợp với dữ liệu nội bộ. Những thông tin đặc thù của cơ quan, đơn vị vốn không có trên Internet có thể được đưa vào kho tri thức riêng để AI khai thác.

Năm là, hỗ trợ kiểm soát bảo mật. Nếu triển khai đúng, dữ liệu nhạy cảm có thể được phân quyền, giới hạn truy cập và kiểm soát nhật ký sử dụng.

Tuy nhiên, RAG không phải giải pháp tuyệt đối. RAG vẫn có thể sai nếu dữ liệu cục bộ sai, tài liệu lỗi thời, truy xuất nhầm đoạn, mô hình tổng hợp vượt quá căn cứ hoặc người dùng yêu cầu trả lời ngoài phạm vi dữ liệu. Vì vậy, RAG cần đi kèm quy trình quản trị dữ liệu và kiểm chứng của con người.

Bốn là, đề xuất mô hình đánh giá mức độ sai lệch thông tin khi dùng AI

Để đánh giá tác động của ảo giác AI và hiệu quả của RAG, có thể xây dựng bộ tiêu chí đánh giá gồm:

Một là, tỷ lệ câu trả lời đúng. Đây là tỷ lệ phản hồi phù hợp với tài liệu gốc hoặc đáp án chuẩn.

Hai là, tỷ lệ câu trả lời sai. Đây là tỷ lệ phản hồi chứa thông tin không đúng, sai số liệu, sai văn bản, sai khái niệm hoặc sai kết luận.

Ba là, tỷ lệ bịa đặt nguồn. Đây là tỷ lệ phản hồi tạo ra tên tài liệu, số trang, tác giả, văn bản hoặc đường dẫn không tồn tại.

Bốn là, tỷ lệ trả lời không đủ căn cứ. Đây là trường hợp câu trả lời có thể hợp lý về mặt ngôn ngữ nhưng không tìm được căn cứ trong tài liệu cục bộ.

Năm là, tỷ lệ từ chối phù hợp. Đây là tỷ lệ mô hình biết nói “không đủ dữ liệu để kết luận” khi kho dữ liệu không có thông tin cần thiết.

Sáu là, mức độ truy xuất đúng nguồn. Đây là khả năng hệ thống tìm đúng tài liệu liên quan trước khi tạo câu trả lời.

Có thể thiết kế thử nghiệm gồm hai nhóm: nhóm thứ nhất dùng mô hình ngôn ngữ lớn thông thường; nhóm thứ hai dùng mô hình ngôn ngữ lớn kết hợp RAG với kho dữ liệu cục bộ. Bộ câu hỏi nên bao gồm các nhóm: câu hỏi kiến thức chung, câu hỏi về văn bản nội bộ, câu hỏi yêu cầu trích dẫn nguồn, câu hỏi có thông tin bẫy và câu hỏi không có đáp án trong kho dữ liệu. Kết quả giữa hai nhóm sẽ cho thấy mức độ giảm sai lệch thông tin khi áp dụng RAG.

7. Kết luận

Ảo giác AI là một trong những thách thức lớn nhất khi ứng dụng mô hình ngôn ngữ lớn vào thực tiễn. Hiện tượng này xuất phát từ giới hạn dữ liệu huấn luyện, cơ chế sinh ngôn ngữ xác suất, thiếu khả năng tự kiểm chứng nguồn và xu hướng trả lời tự tin ngay cả khi thiếu căn cứ. Các số liệu quốc tế cho thấy, dù mô hình AI ngày càng tiến bộ, tỷ lệ sai lệch thông tin vẫn tồn tại và có thể gây hậu quả nghiêm trọng trong học tập, nghiên cứu, quản lý và hoạt động chuyên môn.

RAG với dữ liệu cục bộ là giải pháp khả thi để giảm ảo giác AI. Bằng cách kết nối mô hình ngôn ngữ lớn với kho tài liệu đã được kiểm duyệt, RAG giúp câu trả lời có căn cứ hơn, dễ kiểm chứng hơn, cập nhật hơn và phù hợp hơn với thực tiễn của từng cơ quan, đơn vị. Tuy nhiên, RAG không thay thế hoàn toàn kiểm chứng của con người; hiệu quả của RAG phụ thuộc vào chất lượng dữ liệu, quy trình truy xuất, cách thiết kế hệ thống và năng lực người sử dụng.

Tài liệu tham khảo

[1]. Stanford Institute for Human-Centered Artificial Intelligence (2026), Artificial Intelligence Index Report 2026, Stanford University.

[2]. National Institute of Standards and Technology (2024), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1.

[3]. Bộ Chính trị (2024), Nghị quyết số 57-NQ/TW ngày 22/12/2024 về đột phá phát triển khoa học, công nghệ, đổi mới sáng tạo và chuyển đổi số quốc gia.

[4]. OpenAI (2025), OpenAI GPT-4.5 System Card, February 27, 2025.

[5]. OpenAI (2025), Introducing GPT-4.5, February 27, 2025.

[6]. Li, J., Cheng, X., Zhao, W. X., Nie, J. Y., & Wen, J. R. (2023), HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models.

[7]. Niu, C. et al. (2024), RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models, ACL Anthology.

[8]. Lewis, P. et al. (2020), Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS.

[9]. World Intellectual Property Organization (2025), Global Innovation Index 2025.

[10]. OECD (2025), Science, Technology and Innovation Outlook 2025.

RESEARCH ON THE IMPACT OF AI HALLUCINATIONS IN LARGE LANGUAGE MODELS AND MITIGATION SOLUTIONS USING LOCAL DATA THROUGH RETRIEVAL-AUGMENTED GENERATION (RAG)

Bui Phuong Nguyen – Nguyen Nam Thanh
Faculty of Electrical and Electronics Engineering, College of Defence Industry
Email: [email protected]

Abstract: AI hallucination has emerged as one of the major challenges in the application of Large Language Models (LLMs), as these systems may generate inaccurate or fabricated information while presenting it with high confidence. This paper analyzes the causes and impacts of AI hallucinations and evaluates the effectiveness of Retrieval-Augmented Generation (RAG) combined with local data in improving the accuracy of AI-generated content. The findings indicate that RAG enables AI systems to retrieve information from verified local data sources, significantly reducing hallucinations while enhancing information verification and source traceability. Based on these findings, the paper proposes practical directions for applying RAG to improve the reliability and effectiveness of generative AI in education, scientific research, and other professional fields where high accuracy is essential.

Keywords: AI hallucination; Large Language Models (LLMs); generative artificial intelligence; Retrieval-Augmented Generation (RAG); local data; information verification.