Khi kho dữ liệu của khách toàn ảnh hoá đơn, RAG chỉ đọc chữ sẽ mù

Thử hình dung tuần đầu ở site khách: họ đưa bạn một thư mục tài liệu, và phần lớn trong đó là hoá đơn scan, lưu đồ quy trình, ảnh chụp biểu đồ. Pipeline RAG bạn mang theo chỉ tách được chữ. Với những trang đó nó gần như không thấy gì, và câu trả lời của chatbot sai ngay từ khâu truy xuất.

Khoá Building Multimodal Search and RAG của DeepLearning.AI nhắm thẳng vào tình huống này. Dữ liệu thật của doanh nghiệp hiếm khi sạch và toàn chữ, nên một FDE làm được RAG trên ảnh sẽ đi xa hơn hẳn người chỉ chạy được demo trên vài file PDF đẹp.

Ai dạy, khoá dài bao lâu?

Khoá là một Short Course của DeepLearning.AI, làm cùng đối tác Weaviate. Người giảng là Sebastian Witalec, Head of Developer Relations tại Weaviate. Trang khoá ghi cập nhật ngày 11/8/2026, còn năm phát hành ban đầu thì trang không nêu.

Khoá ở mức Intermediate, gồm 8 bài video, 1 bài đọc và 1 quiz chấm điểm, dài 1h34m theo trang chính thức (một bản khác ghi 1 giờ 22 phút).

Khoá đang miễn phí có thời hạn trong giai đoạn beta, chứng nhận cần gói PRO, và từng được bảo trì ngày 25/02/2026 khi một số mục tạm không truy cập được, nên hãy xem trạng thái trên trang khoá trước khi lên lịch.

Ý đầu tiên đáng giữ: chữ và ảnh dùng chung một không gian

Khoá bắt đầu từ định nghĩa quen thuộc: RAG đưa dữ liệu riêng của doanh nghiệp vào ngữ cảnh prompt của LLM. Sau đó khoá mở rộng định nghĩa này sang dữ liệu đa phương thức. Bước mở rộng đó dựa vào contrastive learning, và bạn sẽ tự cài đặt nó trong khoá.

Ý tưởng cần nắm là embedding không phụ thuộc phương thức (modality). Khoá gọi kiểu này là truy xuất any-to-any: tìm ảnh bằng chữ, tìm chữ bằng ảnh, hoặc tìm ảnh bằng ảnh.

Thử hình dung: khi chữ và ảnh nằm trong cùng một không gian vector, về nguyên tắc câu hỏi “hoá đơn tháng ba của nhà cung cấp X” có thể dẫn tới một bức ảnh scan ngay cả khi ảnh đó chưa được tách chữ.

Vì thế, việc đầu tiên nên làm ở khách là đếm xem bao nhiêu phần trăm kho tài liệu là ảnh hoặc scan. Nếu con số đó lớn, RAG chỉ dựa vào chữ sẽ chạm trần chất lượng rất sớm, dù bạn có tinh chỉnh chunking đến đâu.

Ý thứ hai: truy xuất đúng ảnh mới là một nửa

Tìm được bức ảnh đúng mới giải quyết một nửa bài toán. Khoá dạy dựng hệ RAG đa phương thức truy xuất ngữ cảnh gồm cả ảnh, rồi cho mô hình suy luận trên ngữ cảnh đó để câu trả lời sát hơn. Nói cách khác, mô hình phải đọc được biểu đồ, chứ không chỉ trả về đường dẫn tới file ảnh.

Ở site khách, điểm khác biệt này hiện ra ngay khi demo. Người dùng nghiệp vụ không muốn nhận lại năm tấm ảnh. Họ muốn một câu trả lời, kèm tấm ảnh làm bằng chứng để tự kiểm tra.

Ý thứ ba: từ ảnh hoá đơn ra dữ liệu có cấu trúc

Phần ứng dụng ngành của khoá nêu rõ việc phân tích trực quan hoá đơn và lưu đồ để xuất ra dữ liệu có cấu trúc. Với FDE, đây thường là phần có giá trị nhất. Một bảng gồm số hoá đơn, ngày và tổng tiền trích từ ảnh scan có thể đưa thẳng vào hệ thống kế toán, còn một câu trả lời chat thì không.

Thử hình dung bạn có 200 hoá đơn scan. Thay vì demo chatbot, bạn trả về một file JSON cho từng hoá đơn, rồi nhờ kế toán của khách đối chiếu tay với 20 hoá đơn trong số đó. Con số khớp hay không khớp ấy sẽ thuyết phục khách hơn mọi slide.

Lỗi dễ mắc nhất ở bước này là mang tới một chatbot trong khi khách cần JSON đổ vào hệ thống của họ. Lỗi thứ hai là chỉ khoe kết quả trên vài hoá đơn đẹp mà không có mẫu đối chiếu tay. Trước khi dựng gì, hãy hỏi khách dữ liệu trích ra sẽ đi vào đâu, rồi chốt danh sách trường cần lấy.

Nên học theo thứ tự nào?

DeepLearning.AI khuyên người học biết Python cơ bản và đã quen RAG. Điều kiện thứ hai đáng để tâm: nếu bạn chưa từng tự dựng một pipeline RAG chỉ dùng chữ, hãy làm việc đó trước, vì khoá coi phần này là kiến thức đã có.

Học xong, bạn có thể học tiếp khoá Multimodal Data: In Focus của Weaviate Academy. Đây là khoá riêng, không thuộc DeepLearning.AI.

Khoá này dạy chọn mô hình embedding và mô hình generative phù hợp với Weaviate, rồi tạo collection, nhập dữ liệu, để Weaviate tự sinh vector, lập chỉ mục và tìm kiếm, cuối khoá có một module RAG.

Khoá của DeepLearning.AI giúp bạn hiểu cơ chế, còn khoá của Weaviate cho bạn thao tác với một vector database thật.

Về CV, chứng nhận hoàn thành không nói được nhiều. Một dòng như “dựng RAG đa phương thức truy xuất hoá đơn scan và trích dữ liệu có cấu trúc, đối chiếu tay với mẫu” sẽ có sức nặng hơn nhiều.

Khi phỏng vấn cho một vị trí FDE có nhắc tới document understanding, unstructured data hay multimodal, hãy hỏi thẳng: dữ liệu của khách có bao nhiêu phần là ảnh scan, và họ cần câu trả lời hay dữ liệu có cấu trúc? Câu trả lời cho bạn biết kỹ năng nào sẽ được dùng tới từ tuần đầu.

Khoảng một tiếng rưỡi học không biến bạn thành chuyên gia thị giác máy tính. Nhưng lần tới khách đưa bạn một thư mục toàn ảnh scan, bạn sẽ không phải nói “phần này hệ thống chưa đọc được”.