Dữ liệu FDE TimesViệc làm FDE đang mở 873▼9 Thay đổi số việc đang mở trong 7 ngày, so sánh cùng phạm vi: không tính việc của các công ty mới được theo dõi tuần nàyMới trong 7 ngày 55Công ty đang tuyển 181Nhận làm từ xa 25%Lương trung vị (Mỹ) $200kTuyển nhiều nhất Databricks 98
中文EN

Tờ báo của nghề Forward Deployed Engineer

Công cụ

Khách không đọc notebook, hãy đưa họ một bản demo Gradio

Vài dòng Python là khách tự thử được với dữ liệu của họ, nhưng link chia sẻ chỉ sống một tuần và model vẫn chạy trên máy bạn.

Chia sẻLinkedInFacebookX

Tóm tắt nhanh

  • Gradio biến một hàm Python thành web demo; cần Python 3.10 trở lên.
  • share=True tạo link công khai trong khi model vẫn chạy trên máy bạn, và link hết hạn sau một tuần.
  • Cùng một app có thể dùng làm API, gắn vào FastAPI hoặc chạy thành MCP server để demo agent.
Hai trạng thái của một bản demo Gradio. Bên trái, với share=True, model chạy trên máy của bạn và được đưa ra một link công khai. Link này hết hạn sau 7 ngày, và gập laptop là demo chết. Bên phải, bản demo Gradio được gắn vào app FastAPI của khách và chạy cùng chỗ với app đó.
Link share của Gradio sống một tuần và cần máy bạn luôn bật. Gắn bản demo vào app FastAPI của khách thì nó chạy cùng chỗ với app của họ. Dữ liệu có ở lại hay không còn tùy nơi khách host app. Nguồn: tài liệu chính thức của Gradio, theo bài viết.

Nhiều dự án FDE đến một lúc tắc lại ở cùng một chỗ. Model hay agent đã chạy được trong notebook, nhưng người quyết định bên phía khách không đọc notebook. Họ cần một ô để gõ, một nút để bấm và một kết quả nhìn thấy được.

Gradio sinh ra cho đúng khoảnh khắc đó. Tài liệu chính thức mô tả nó là thư viện Python mã nguồn mở để dựng nhanh demo hoặc web app cho một model, một API hay bất kỳ hàm Python nào. Câu khẩu hiệu trên trang chủ nói về giao diện web cho model ML dựng trong vài phút.

Với FDE, giá trị không nằm ở chỗ giao diện đẹp. Giá trị nằm ở chỗ khách được tự thử với dữ liệu của chính họ, thay vì chỉ xem bạn bấm. Vì thế bạn nên biết rõ công cụ này làm được gì, và chỗ nào nó sẽ phản bạn.

Gradio cần Python 3.10 trở lên và cài bằng pip. Thử hình dung bạn đang làm cho một công ty bảo hiểm, đã viết xong hàm phan_loai_ho_so nhận mô tả một vụ bồi thường và trả về nhóm rủi ro. Phần giao diện chỉ thêm vài dòng:

import gradio as gr

def phan_loai_ho_so(mo_ta: str) -> str:
    # gọi model hoặc agent của bạn ở đây
    return "Rủi ro trung bình"

demo = gr.Interface(fn=phan_loai_ho_so, inputs="text", outputs="text")
demo.launch(share=True, auth=("baohiem", "doi-mat-khau-nay"))

gr.Interface là API cấp cao, hợp với kiểu demo một đầu vào, một đầu ra như trên. Đặt share=True trong launch() thì Gradio tạo một URL công khai, còn model vẫn chạy trên máy của bạn. Tham số auth nhận một cặp tên đăng nhập và mật khẩu, đủ để bản demo dùng dữ liệu riêng của khách không nằm trơ trên internet.

Hai dòng cuối của đoạn code đó đổi cả nhịp làm việc. Trước buổi họp, bạn gửi link cho đầu mối phía khách và nhờ họ dán vào mười hồ sơ thật. Khi vào họp, cuộc nói chuyện xoay quanh những ca model sai, không còn quanh slide nữa.

Chính sự tiện lợi đó có hai cái bẫy. Link share hết hạn sau một tuần. Và vì model chạy trên máy bạn, gập laptop là bản demo chết, đúng lúc người sếp của đầu mối mở link ra xem.

Muốn có link cố định, hướng dẫn của Gradio chỉ sang Hugging Face Spaces, nền tảng của công ty đã thông báo mua lại Gradio vào tháng 12/2021. Nhưng trước khi đẩy bất cứ thứ gì lên một nền tảng bên ngoài, bạn cần hỏi bên bảo mật của khách xem dữ liệu được phép đi đâu. Nhiều khách sẽ trả lời là không đi đâu cả.

Với những khách như vậy, đường đi hợp lý hơn là gắn bản demo vào một đường dẫn trong app FastAPI mà khách đã có. Khi đó bản demo chạy cùng chỗ với app của họ. Dữ liệu có ở lại trong hệ thống của khách hay không còn tùy app đó được đặt ở đâu, nên hãy hỏi rõ nơi khách host app trước khi hứa điều này.

Mật khẩu của auth cũng chỉ là một lớp bảo vệ cơ bản. Hãy xem nó như khóa cửa phòng họp, đừng xem nó là hệ thống phân quyền.

Khi bản demo phải lớn lên

Interface hết đủ dùng khi bạn cần nhiều bước, nhiều ô hay bố cục riêng. Lúc đó Gradio có API cấp thấp hơn là Blocks, cho bạn tự sắp xếp giao diện và luồng dữ liệu. Với một agent cần hiện cả câu hỏi, các bước trung gian và câu trả lời cuối, Blocks thường là lựa chọn hợp lý hơn.

Bản demo cũng không chỉ để người bấm. Gần như mọi app Gradio đều dùng được như một API, nên đội kỹ sư phía khách có thể gọi thẳng vào chính thứ họ vừa bấm thử.

Tính năng quan trọng nhất với người làm agent nằm ở một tham số khác. Gradio có thể chạy app thành MCP server, và mỗi API endpoint tự động thành một MCP tool. Hàm phân loại hồ sơ ở trên có thể vừa là giao diện cho người, vừa là công cụ cho agent của khách gọi tới.

Nên học gì trước

Thứ tự hợp lý là Interface, rồi launch() với share và auth, rồi gọi app như API, cuối cùng mới đến Blocks và MCP. Gradio dùng giấy phép Apache-2.0 và mã nguồn nằm trong tổ chức gradio-app trên GitHub, nên khi tài liệu chưa nói rõ, bạn có thể mở thẳng code ra đọc.

Nếu bạn muốn chứng minh mình dựng được prototype nhanh cho khách, Gradio là một cách rẻ để làm điều đó. Một repo công khai có demo chạy được, kèm một câu nói rõ demo giúp ai quyết định điều gì, thuyết phục hơn một dòng “thành thạo Python” trong CV.

Đừng nhầm bản demo với sản phẩm. Việc của nó là đưa cuộc họp tới câu hỏi thật, tức là model sai ở đâu và khách có chấp nhận được không, càng sớm càng tốt.

Bài này có hữu ích không?

Dùng cùng trợ lý AIHỏi Claude ↗Hỏi ChatGPT ↗
6 nguồn
Đọc tiếp trên lộ trình · Chặng 3: AI ứng dụngArcade.dev muốn agent hành động bằng quyền của đúng người dùngCái khó không nằm ở lệnh gọi API, mà ở câu hỏi token của ai, được làm gì và ai giữ nó.