Amazon (AWS)

Forward Deployed Engineer (Tùy biến và Tối ưu hóa Mô hình), AWS Forward Deployed Engineering

Arlington, Virginia, USANơi khácĐang tuyển · cập nhật 10/11/2026

Mô tả công việc

FDE Times dịch từ tin tuyển dụng gốc bằng tiếng Anh.

Ở vị trí Forward Deployed Engineer II (FDE II) thuộc team Custom Model and Optimization, bạn làm việc trực tiếp tại các khách hàng chiến lược, cùng đội ngũ kỹ sư của họ xây dựng, tối ưu và vận hành các mô hình generative AI tùy biến trong môi trường production. Bạn chịu trách nhiệm trọn vẹn các workstream về mô hình, từ xác định ngưỡng đánh giá và chuẩn bị dữ liệu, qua huấn luyện và tối ưu inference, cho đến triển khai production.

FDE II trong team làm việc ở giao điểm giữa mô hình và hệ thống. Họ tùy biến các mô hình open-weight và foundation model tiên tiến cho những lĩnh vực, ngôn ngữ và modality mới; chuyển đổi và tối ưu các workload huấn luyện và inference trên AWS Trainium; đồng thời vận hành các mô hình đó như những dịch vụ production. Họ là những cá nhân làm việc tự chủ, nhận các dự án có mục tiêu kinh doanh rõ ràng nhưng chưa có sẵn lộ trình. Họ đưa ra các đánh đổi trong thiết kế với sự định hướng phù hợp, hạn chế các giải pháp tạm thời ngắn hạn, hướng dẫn đồng nghiệp viết code chất lượng cao và đào tạo thành viên mới trong team.

Trách nhiệm chính

Làm việc trực tiếp trong đội ngũ ML và kỹ thuật của khách hàng: Nắm rõ hoạt động kinh doanh, dữ liệu, model stack và các ràng buộc vận hành của khách hàng. Chuyển những mục tiêu còn mơ hồ thành ngưỡng đánh giá đo lường được và kế hoạch kỹ thuật cho workstream của bạn, chẳng hạn như chọn mô hình, hướng tùy biến và kiến trúc serving. Yêu cầu đi công tác tối đa 25% thời gian.

Tùy biến và post-train mô hình. Điều chỉnh các mô hình open-weight và foundation model theo lĩnh vực của khách hàng thông qua continued pre-training, supervised fine-tuning, preference optimization và reinforcement learning (bao gồm RLHF, RL with verifiable rewards và multi-turn agentic RL). Xây dựng các data pipeline, quy trình sinh dữ liệu tổng hợp và evaluation harness để chứng minh mô hình tùy biến vượt trội so với baseline theo chính ngưỡng chất lượng, độ trễ và chi phí của khách hàng. Áp dụng các kỹ thuật này cho những mẫu bài toán giá trị cao như coding agent, domain foundation model và multi-adapter serving.

Xây dựng hệ thống huấn luyện và inference quy mô lớn. Thiết kế và triển khai các pipeline huấn luyện phân tán và RL post-training bằng các framework như PyTorch FSDP2, Megatron-LM, Miles và verl. Xây dựng RL interaction harness bằng NeMo Gym hoặc OpenEnv để kết nối workflow của agent, tool, môi trường và hàm reward với quá trình huấn luyện. Phát triển inference stack cho production với các engine như SGLang và vLLM, đồng thời tối ưu thông lượng, độ trễ, dung lượng bộ nhớ và chi phí trên mỗi token thông qua quantization, parallelism, speculative decoding và batching.

Tối ưu mô hình trên chip của AWS. Chuyển đổi và tinh chỉnh các workload huấn luyện và inference sang AWS Trainium bằng AWS Neuron SDK. Profile hiệu năng, thu hẹp khoảng cách về độ chính xác so với baseline trên GPU và phát triển custom kernel khi cần. Benchmark nghiêm ngặt và biến kết quả thành những quyết định mà khách hàng có thể hành động ngay.

Nhân rộng tác động vượt ra ngoài phạm vi dự án. Đúc kết các công thức fine-tuning, evaluation framework, công cụ benchmark và mẫu tối ưu có thể tái sử dụng để đẩy nhanh các lần triển khai sau. Phản hồi những bài học thực tế từ hiện trường cho các team dịch vụ của AWS, bao gồm Amazon Bedrock, Amazon SageMaker AI và AWS Neuron. Tìm cơ hội mở rộng việc tùy biến và tối ưu mô hình trong chính dự án bạn đang làm với khách hàng.

Về team

Team Custom Model and Optimization, thuộc team Forward Deployed Engineering, hợp tác với doanh nghiệp, startup AI-native và các nhà cung cấp foundation model để xây dựng, tùy biến và tối ưu các mô hình generative AI ở quy mô lớn. Công việc của chúng tôi trải dài từ domain foundation model, post-training các mô hình open-weight, đến chuyển các workload huấn luyện và inference sang AWS Trainium. Là những kỹ sư làm việc trực tiếp trong mô hình AWS Forward Deployed Engineering, chúng tôi mang chuyên môn sâu về mô hình và tối ưu hóa đến những workload AI mang tính chiến lược nhất của khách hàng, đồng thời biến những gì học được thành công cụ và mẫu giải pháp có thể nhân rộng trên toàn AWS.

VỀ AWS

Đa dạng về kinh nghiệm

Amazon trân trọng những kinh nghiệm đa dạng. Dù bạn chưa đáp ứng hết các yêu cầu và kỹ năng ưu tiên nêu trong mô tả công việc, chúng tôi vẫn khuyến khích bạn ứng tuyển. Nếu bạn mới bắt đầu sự nghiệp, chưa đi theo lộ trình truyền thống hoặc có những trải nghiệm khác biệt, đừng để điều đó ngăn bạn nộp hồ sơ.

Vì sao chọn AWS

Amazon Web Services (AWS) là nền tảng đám mây toàn diện và được áp dụng rộng rãi nhất thế giới. Chúng tôi tiên phong trong điện toán đám mây và chưa bao giờ ngừng đổi mới — đó là lý do từ những startup thành công nhất đến các công ty thuộc Global 500 đều tin tưởng bộ sản phẩm và dịch vụ mạnh mẽ của chúng tôi để vận hành hoạt động kinh doanh của mình.

Cân bằng giữa công việc và cuộc sống

Chúng tôi coi trọng sự hài hòa giữa công việc và cuộc sống. Thành công trong công việc không bao giờ nên đánh đổi bằng những hy sinh ở nhà, vì vậy chúng tôi luôn nỗ lực mang lại sự linh hoạt như một phần của văn hóa làm việc. Khi cảm thấy được hỗ trợ cả ở nơi làm việc lẫn ở nhà, chúng ta có thể đạt được mọi điều trên đám mây.

Văn hóa đội nhóm hòa nhập

AWS đề cao sự tò mò và kết nối. Các nhóm affinity do nhân viên dẫn dắt và được công ty tài trợ thúc đẩy sự hòa nhập và giúp mỗi người tự hào về nét riêng của mình. Các sự kiện về hòa nhập giúp các team gắn kết và hợp tác tốt hơn. Sự đổi mới không ngừng của chúng tôi được nuôi dưỡng bởi những ý tưởng táo bạo, góc nhìn mới mẻ và tiếng nói đầy nhiệt huyết mà các team mang đến cho mọi việc mình làm.

Cố vấn và phát triển sự nghiệp

Chúng tôi liên tục nâng cao tiêu chuẩn hiệu suất để hướng tới trở thành Nhà tuyển dụng tốt nhất hành tinh (Earth's Best Employer). Vì vậy, bạn sẽ có vô vàn cơ hội chia sẻ kiến thức, được cố vấn và tiếp cận các nguồn lực phát triển sự nghiệp khác để trở thành một chuyên gia toàn diện hơn.

10047

Yêu cầu cơ bản

Có hơn 3 năm kinh nghiệm phát triển phần mềm chuyên nghiệp (không tính thực tập)
Có hơn 2 năm kinh nghiệm thiết kế hoặc xây dựng kiến trúc (design pattern, độ tin cậy và khả năng mở rộng) cho các hệ thống mới và hiện có (không tính thực tập)
Có kinh nghiệm lập trình với ít nhất một ngôn ngữ lập trình
Có kinh nghiệm thực tế với công nghệ generative AI, như LLM, mô hình vision-language hoặc mô hình speech

Yêu cầu ưu tiên

Có bằng cử nhân khoa học máy tính hoặc tương đương
Có kinh nghiệm huấn luyện phân tán quy mô lớn cho LLM trên các cụm accelerator đa node, sử dụng các framework như PyTorch FSDP2, TorchTitan, Megatron-LM/Megatron Core, NeMo, DeepSpeed hoặc NeuronX Distributed
Có kinh nghiệm post-training LLM, bao gồm SFT, DPO, RLHF và RL with verifiable rewards hoặc multi-turn agentic RL, sử dụng các framework như Miles, slime, verl, NeMo-RL, OpenRLHF, SkyRL hoặc TRL
Có kinh nghiệm tối ưu việc huấn luyện hoặc inference của mô hình về độ trễ, thông lượng hoặc chi phí, sử dụng các serving engine như SGLang, vLLM hoặc TensorRT-LLM, trên AWS Trainium hoặc Inferentia (Neuron SDK), trên các dịch vụ AWS như SageMaker AI, SageMaker HyperPod hoặc EKS, hoặc bằng cách viết custom kernel (CUDA, Triton, NKI)
Có kinh nghiệm triển khai và vận hành các mô hình ML trong môi trường production của khách hàng, làm việc với các team xây dựng và mở rộng hệ thống production end-to-end

Amazon là nhà tuyển dụng bình đẳng cơ hội và không phân biệt đối xử dựa trên tình trạng cựu chiến binh được bảo vệ, tình trạng khuyết tật hoặc các tình trạng khác được pháp luật bảo vệ.

Văn hóa hòa nhập của chúng tôi giúp những người Amazon (Amazonians) mang lại kết quả tốt nhất cho khách hàng. Nếu bạn có khuyết tật và cần hỗ trợ hoặc điều chỉnh nơi làm việc trong quá trình ứng tuyển và tuyển dụng, bao gồm hỗ trợ trong quá trình phỏng vấn hoặc onboarding, vui lòng truy cập https://amazon.jobs/content/en/how-we-hire/accommodations để biết thêm thông tin. Nếu quốc gia/khu vực bạn đang ứng tuyển không có trong danh sách, vui lòng liên hệ Recruiting Partner của bạn.

Mức lương cơ bản cho vị trí này được nêu bên dưới. Gói đãi ngộ của bạn tại Amazon sẽ bao gồm các khoản thưởng ký hợp đồng (sign-on) và cổ phiếu hạn chế (RSU). Mức đãi ngộ cuối cùng sẽ được xác định dựa trên các yếu tố gồm kinh nghiệm, trình độ và địa điểm làm việc. Amazon cũng cung cấp chế độ phúc lợi toàn diện, bao gồm bảo hiểm sức khỏe (y tế, nha khoa, nhãn khoa, thuốc kê đơn, bảo hiểm nhân thọ cơ bản và AD&D cùng tùy chọn các gói bảo hiểm nhân thọ bổ sung, EAP, hỗ trợ sức khỏe tinh thần, đường dây tư vấn y tế, tài khoản chi tiêu linh hoạt (Flexible Spending Accounts), chi trả hỗ trợ nhận con nuôi và mang thai hộ), đóng góp đối ứng 401(k), nghỉ phép có lương và nghỉ chăm con. Tìm hiểu thêm về phúc lợi của chúng tôi tại https://amazon.jobs/en/benefits.

USA, CA, East Palo Alto - 165,200.00 - 223,600.00 USD mỗi năm

USA, MA, Boston - 143,700.00 - 194,400.00 USD mỗi năm

USA, NY, New York - 158,100.00 - 213,800.00 USD mỗi năm

USA, VA, Arlington - 143,700.00 - 194,400.00 USD mỗi năm

USA, WA, Seattle - 143,700.00 - 194,400.00 USD mỗi năm

Xem tin gốc

Forward Deployed Engineer (Model Customization and Optimization), AWS Forward Deployed Engineering

As a Forward Deployed Engineer II (FDE II) on the Custom Model and Optimization team, you embed directly with strategic customers to build, optimize, and run custom generative AI models in production alongside their engineering teams. You own complete model workstreams end-to-end from defining the evaluation bar and preparing data, through training and inference optimization, to production deployment.

FDE IIs on this team works at the intersection of models and systems. They customize state-of-the-art open-weight and foundation models for new domains, languages, and modalities; migrate and optimize training and inference workloads on AWS Trainium and operate those models as production services. They are autonomous contributors who take on projects where the business goal is clear, but the path is not. They make design trade-offs with appropriate guidance, limit short-term workarounds, coach others on producing high-quality code, and train new team members.

Key job responsibilities

Embed within customer ML and engineering teams: Understand the customer's business, data, model stack, and operational constraints. Translate ambiguous goals into a measurable evaluation bar and a technical plan for your workstream such as model selection, customization approach, and serving architecture. Requires up to 25% travel.

Customize and post-train models. Adapt open-weight and foundation models to customer domains through continued pre-training, supervised fine-tuning, preference optimization, and reinforcement learning (including RLHF, RL with verifiable rewards, and multi-turn agentic RL). Build the data pipelines, synthetic data generation, and evaluation harnesses that prove a customized model out performs the baseline on the customer's own quality, latency, and cost bar. Apply these techniques to high-value patterns such as coding agents, domain foundation models, and multi-adapter serving.

Build large-scale training and inference systems. Design and implement distributed training and RL post-training pipelines using frameworks such as PyTorch FSDP2, Megatron-LM, Miles, and verl. Build RL interaction harnesses using NeMo Gym or OpenEnv to connect agent workflows, tools, environments, and reward functions to training. Develop production inference stacks with engines such as SGLang and vLLM, and optimize throughput, latency, memory footprint, and cost per token through quantization, parallelism, speculative decoding, and batching.

Optimize models on AWS chips. Migrate and tune training and inference workloads for AWS Trainium using the AWS Neuron SDK. Profile performance, close accuracy-parity gaps against GPU baselines, and develop custom kernels where needed. Benchmark rigorously and turn results into decisions customers can act on.

Accelerate impact beyond the engagement. Codify reusable fine-tuning recipes, evaluation frameworks, benchmarking tools, and optimization patterns that accelerate future deployments. Feed field learnings back to AWS service teams, including Amazon Bedrock, Amazon SageMaker AI, and AWS Neuron. Identify opportunities to expand model customization and optimization within your customer engagement.

About the team

The Custom Model and Optimization team, part of the Forward Deployed Engineering team partners with enterprises, AI-native startups, and foundation model providers to build, customize, and optimize generative AI models at scale. Our work spans domain foundation models, post-training of open-weight models, and moving training and inference workloads onto AWS Trainium. As embedded engineers within the AWS Forward Deployed Engineering motion, we bring deep model and optimization expertise to customers' most strategic AI workloads, and we turn what we learn into tooling and patterns that scale across AWS.

ABOUT AWS

Diverse Experiences

Amazon values diverse experiences. Even if you do not meet all of the preferred qualifications and skills listed in the job description, we encourage candidates to apply. If your career is just starting, hasn’t followed a traditional path, or includes alternative experiences, don’t let it stop you from applying.

Why AWS

Amazon Web Services (AWS) is the world’s most comprehensive and broadly adopted cloud platform. We pioneered cloud computing and never stopped innovating — that’s why customers from the most successful startups to Global 500 companies trust our robust suite of products and services to power their businesses.

Work/Life Balance

We value work-life harmony. Achieving success at work should never come at the expense of sacrifices at home, which is why we strive for flexibility as part of our working culture. When we feel supported in the workplace and at home, there’s nothing we can’t achieve in the cloud.

Inclusive Team Culture

AWS values curiosity and connection. Our employee-led and company-sponsored affinity groups promote inclusion and empower our people to take pride in what makes us unique. Our inclusion events foster stronger, more collaborative teams. Our continual innovation is fueled by the bold ideas, fresh perspectives, and passionate voices our teams bring to everything we do.

Mentorship and Career Growth

We’re continuously raising our performance bar as we strive to become Earth’s Best Employer. That’s why you’ll find endless knowledge-sharing, mentorship and other career-advancing resources here to help you develop into a better-rounded professional.

10047

Basic qualifications

3+ years of non-internship professional software development experience
2+ years of non-internship design or architecture (design patterns, reliability and scaling) of new and existing systems experience
Experience programming with at least one software programming language
Hands-on experience with generative AI technology, such as LLMs, vision-language models, or speech models

Preferred qualifications

Bachelor's degree in computer science or equivalent
Experience with large-scale distributed training of LLMs on multi-node accelerator clusters, using frameworks such as PyTorch FSDP2, TorchTitan, Megatron-LM/Megatron Core, NeMo, DeepSpeed, or NeuronX Distributed
Experience with LLM post-training, including SFT, DPO, RLHF, and RL with verifiable rewards or multi-turn agentic RL, using frameworks such as Miles, slime, verl, NeMo-RL, OpenRLHF, SkyRL, or TRL
Experience optimizing model training or inference for latency, throughput, or cost, using serving engines such as SGLang, vLLM, or TensorRT-LLM, on AWS Trainium or Inferentia (Neuron SDK), on AWS services such as SageMaker AI, SageMaker HyperPod, or EKS, or by writing custom kernels (CUDA, Triton, NKI)
Experience deploying and operating ML models in customer production environments, working with teams that build and scale end-to-end production systems

Amazon is an equal opportunity employer and does not discriminate on the basis of protected veteran status, disability, or other legally protected status.

Our inclusive culture empowers Amazonians to deliver the best results for our customers. If you have a disability and need a workplace accommodation or adjustment during the application and hiring process, including support for the interview or onboarding process, please visit https://amazon.jobs/content/en/how-we-hire/accommodations for more information. If the country/region you’re applying in isn’t listed, please contact your Recruiting Partner.

The base salary range for this position is listed below. Your Amazon package will include sign-on payments and restricted stock units (RSUs). Final compensation will be determined based on factors including experience, qualifications, and location. Amazon also offers comprehensive benefits including health insurance (medical, dental, vision, prescription, Basic Life & AD&D insurance and option for Supplemental life plans, EAP, Mental Health Support, Medical Advice Line, Flexible Spending Accounts, Adoption and Surrogacy Reimbursement coverage), 401(k) matching, paid time off, and parental leave. Learn more about our benefits at https://amazon.jobs/en/benefits.

USA, CA, East Palo Alto - 165,200.00 - 223,600.00 USD annually

USA, MA, Boston - 143,700.00 - 194,400.00 USD annually

USA, NY, New York - 158,100.00 - 213,800.00 USD annually

USA, VA, Arlington - 143,700.00 - 194,400.00 USD annually

USA, WA, Seattle - 143,700.00 - 194,400.00 USD annually

Gửi CV ứng tuyển