Amazon (AWS)

Senior Forward Deployed Engineer (Tùy biến và Tối ưu hóa Mô hình)

New York, New York, USANơi khácĐang tuyển · cập nhật 10/11/2026

Mô tả công việc

FDE Times dịch từ tin tuyển dụng gốc bằng tiếng Anh.

Với vai trò Senior Forward Deployed Engineer (Senior FDE) trong team Custom Model and Optimization, bạn là technical lead làm việc trực tiếp tại một khách hàng chiến lược, chịu trách nhiệm xây dựng, tối ưu và vận hành các mô hình generative AI tùy chỉnh nằm ở cốt lõi hoạt động kinh doanh của họ. Bạn định hướng kỹ thuật cho các dự án tùy biến và tối ưu hóa mô hình, quyết định xây dựng cái gì, đo lường ra sao và đưa lên production bằng cách nào. Bạn kết hợp chiều sâu kỹ thuật của một senior engineer tại AWS với tinh thần khẩn trương của người làm startup, dùng khả năng phán đoán và tinh thần làm chủ để mang lại kết quả kinh doanh đo lường được về chất lượng, độ trễ và chi phí.

Các Senior FDE xử lý những bài toán khó nhất ở giao điểm giữa mô hình và hệ thống: xây dựng domain foundation model, post-training các mô hình open-weight quy mô frontier bằng reinforcement learning, và chuyển các workload huấn luyện và inference quy mô lớn sang AWS Trainium. Họ nhận những bài toán mà chính vấn đề kinh doanh cũng còn mơ hồ, tự xác định hướng tiếp cận và chia nhỏ thành các workstream để người khác có thể đảm nhận. Họ đưa ra các đánh đổi kiến trúc dài hạn, cân bằng giữa sự gấp rút của khách hàng và thiết kế bền vững, đồng thời được lãnh đạo kỹ thuật phía khách hàng tin cậy như một đồng nghiệp ngang tầm về chuyên môn. Họ nâng chuẩn mực của cả team thông qua design review, code review, mentoring và tuyển dụng, đồng thời góp phần định hình cách AWS xây dựng sản phẩm.

Trách nhiệm chính

Dẫn dắt dự án về mặt kỹ thuật: Làm việc trực tiếp tại khách hàng với vai trò technical lead cho chương trình tùy biến và tối ưu hóa mô hình của họ, trải rộng trên nhiều workstream. Phối hợp với lãnh đạo kỹ thuật và lãnh đạo sản phẩm của khách hàng để xác định bài toán kinh doanh, đặt ra các chỉ số thành công cùng ngưỡng đánh giá, và xây dựng technical roadmap đi từ proof of value đến production. Trao đổi rõ ràng về các đánh đổi, rủi ro và kết quả, cả với lãnh đạo lẫn với kỹ sư. Yêu cầu đi công tác tối đa 25% thời gian.

Xác định chiến lược tùy biến: Chọn con đường phù hợp để đạt mục tiêu về chất lượng, độ trễ và chi phí của khách hàng — prompting, distillation, supervised fine-tuning, preference optimization, reinforcement learning (bao gồm RL with verifiable rewards và multi-turn agentic RL), continued pre-training, task-specific adapter, hoặc xây dựng một domain foundation model. Chịu trách nhiệm về chiến lược dữ liệu, việc tạo dữ liệu tổng hợp và phương pháp đánh giá để những quyết định đó có cơ sở vững chắc, đồng thời đưa chúng vào production cho các mẫu bài toán như coding agent, vertical foundation model và multi-adapter serving.

Thiết kế kiến trúc hệ thống huấn luyện và inference ở quy mô lớn: Thiết kế các hệ thống huấn luyện phân tán và RL post-training cho các mô hình dense và mixture-of-experts cỡ lớn bằng các framework như PyTorch FSDP2, Megatron-LM, Miles và verl, cùng các kiến trúc inference cho production dùng những engine như SGLang và vLLM. Thiết kế kiến trúc RL interaction harness bằng các framework như NeMo Gym và OpenEnv, xác định cách các agent workflow, tool, environment và reward function kết nối với quá trình huấn luyện và đánh giá. Đặt ra chiến lược về parallelism, precision và serving để cân bằng giữa throughput, độ trễ, bộ nhớ, độ tin cậy và chi phí trên mỗi token, đồng thời bảo đảm thiết kế chịu được tải production.

Dẫn dắt tối ưu hóa trên chip AI của AWS: Dẫn dắt việc chuyển các workload huấn luyện và inference sang AWS Trainium bằng AWS Neuron SDK. Chẩn đoán các khoảng cách về hiệu năng và độ tương đương về độ chính xác so với baseline trên GPU, chỉ đạo tối ưu hóa ở mức kernel ở những chỗ thực sự cần thiết, và phối hợp với các team AWS Neuron và team dịch vụ để thu hẹp các khoảng trống về tính năng. Biến dữ liệu benchmark thành các khuyến nghị định hướng quyết định về hạ tầng và năng lực của khách hàng.

Dẫn dắt, mentoring và nâng chuẩn mực: Đảm nhận vai trò lãnh đạo kỹ thuật cho một nhóm FDE và scientist trong dự án, chia nhỏ các vấn đề mơ hồ thành những workstream có phạm vi rõ ràng và gỡ vướng cho đồng đội. Mentoring các FDE II về thiết kế hệ thống mô hình và trách nhiệm vận hành production. Chủ trì các buổi design review, thực hiện code review với phán đoán sắc bén, và tích cực tham gia tuyển dụng, phỏng vấn.

Nhân rộng tác động trên toàn AWS: Nhận diện các mẫu lặp lại giữa các dự án và biến chúng thành fine-tuning recipe, evaluation framework, công cụ benchmark và reference architecture có thể tái sử dụng để các team khác áp dụng. Tác động đến roadmap của các dịch vụ AWS, bao gồm Amazon Bedrock, Amazon SageMaker AI và AWS Neuron, bằng bằng chứng thực tế từ hiện trường. Phát hiện và định hình các cơ hội mở rộng việc tùy biến và tối ưu hóa mô hình ngay tại khách hàng của bạn và ở các khách hàng tương tự.

Giám sát việc triển khai dự án: Chịu trách nhiệm về kế hoạch triển khai, đặt các mốc, theo dõi tiến độ so với thời hạn, và bảo đảm chất lượng cũng như tính đầy đủ của mọi sản phẩm bàn giao. Cùng team chịu trách nhiệm về các cam kết với khách hàng, báo động rủi ro sớm, và điều chỉnh phạm vi hoặc nguồn lực khi tiến độ có nguy cơ bị trễ.

Giới thiệu về team

Team

Team Custom Models & Optimization, thuộc team AWS Forward Deployed Engineering, hợp tác với doanh nghiệp, startup AI-native và các nhà cung cấp foundation model để xây dựng, tùy biến và tối ưu các mô hình generative AI ở quy mô lớn. Công việc của chúng tôi trải rộng từ domain foundation model, post-training các mô hình open-weight, đến việc chuyển huấn luyện và inference sang AWS Trainium. Là những kỹ sư làm việc trực tiếp tại khách hàng trong mô hình AWS Forward Deployed Engineering, chúng tôi mang chuyên môn sâu về mô hình và tối ưu hóa đến những workload AI mang tính chiến lược nhất của khách hàng, và biến những gì học được thành công cụ và mẫu giải pháp có thể nhân rộng trên toàn AWS.

VỀ AWS

Đa dạng về trải nghiệm

Amazon coi trọng sự đa dạng về trải nghiệm. Ngay cả khi bạn chưa đáp ứng hết các yêu cầu ưu tiên và kỹ năng nêu trong mô tả công việc, chúng tôi vẫn khuyến khích bạn ứng tuyển. Nếu bạn mới bắt đầu sự nghiệp, chưa đi theo lộ trình truyền thống, hoặc có những trải nghiệm khác biệt, đừng để điều đó ngăn bạn ứng tuyển.

Vì sao chọn AWS

Amazon Web Services (AWS) là nền tảng đám mây toàn diện nhất và được áp dụng rộng rãi nhất trên thế giới. Chúng tôi là đơn vị tiên phong của điện toán đám mây và chưa bao giờ ngừng đổi mới — đó là lý do khách hàng, từ những startup thành công nhất đến các doanh nghiệp thuộc Global 500, tin tưởng bộ sản phẩm và dịch vụ mạnh mẽ của chúng tôi để vận hành hoạt động kinh doanh của họ.

Cân bằng công việc và cuộc sống

Chúng tôi coi trọng sự hài hòa giữa công việc và cuộc sống. Thành công trong công việc không bao giờ nên phải đánh đổi bằng những hy sinh ở nhà, vì vậy chúng tôi nỗ lực mang lại sự linh hoạt như một phần của văn hóa làm việc. Khi được hỗ trợ cả ở nơi làm việc lẫn ở nhà, không có gì chúng ta không thể đạt được trên đám mây.

Văn hóa team hòa nhập

AWS coi trọng sự tò mò và kết nối. Các nhóm affinity do nhân viên lãnh đạo và được công ty tài trợ thúc đẩy tinh thần hòa nhập và giúp mọi người tự hào về những điều làm nên nét riêng của mình. Các sự kiện về hòa nhập giúp xây dựng những team gắn kết và hợp tác hơn. Sự đổi mới không ngừng của chúng tôi được thúc đẩy bởi những ý tưởng táo bạo, góc nhìn mới mẻ và tiếng nói đầy nhiệt huyết mà các team mang đến cho mọi việc chúng tôi làm.

Mentoring và phát triển sự nghiệp

Chúng tôi không ngừng nâng cao chuẩn mực hiệu suất khi nỗ lực trở thành Nơi làm việc tốt nhất hành tinh (Earth's Best Employer). Vì vậy, bạn sẽ tìm thấy ở đây vô vàn hoạt động chia sẻ kiến thức, mentoring và các nguồn lực khác giúp phát triển sự nghiệp, để bạn trở thành một chuyên gia toàn diện hơn.

10047

Yêu cầu bắt buộc

Từ 5 năm kinh nghiệm phát triển phần mềm chuyên nghiệp (không tính thực tập)
Từ 5 năm kinh nghiệm lập trình với ít nhất một ngôn ngữ lập trình
Từ 5 năm kinh nghiệm dẫn dắt thiết kế hoặc kiến trúc (design pattern, độ tin cậy và khả năng mở rộng) của các hệ thống mới và hiện có
Có kinh nghiệm làm mentor, tech lead hoặc dẫn dắt một team kỹ sư
Có kinh nghiệm thực hành huấn luyện, fine-tuning hoặc tối ưu hóa các mô hình deep learning
Có kinh nghiệm truyền đạt các khái niệm kỹ thuật cho cả người có chuyên môn kỹ thuật lẫn người không có, bao gồm cả lãnh đạo cấp cao

Yêu cầu ưu tiên

Tốt nghiệp cử nhân ngành khoa học máy tính hoặc tương đương
Từ 2 năm kinh nghiệm triển khai và vận hành các mô hình ML trong môi trường production của khách hàng, làm việc với các team xây dựng và mở rộng hệ thống production end-to-end
Có kinh nghiệm xác định chiến lược đánh giá và xây dựng evaluation framework hoặc benchmark cho các mô hình generative
Có kinh nghiệm dẫn dắt tối ưu hóa huấn luyện hoặc inference của mô hình về độ trễ, throughput hoặc chi phí, bằng các serving engine như SGLang, vLLM hoặc TensorRT-LLM, trên AWS Trainium (Neuron SDK), trên các dịch vụ AWS như SageMaker AI, SageMaker HyperPod hoặc EKS, hoặc bằng cách viết custom kernel (CUDA, Triton, NKI)
Có kinh nghiệm dẫn dắt các nỗ lực post-training LLM, bao gồm SFT, DPO, RLHF, và RL with verifiable rewards hoặc multi-turn agentic RL, bằng các framework như Miles, slime, verl, NeMo-RL, OpenRLHF, SkyRL hoặc TRL
Có kinh nghiệm dẫn dắt huấn luyện phân tán quy mô lớn cho LLM, bao gồm các mô hình mixture-of-experts, trên các cụm accelerator nhiều node, bằng các framework như PyTorch FSDP2, TorchTitan, Megatron-LM/Megatron Core, NeMo, DeepSpeed hoặc NeuronX Distributed

Amazon là nhà tuyển dụng bình đẳng cơ hội và không phân biệt đối xử dựa trên tình trạng cựu chiến binh được bảo vệ, khuyết tật hoặc các tình trạng khác được pháp luật bảo vệ.

Ứng viên tại Los Angeles County: Nhiệm vụ công việc của vị trí này bao gồm: làm việc an toàn và hợp tác với các nhân viên, người giám sát và đội ngũ khác; tuân thủ các tiêu chuẩn xuất sắc ngay cả trong điều kiện căng thẳng; giao tiếp hiệu quả và tôn trọng với nhân viên, người giám sát và đội ngũ khác để bảo đảm dịch vụ khách hàng xuất sắc; và tuân thủ mọi luật liên bang, tiểu bang và địa phương cũng như các chính sách của Công ty. Tiền án tiền sự có thể có mối liên hệ trực tiếp, bất lợi và tiêu cực với một số nhiệm vụ công việc quan trọng của vị trí này. Các nhiệm vụ đó bao gồm những nhiệm vụ và trách nhiệm nêu trên, cũng như khả năng tuân thủ chính sách của công ty, đưa ra phán đoán đúng đắn, kiểm soát căng thẳng hiệu quả và làm việc an toàn, tôn trọng với người khác, thể hiện sự đáng tin cậy và tính chuyên nghiệp, đồng thời bảo vệ hoạt động kinh doanh và uy tín của Công ty. Theo Los Angeles County Fair Chance Ordinance, chúng tôi sẽ xem xét tuyển dụng các ứng viên đủ điều kiện có hồ sơ bị bắt giữ và kết án.

Văn hóa hòa nhập của chúng tôi giúp những người Amazon mang lại kết quả tốt nhất cho khách hàng. Nếu bạn bị khuyết tật và cần được bố trí hoặc điều chỉnh nơi làm việc trong quá trình ứng tuyển và tuyển dụng, bao gồm cả hỗ trợ cho quá trình phỏng vấn hoặc onboarding, vui lòng truy cập https://amazon.jobs/content/en/how-we-hire/accommodations để biết thêm thông tin. Nếu quốc gia/khu vực bạn đang ứng tuyển không có trong danh sách, vui lòng liên hệ Recruiting Partner của bạn.

Mức lương cơ bản cho vị trí này được nêu dưới đây. Gói đãi ngộ của bạn tại Amazon sẽ bao gồm các khoản thưởng ký hợp đồng (sign-on) và cổ phiếu hạn chế (RSU). Mức đãi ngộ cuối cùng sẽ được xác định dựa trên các yếu tố như kinh nghiệm, trình độ và địa điểm làm việc. Amazon cũng cung cấp chế độ phúc lợi toàn diện, bao gồm bảo hiểm sức khỏe (y tế, nha khoa, thị lực, thuốc theo toa, bảo hiểm nhân thọ cơ bản và AD&D, cùng lựa chọn các gói bảo hiểm nhân thọ bổ sung, EAP, hỗ trợ sức khỏe tinh thần, đường dây tư vấn y tế, tài khoản chi tiêu linh hoạt (Flexible Spending Accounts), hỗ trợ chi phí nhận con nuôi và mang thai hộ), đóng góp đối ứng 401(k), nghỉ có lương và nghỉ thai sản/nghỉ chăm con. Tìm hiểu thêm về phúc lợi tại https://amazon.jobs/en/benefits.

USA, CA, East Palo Alto - 193,300.00 - 261,500.00 USD/năm

USA, MA, Boston - 168,100.00 - 227,400.00 USD/năm

USA, NY, New York - 184,900.00 - 250,200.00 USD/năm

USA, VA, Arlington - 168,100.00 - 227,400.00 USD/năm

USA, WA, Seattle - 168,100.00 - 227,400.00 USD/năm

Xem tin gốc

Senior Forward Deployed Engineer (Model Customization and Optimization)

As a Senior Forward Deployed Engineer (Senior FDE) on the Custom Model and Optimization team, you are the technical lead embedded inside a strategic customer, accountable for building, optimizing, and running the custom generative AI models at the heart of their business. You set the technical direction for model customization and optimization engagements, deciding what to build, how to measure it, and how it reaches production. You combine the technical depth of an AWS senior engineer with the urgency of a startup builder, using your judgment and ownership to deliver measurable business outcomes in quality, latency, and cost.

Senior FDEs work on the hardest problems where models meet systems: building domain foundation models, post-training frontier-scale open-weight models with reinforcement learning, and migrating large training and inference workloads onto AWS Trainium. They take on problems where the business problem itself is ambiguous, define the approach, and break it into workstreams others can own. They make long-term architectural trade-offs, balance customer urgency against sustainable design, and are trusted by customer engineering leadership as a technical peer. They raise the bar for the team through design reviews, code reviews, mentorship, and hiring, and they shape how AWS builds.

Key job responsibilities

Lead the technical engagement: Embed with the customer as the technical lead for their model customization and optimization program, spanning multiple workstreams. Partner with customer engineering and product leadership to frame the business problem, define success metrics and the evaluation bar, and set technical roadmap that moves from proof of value to production. Communicate trade-offs, risks, and results clearly to executives and engineers alike. Requires up to 25% travel.

Define the customization strategy: Decide the right path to the customer's quality, latency, and cost targets — prompting, distillation, supervised fine-tuning, preference optimization, reinforcement learning (including RL with verifiable rewards and multi-turn agentic RL), continued pre-training, task-specific adapters, or building a domain foundation model. Own the data strategy, synthetic data generation, and evaluation methodology that make those decisions defensible, and drive them to production for patterns such as coding agents, vertical foundation models, and multi-adapter serving.

Architect training and inference systems at scale: Design distributed training and RL post-training systems for large dense and mixture-of-experts models using frameworks such as PyTorch FSDP2, Megatron-LM, Miles, and verl, and production inference architectures using engines such as SGLang and vLLM. Architect RL interaction harnesses using frameworks such as NeMo Gym and OpenEnv, defining how agent workflows, tools, environments, and reward functions connect to training and evaluation. Set parallelism, precision, and serving strategies that balance throughput, latency, memory, reliability, and cost per token, and ensure the designs hold up under production load.

Lead optimization on AWS AI chips: Lead migrations of training and inference workloads to AWS Trainium using the AWS Neuron SDK. Diagnose performance and accuracy-parity gaps against GPU baselines, direct kernel-level optimization where it matters, and work with AWS Neuron and service teams to close capability gaps. Turn benchmark evidence into recommendations that shape customer infrastructure and capacity decisions.

Lead, mentor, and raise the bar: Provide technical leadership to a team of FDEs and scientists on the engagement, breaking ambiguous problems into well-scoped workstreams and unblocking others. Mentor FDE IIs on model systems design and production ownership. Lead design reviews, provide high-judgment code review, and actively participate in hiring and interviewing.

Multiply impact across AWS: Identify patterns across engagements and turn them into reusable fine-tuning recipes, evaluation frameworks, benchmarking tools, and reference architectures adopted by other teams. Influence the roadmaps of AWS services, including Amazon Bedrock, Amazon SageMaker AI, and AWS Neuron, with field evidence. Identify and shape opportunities to expand model customization and optimization within your customer and across similar customers.

Oversee engagement execution: Own the delivery plan, set milestones, track progress against deadlines, and ensure the quality and completeness of all deliverables. Hold yourself and the team accountable for commitments made to the customer, escalate risks early, and adjust scope or resources when timelines are at risk.

About the team

Team

The Custom Models & Optimization team, part of the AWS Forward Deployed Engineering team, partners with enterprises, AI-native startups, and foundation model providers to build, customize, and optimize generative AI models at scale. Our work spans domain foundation models, post-training of open-weight models, and moving training and inference onto AWS Trainium. As embedded engineers within the AWS Forward Deployed Engineering motion, we bring deep model and optimization expertise to customers' most strategic AI workloads, and we turn what we learn into tooling and patterns that scale across AWS.

ABOUT AWS

Diverse Experiences

Amazon values diverse experiences. Even if you do not meet all of the preferred qualifications and skills listed in the job description, we encourage candidates to apply. If your career is just starting, hasn’t followed a traditional path, or includes alternative experiences, don’t let it stop you from applying.

Why AWS

Amazon Web Services (AWS) is the world’s most comprehensive and broadly adopted cloud platform. We pioneered cloud computing and never stopped innovating — that’s why customers from the most successful startups to Global 500 companies trust our robust suite of products and services to power their businesses.

Work/Life Balance

We value work-life harmony. Achieving success at work should never come at the expense of sacrifices at home, which is why we strive for flexibility as part of our working culture. When we feel supported in the workplace and at home, there’s nothing we can’t achieve in the cloud.

Inclusive Team Culture

AWS values curiosity and connection. Our employee-led and company-sponsored affinity groups promote inclusion and empower our people to take pride in what makes us unique. Our inclusion events foster stronger, more collaborative teams. Our continual innovation is fueled by the bold ideas, fresh perspectives, and passionate voices our teams bring to everything we do.

Mentorship and Career Growth

We’re continuously raising our performance bar as we strive to become Earth’s Best Employer. That’s why you’ll find endless knowledge-sharing, mentorship and other career-advancing resources here to help you develop into a better-rounded professional.

10047

Basic qualifications

5+ years of non-internship professional software development experience
5+ years of programming with at least one software programming language experience
5+ years of leading design or architecture (design patterns, reliability and scaling) of new and existing systems experience
Experience as a mentor, tech lead or leading an engineering team
Hands-on experience training, fine-tuning, or optimizing deep learning models
Experience communicating technical concepts to both technical and non-technical audiences, including senior leadership

Preferred qualifications

Bachelor's degree in computer science or equivalent
2+ years of experience deploying and operating ML models in customer production environments, working with teams that build and scale end-to-end production systems
Experience defining evaluation strategy and building evaluation frameworks or benchmarks for generative models
Experience leading optimization of model training or inference for latency, throughput, or cost, using serving engines such as SGLang, vLLM, or TensorRT-LLM, on AWS Trainium (Neuron SDK), on AWS services such as SageMaker AI, SageMaker HyperPod, or EKS, or by writing custom kernels (CUDA, Triton, NKI)
Experience leading LLM post-training efforts, including SFT, DPO, RLHF, and RL with verifiable rewards or multi-turn agentic RL, using frameworks such as Miles, slime, verl, NeMo-RL, OpenRLHF, SkyRL, or TRL
Experience leading large-scale distributed training of LLMs, including mixture-of-experts models, on multi-node accelerator clusters, using frameworks such as PyTorch FSDP2, TorchTitan, Megatron-LM/Megatron Core, NeMo, DeepSpeed, or NeuronX Distributed

Amazon is an equal opportunity employer and does not discriminate on the basis of protected veteran status, disability, or other legally protected status.

Los Angeles County applicants: Job duties for this position include: work safely and cooperatively with other employees, supervisors, and staff; adhere to standards of excellence despite stressful conditions; communicate effectively and respectfully with employees, supervisors, and staff to ensure exceptional customer service; and follow all federal, state, and local laws and Company policies. Criminal history may have a direct, adverse, and negative relationship with some of the material job duties of this position. These include the duties and responsibilities listed above, as well as the abilities to adhere to company policies, exercise sound judgment, effectively manage stress and work safely and respectfully with others, exhibit trustworthiness and professionalism, and safeguard business operations and the Company’s reputation. Pursuant to the Los Angeles County Fair Chance Ordinance, we will consider for employment qualified applicants with arrest and conviction records.

Our inclusive culture empowers Amazonians to deliver the best results for our customers. If you have a disability and need a workplace accommodation or adjustment during the application and hiring process, including support for the interview or onboarding process, please visit https://amazon.jobs/content/en/how-we-hire/accommodations for more information. If the country/region you’re applying in isn’t listed, please contact your Recruiting Partner.

The base salary range for this position is listed below. Your Amazon package will include sign-on payments and restricted stock units (RSUs). Final compensation will be determined based on factors including experience, qualifications, and location. Amazon also offers comprehensive benefits including health insurance (medical, dental, vision, prescription, Basic Life & AD&D insurance and option for Supplemental life plans, EAP, Mental Health Support, Medical Advice Line, Flexible Spending Accounts, Adoption and Surrogacy Reimbursement coverage), 401(k) matching, paid time off, and parental leave. Learn more about our benefits at https://amazon.jobs/en/benefits.

USA, CA, East Palo Alto - 193,300.00 - 261,500.00 USD annually

USA, MA, Boston - 168,100.00 - 227,400.00 USD annually

USA, NY, New York - 184,900.00 - 250,200.00 USD annually

USA, VA, Arlington - 168,100.00 - 227,400.00 USD annually

USA, WA, Seattle - 168,100.00 - 227,400.00 USD annually

Gửi CV ứng tuyển