Cloud GPU

VRAM là yếu tố quyết định mô hình có chạy được không. Tham khảo: inference/computer vision nhẹ ~16–24GB; fine-tune mô hình cỡ trung (≈7–13B với LoRA/QLoRA) cần ~24–48GB; train/full fine-tune mô hình lớn cần 80GB hoặc ghép nhiều GPU. Cho STEP biết mô hình và tác vụ, kỹ sư sẽ tư vấn cấu hình đúng để tránh OOM mà không trả thừa.

Ghép nhiều GPU và train phân tán: NCCL làm backend giao tiếp, dùng DistributedDataParallel (DDP), FSDP, DeepSpeed ZeRO hoặc HuggingFace Accelerate để chia data/model parallel — vượt giới hạn VRAM của một card. STEP tư vấn số GPU theo quy mô mô hình.

Theo giờ phù hợp job train ngắn, thử nghiệm; theo tháng phù hợp serving/inference chạy liên tục hoặc train dài ngày. Quan trọng: tắt máy là ngừng tính phí compute, nên bạn chỉ trả cho phần GPU thực dùng.

Có. Máy có sẵn CUDA/cuDNN; bạn cài framework (PyTorch, TensorFlow, JAX) qua conda/pip hoặc dùng image Docker (NGC, PyTorch). Chọn đúng phiên bản CUDA khớp framework để tránh lỗi tương thích — clone repo là train được ngay.

Dùng vLLM (throughput cao cho LLM), Text Generation Inference (TGI) hoặc Triton Inference Server để phục vụ mô hình ở production với batching động và tối ưu độ trễ. STEP hỗ trợ dựng endpoint và cấu hình.

Được. Có Docker + NVIDIA Container Toolkit; chạy `docker run --gpus all` để tái lập môi trường nhất quán giữa máy local và cloud bằng image có sẵn.

Có. Mở Jupyter Notebook/Lab để viết code, train và trực quan hóa kết quả ngay trên trình duyệt.

Ổ NVMe tốc độ cao giảm nghẽn I/O của dataloader khi đọc dataset lớn — GPU không phải chờ dữ liệu, rút ngắn thời gian mỗi epoch.

Dùng tmux/screen để giữ phiên train chạy nền độc lập với kết nối SSH; lưu checkpoint định kỳ để resume khi cần. Bạn có thể đóng máy local mà job vẫn chạy.

Dữ liệu trên ổ lưu trữ được giữ lại; nên lưu checkpoint/dataset vào ổ và tạo snapshot trước khi tắt để khôi phục nhanh và resume training.

Dùng `nvidia-smi`/DCGM xem GPU utilization, VRAM, nhiệt độ; từ đó điều chỉnh batch size và mixed precision (FP16/BF16) để tận dụng tối đa GPU.

Có. Toàn quyền cài driver, thư viện và dựng môi trường theo đúng pipeline của mình.

STEP thanh toán VND có hóa đơn VAT, datacenter tại Việt Nam nên độ trễ thấp và không tốn egress đắt khi kéo dataset; kỹ sư STEP hỗ trợ trực tiếp dựng môi trường và xử lý driver — thay vì bạn tự lo toàn bộ.

Qua Ticket, Zalo OA và Hotline; kỹ sư STEP giúp dựng môi trường, xử lý driver và tối ưu cấu hình train/serving khi cần.

Quy tắc nhanh theo độ chính xác và tác vụ (định hướng, thực tế cộng overhead framework): 7B — Inference FP16 ~14-16GB · 4-bit ~6-8GB · LoRA ~16-24GB · Full FT ~80GB (ghép GPU). 13B — FP16 ~26-28GB · 4-bit ~10-12GB · LoRA ~24-32GB · Full FT ~160GB (đa GPU). 70B — FP16 ~140GB (ghép GPU) · 4-bit ~40-48GB · LoRA ~80GB+ · Full FT đa GPU cấp DC. Lý do: trọng số FP16 ≈ 2 byte/tham số; inference cộng KV-cache (theo độ dài ngữ cảnh + batch); full fine-tune cộng gradient + optimizer state (Adam ~gấp 3-4 lần trọng số). LoRA/QLoRA chỉ train phần nhỏ nên nhẹ hơn nhiều — cách hợp lý nhất để fine-tune trên 1-2 card. Cho STEP biết mô hình + tác vụ, kỹ sư chọn đúng card, tránh OOM mà không trả thừa.

Cùng GPU lõi nhưng cách ghép khác. SXM gắn trên board HGX, nối qua NVLink/NVSwitch ~600-900 GB/s — train phân tán đa GPU gần như không nghẽn, scale gần tuyến tính. PCIe ghép qua khe PCIe (~64 GB/s) hoặc NVLink bridge chỉ nối 2 card; hợp 1-2 GPU hoặc inference, nhưng train 4-8 GPU sẽ nghẽn ở khâu giao tiếp. Quy tắc: 1-2 GPU hoặc serving → PCIe đủ và rẻ hơn; train phân tán nhiều card → ưu tiên SXM. STEP xác nhận biến thể theo card khả dụng khi báo giá.

DDP sao chép toàn bộ mô hình lên mỗi GPU, chỉ chia dữ liệu — đơn giản, nhanh, dùng khi mô hình vừa VRAM một card. FSDP / DeepSpeed ZeRO chia nhỏ (shard) trọng số, gradient, optimizer state ra nhiều GPU — dùng khi mô hình KHÔNG vừa một card (full fine-tune 13B trở lên). ZeRO có 3 mức: stage 1 chia optimizer state, stage 2 thêm gradient, stage 3 chia cả trọng số. Mẹo: thử DDP trước; OOM dù đã giảm batch và bật mixed precision thì chuyển FSDP/ZeRO. Đây là lúc băng thông NVLink (SXM) tạo khác biệt lớn.

vLLM chuyên cho LLM sinh văn bản: PagedAttention + continuous batching cho throughput rất cao, dựng OpenAI-compatible API trong vài phút — chọn khi serve một/vài LLM và muốn tối đa token/giây. Triton là nền tổng quát đa framework (PyTorch/TF/ONNX/TensorRT), nhiều mô hình trên cùng endpoint, ensemble, dynamic batching — chọn khi serve nhiều loại mô hình hỗn hợp. Nhiều đội chạy vLLM cho LLM và Triton cho phần còn lại; TGI là lựa chọn thứ ba gần vLLM, hợp hệ HuggingFace. STEP hỗ trợ dựng endpoint và cấu hình batching.

Có. Lấy giá tháng chia giá giờ ra 'số giờ hòa vốn' mỗi tháng: chạy ÍT hơn ngưỡng đó → thuê giờ rẻ hơn; chạy gần liên tục → thuê tháng rẻ hơn (giá tháng đã chiết khấu sâu). Job train ngắn, thử nghiệm, notebook bật-tắt → theo giờ (tắt máy ngừng tính compute). Serving production 24/7, train dài nhiều ngày → theo tháng. Nhập số giờ/tháng dự kiến, STEP tính giúp phương án rẻ hơn; có thể bắt đầu theo giờ rồi chuyển tháng khi tải ổn định.

Gần nhưng không tuyệt đối. Thêm card xử lý nhiều dữ liệu/bước hơn, nhưng các card phải đồng bộ gradient mỗi bước — phần giao tiếp này là chỗ nghẽn. Trên SXM (NVLink) scale gần tuyến tính (8 card ≈ 7-7,5 lần); trên PCIe hiệu suất tụt rõ khi vượt 2-4 card. Mixed precision (FP16/BF16), gradient accumulation và tăng batch hợp lý giúp tận dụng card tốt hơn. STEP tư vấn số card + biến thể (SXM/PCIe) theo quy mô mô hình để không mua thừa.