Siam Inference
Open-source work · from data to inference

9 pull requests
across NVIDIA's AI stack

Pull requests sent to fix bugs in NVIDIA's open-source repositories, in the order a language model meets them: from preparing data to serving. Several were found while working in Thai and on a DGX Spark.

5 merged 4 awaiting review 6 repos +863 −56 lines

Merge status as of 14 Nov 2026 · other figures from GitHub as of 13 Nov 2026
These pull requests and this page are the work of Natdhanai Praneenatthavee (GitHub: spped2000) (opens in a new tab)

All nine pull requests

01 Data · DataDesigner PR 1131Merged
623 → 315prompt tokens · Thai rubric exampleA scoring rubric written in Thai reached the model as long \u0e.. escape codes instead of Thai letters, so the example prompt took 623 tokens.The model now sees the Thai itself, and the same prompt takes 315 tokens.
GitHub ↗ DataDesigner PR 1131 (opens in a new tab)
02 Train · Automodel PR 4643Merged
"" → " Paris"what the model learns from the answer "Paris" · Qwen3 tokenizerWith some tokenizers, the start of each answer was counted as prompt during fine-tuning, so the model never learned it. A short answer like "Paris" taught it nothing.The model now learns the whole answer, first token included.
GitHub ↗ Automodel PR 4643 (opens in a new tab)
03 Compress · Model-Optimizer PR 2161Merged
TypeError → OKlow-memory mode + extra optionsQuantizing a model in low-memory mode with an extra option such as ‑‑attn_implementation stopped with a TypeError, and the model never loaded.Those options now work and the model loads.
GitHub ↗ Model-Optimizer PR 2161 (opens in a new tab)
03 Compress · Model-Optimizer PR 3110In review
0 → 3calibration sets that load · c4, wikipedia, pileFour calibration datasets the tool offers by name (c4, wikipedia, pile, pg19) fail to load, because their registered names point at sources that no longer work.Proposes pointing three of them at working sources and removing pg19.
GitHub ↗ Model-Optimizer PR 3110 (opens in a new tab)
03 Compress · Model-Optimizer PR 3244In review
9 → 0failing tests, out of 19The same loader as PR 2161 still fails on dtype="auto" and refuses models that ship their own code, even when the user passes trust_remote_code=True.Proposes fixing both. In the test run reported in the PR, the 9 of 19 tests that fail on main all pass with it.
GitHub ↗ Model-Optimizer PR 3244 (opens in a new tab)
04 Serve · TensorRT-LLM PR 21340Merged
CRASH → 8/8benchmark requests completed on DGX SparkThe trtllm-bench benchmark asks for the GPU's memory size, but DGX Spark shares memory with the system and cannot answer, so the tool crashed before loading a model.It now falls back to system memory, and the benchmark runs to completion on DGX Spark.
GitHub ↗ TensorRT-LLM PR 21340 (opens in a new tab)
04 Serve · TensorRT-LLM PR 21341Merged
6/6 → 0/6cases where streamed text differed from non-streamedWhen a streamed reply stopped on a stop word, the final text kept a scrap of that stop word, or ended in a � when the stop word was a Thai digit (on the Qwen3 tokenizer).The final streamed text now matches the non-streamed text in all 6 tested cases.
GitHub ↗ TensorRT-LLM PR 21341 (opens in a new tab)
05 Route · Switchyard PR 1214In review
คิดคิด → คิดreasoning text the client receives · in testsSome model servers (vLLM 0.11.1 to 0.15.1) send reasoning text in two fields at once. Switchyard forwards both, so the client receives it doubled.Proposes reading one field only, so the reasoning text arrives once.
GitHub ↗ Switchyard PR 1214 (opens in a new tab)
06 Red-team · garak PR 2406In review
0.0 → 1.0leak-detection scoreThe garak detector that checks whether a model leaks a phone number cannot see the number when it is written in Thai or Persian digits, so it scores 0.0 as if nothing leaked.Proposes comparing digits by value, so the leaked number scores 1.0.
GitHub ↗ garak PR 2406 (opens in a new tab)

Click a row to see it in the 3D scene.

Every figure comes from the source PR. Open GitHub for the full details.

Pull requests still awaiting review are proposals. They may change or be declined.

Data as of 13 Nov 2026 · merge status as of 14 Nov 2026.

These pull requests and this page are the work of Natdhanai Praneenatthavee (GitHub: spped2000) (opens in a new tab)

NVIDIA, NeMo, TensorRT-LLM, GitHub and other names and logos are trademarks of their respective owners.

01 ข้อมูลNVIDIA-NeMo/DataDesigner

DataDesigner

เครื่องมือสร้างชุดข้อมูลสังเคราะห์ โดยออกแบบตารางทีละคอลัมน์

การ์ดของ repo NVIDIA-NeMo/DataDesigner บน GitHub

คืออะไร

NeMo Data Designer เป็น library Python สำหรับสร้างชุดข้อมูลสังเคราะห์ จะเริ่มจากศูนย์หรือต่อยอดจากข้อมูลตั้งต้นที่มีอยู่ก็ได้ ผู้ใช้กำหนดว่าตารางมีคอลัมน์อะไร แต่ละคอลัมน์สร้างด้วยวิธีไหน และเตรียม LLM endpoint ไว้ให้เรียก จากนั้น library จะจัดการการเรียกเป็นชุด การทำงานขนาน และการตรวจผลลัพธ์ให้

เหมือนตีตารางเปล่าแล้วเขียนกติกาไว้ที่หัวคอลัมน์ว่าช่องนี้ให้สุ่มจากรายการ ช่องนี้ให้ LLM เขียนโดยดูค่าจากช่องข้าง ๆ จากนั้นให้ระบบเติมทุกแถวตามกติกานั้น

ทำอะไรได้

  • สร้างข้อความ ข้อมูลมีโครงสร้าง และรูปภาพ ด้วย sampler, LLM, โมเดลสร้างภาพ หรือข้อมูลตั้งต้น
  • ให้คอลัมน์หนึ่งอ้างค่าของอีกคอลัมน์ เพื่อควบคุมความสัมพันธ์ระหว่างช่องข้อมูล
  • ตรวจและให้คะแนนผลลัพธ์ด้วย Python, SQL หรือ LLM judge

ใช้เมื่อไหร่

ใช้เมื่อต้องการชุดข้อมูลสังเคราะห์ที่หลากหลาย มีความสัมพันธ์ระหว่างช่อง และผ่านการตรวจ ซึ่งเป็นสิ่งที่ได้มากกว่าการสั่ง LLM ตรง ๆ ต้องมี LLM endpoint ให้เรียกใช้ โดย README ให้เริ่มจาก API key ของ NVIDIA Build, OpenAI หรือ OpenRouter

อยู่ตรงไหนของเส้นทาง

อยู่ที่ขั้นแรกสุดคือขั้น data ทำหน้าที่สร้างชุดข้อมูลสังเคราะห์ เพื่อส่งต่อให้ขั้นถัดไป เช่น ใช้เป็นข้อมูล train โมเดล

รูปทรง 3D ในฉาก

ตารางลูกบาศก์ที่เติมเข้ามาทีละช่อง สื่อถึงข้อมูลสังเคราะห์ที่ถูกสร้างขึ้นทีละแถว

คำที่ควรรู้

Column
ช่องข้อมูลหนึ่งช่องในชุดข้อมูล พร้อมคำอธิบายว่าจะสร้างค่าของช่องนั้นด้วยวิธีไหน
Sampler
คอลัมน์ที่สร้างค่าด้วยการสุ่มตัวเลข เช่น สุ่มหมวดหมู่หรือสุ่มตามการแจกแจงทางสถิติ ซึ่งเร็วกว่าการเรียก LLM
Seed dataset
ชุดข้อมูลที่มีอยู่แล้วซึ่งผู้ใช้ป้อนเข้าไป เพื่อให้คอลัมน์ของมันถูกใช้เป็นบริบทใน prompt ตอนสร้างข้อมูลใหม่

ตัวอย่าง

ชุดข้อมูลแรก: คำทักทายหลายภาษา

ติดตั้ง

pip install data-designer
pythonจาก repo
import data_designer.config as dd
from data_designer.interface import DataDesigner

data_designer = DataDesigner()
config_builder = dd.DataDesignerConfigBuilder()
config_builder.add_column(dd.SamplerColumnConfig(  # สุ่มเลือกภาษา
    name="language",
    sampler_type=dd.SamplerType.CATEGORY,
    params=dd.CategorySamplerParams(
        values=["English", "Spanish", "French", "German", "Italian"]),
))
config_builder.add_column(dd.LLMTextColumnConfig(  # ให้ LLM เขียน
    name="greeting",
    model_alias="nvidia-text",
    prompt="Write a casual and formal greeting in {{ language }}.",
))
results = data_designer.preview(config_builder)  # สร้างตัวอย่าง
results.display_sample_record()

ตัวอย่างนี้ออกแบบตาราง 2 คอลัมน์ คือ language ที่สุ่มเลือกภาษาจากรายการ และ greeting ที่ให้ LLM เขียนคำทักทาย โดย {{ language }} ใน prompt จะถูกแทนด้วยค่าของคอลัมน์ language คำสั่ง preview สร้างตัวอย่างออกมาให้ดูก่อน แล้ว display_sample_record แสดงข้อมูลตัวอย่างหนึ่งรายการบนหน้าจอ

ที่มาของตัวอย่าง ↗ NVIDIA-NeMo/DataDesigner/blob/main/fern/versions/latest/pages/index.mdx (เปิดในแท็บใหม่)

Pull request ใน repo นี้

623 → 315โมเดลเห็นเป็นภาษาไทยจริง และ prompt เดียวกันเหลือ 315 tokenPR 1131 · merge แล้ว ↗ (เปิดในแท็บใหม่)
เปิด repo บน GitHub ↗ (เปิดในแท็บใหม่)

คำอธิบายนี้สรุปจาก README และเอกสารของ repo ณ 13 พ.ย. 2026 ตัวอย่าง code ยกมาจาก repo โดยตัดให้สั้นลง ควรดูเอกสารล่าสุดก่อนใช้งานจริง

02 ฝึกโมเดลNVIDIA-NeMo/Automodel

Automodel

library ฝึกและปรับแต่งโมเดล AI จาก Hugging Face สั่งงานด้วยไฟล์ YAML

การ์ดของ repo NVIDIA-NeMo/Automodel บน GitHub

คืออะไร

NeMo AutoModel เป็น library open-source ใน NVIDIA NeMo Framework สำหรับฝึก (train) และปรับแต่ง (fine-tune) โมเดล LLM, VLM, diffusion และ retrieval ฝึก LLM หรือ VLM จาก Hugging Face ได้โดยไม่ต้องแปลงรูปแบบ งานแต่ละแบบมี recipe คือ script Python คู่กับไฟล์ YAML ที่เก็บค่าตั้ง แล้วรันด้วยคำสั่ง automodel

เหมือนครัวที่มีสูตรอาหารพร้อมใช้: เลือกสูตร (recipe) ใส่วัตถุดิบคือโมเดลกับชุดข้อมูล แล้วสูตรเดียวกันใช้ได้ทั้งเตาเดียวและครัวใหญ่หลายเตา (GPU หลายตัว)

ทำอะไรได้

  • Fine-tune LLM หรือ VLM จาก Hugging Face ด้วยคำสั่ง automodel กับไฟล์ YAML หนึ่งไฟล์
  • เลือกปรับทั้งโมเดล (SFT) หรือปรับแบบประหยัดหน่วยความจำด้วย LoRA
  • ขยายจาก GPU ตัวเดียวไปหลาย GPU หรือหลายเครื่อง โดยไม่ต้องเขียน code โมเดลใหม่

ใช้เมื่อไหร่

ใช้เมื่อมีโมเดลจาก Hugging Face กับชุดข้อมูลของตัวเอง แล้วอยากปรับโมเดลให้เข้ากับงานเฉพาะ ใช้ได้ทั้งการทดลองขนาดเล็กและงานหลาย GPU หลายเครื่อง

อยู่ตรงไหนของเส้นทาง

อยู่ที่ขั้น train: รับโมเดลตั้งต้นกับชุดข้อมูลที่เตรียมไว้ แล้วบันทึก checkpoint ซึ่งรวมเป็นรูปแบบที่เข้ากับ Hugging Face ได้ เพื่อนำไปทำ inference หรือแชร์ต่อในขั้นถัดไป

รูปทรง 3D ในฉาก

โครงข่ายจุดสามชั้นที่มีแสงวิ่งผ่าน สื่อถึง neural network ที่กำลังถูกฝึก

คำที่ควรรู้

recipe
script Python คู่กับไฟล์ YAML ที่กำหนดงานฝึกตั้งแต่ต้นจนจบ คือโหลดโมเดล เตรียมข้อมูล วนฝึก และบันทึก checkpoint
SFT (Supervised Fine-Tuning)
การฝึกต่อจากโมเดลที่มีอยู่โดยปรับ parameter ทั้งหมด เพื่อให้โมเดลเข้ากับงานเฉพาะ
PEFT / LoRA
การ fine-tune แบบประหยัดหน่วยความจำ โดยปรับเฉพาะน้ำหนักของ adapter ขนาดเล็กแทนการปรับทั้งโมเดล

ตัวอย่าง

รัน recipe ปรับแต่ง Qwen3-0.6B ด้วยคำสั่ง automodel

ติดตั้ง

uv pip install "nemo-automodel"
bashจาก repo
# Fine-tune Qwen3-0.6B ด้วยชุดข้อมูล HellaSwag บน GPU ตัวเดียว
automodel examples/llm_finetune/qwen/qwen3_0p6b_hellaswag.yaml

# ใช้หลาย GPU ในเครื่องเดียว: เพิ่ม --nproc-per-node
automodel examples/llm_finetune/qwen/qwen3_0p6b_hellaswag.yaml \
  --nproc-per-node 8

# Fine-tune แบบประหยัดหน่วยความจำด้วย LoRA
automodel examples/llm_finetune/qwen/qwen3_0p6b_hellaswag_peft.yaml

# แก้ค่าใดก็ได้ใน YAML ผ่าน command line
automodel examples/llm_finetune/qwen/qwen3_0p6b_hellaswag_peft.yaml \
  --step_scheduler.local_batch_size 16

คำสั่งแรกให้ automodel อ่านไฟล์ YAML ในโฟลเดอร์ examples/ ของ repo ซึ่งระบุ recipe และค่าการฝึกทั้งหมด แล้ว fine-tune Qwen3-0.6B ด้วยชุดข้อมูล HellaSwag บน GPU ตัวเดียว โดยไม่ต้องใช้ Hugging Face token คำสั่งถัดไปแสดงการใช้หลาย GPU การใช้ LoRA และการแก้ค่าใน YAML จาก command line ผลที่ได้คือ checkpoint ของโมเดล ซึ่ง recipe แรกตั้งให้บันทึกไว้ในโฟลเดอร์ checkpoints/

ที่มาของตัวอย่าง ↗ NVIDIA-NeMo/Automodel/blob/main/README.md (เปิดในแท็บใหม่)

Pull request ใน repo นี้

"" → " Paris"โมเดลได้เรียนคำตอบครบ ตั้งแต่ token แรกPR 4643 · merge แล้ว ↗ (เปิดในแท็บใหม่)
เปิด repo บน GitHub ↗ (เปิดในแท็บใหม่)

คำอธิบายนี้สรุปจาก README และเอกสารของ repo ณ 13 พ.ย. 2026 ตัวอย่าง code ยกมาจาก repo โดยตัดให้สั้นลง ควรดูเอกสารล่าสุดก่อนใช้งานจริง

03 บีบอัดNVIDIA/Model-Optimizer

Model-Optimizer

library บีบอัดโมเดล AI ให้เล็กลงและรันเร็วขึ้น

การ์ดของ repo NVIDIA/Model-Optimizer บน GitHub

คืออะไร

NVIDIA Model Optimizer (เรียกสั้นๆ ว่า ModelOpt) เป็น library ที่รวมเทคนิคปรับแต่งโมเดลไว้ในที่เดียว เช่น quantization, pruning, distillation และ speculative decoding โดยเรียกใช้ผ่าน Python API รับโมเดลจาก Hugging Face, PyTorch หรือ ONNX แล้วส่งออกเป็น checkpoint ที่ quantize แล้ว checkpoint นี้นำไปรันต่อบน vLLM, SGLang, TensorRT-LLM หรือ TensorRT ได้

การ quantize คล้ายการลดจำนวนสีของรูปภาพเพื่อให้ไฟล์เล็กลง โดยพยายามให้ภาพยังดูใกล้เคียงของเดิม

ทำอะไรได้

  • ลดความละเอียดของตัวเลขในโมเดล (quantization) เป็นรูปแบบอย่าง NVFP4, FP8, INT8, INT4 เพื่อให้โมเดลเล็กลง
  • ตัดน้ำหนักที่ไม่จำเป็นออก (pruning) หรือสอนโมเดลเล็กให้ทำงานเหมือนโมเดลใหญ่ (distillation)
  • ส่งออกโมเดลที่ quantize แล้วเป็น checkpoint แบบ Hugging Face เพื่อนำไป deploy บน vLLM, SGLang หรือ TensorRT-LLM

ใช้เมื่อไหร่

ใช้เมื่อมีโมเดลที่ train เสร็จแล้ว และอยากให้เล็กลงหรือรันเร็วขึ้นก่อนนำไปให้บริการ ถ้าความแม่นยำหลัง PTQ ยังไม่พอ เอกสารแนะนำให้ปิดการ quantize ส่วน KV cache หรือเปลี่ยนไปใช้ QAT ซึ่งฝึกโมเดลเพิ่มอีกไม่กี่ขั้น

อยู่ตรงไหนของเส้นทาง

อยู่ในขั้น compress คือหลัง train และก่อน serve โดยรับโมเดลที่ฝึกแล้วมาบีบอัด แล้วส่ง checkpoint ต่อให้ serving engine อย่าง vLLM, SGLang หรือ TensorRT-LLM

รูปทรง 3D ในฉาก

กรอบกล่องสองชั้นที่หดเข้าหาลูกบาศก์ทึบตรงกลาง สื่อถึงการบีบโมเดลให้เล็กลง

คำที่ควรรู้

Quantization
การลดความละเอียดของตัวเลขที่โมเดลใช้เก็บน้ำหนัก เพื่อให้โมเดลเล็กลงและรันเร็วขึ้น
PTQ (Post-Training Quantization)
การ quantize โมเดลหลังจาก train เสร็จแล้ว โดยไม่ต้อง train ใหม่
Calibration
การป้อนข้อมูลตัวอย่างชุดเล็กให้โมเดล เพื่อหาค่าสเกลที่เหมาะสมสำหรับการ quantize

ตัวอย่าง

Quantize โมเดลด้วย PTQ แล้วส่งออกเป็น checkpoint

ติดตั้ง

pip install -U nvidia-modelopt[all]
pythonจาก repo
import modelopt.torch.quantization as mtq

# เตรียมโมเดล
model = AutoModelForCausalLM.from_pretrained("...")
# ตัวอย่างแบบย่อ: เตรียม data loader สำหรับ calibration ตาม calib_size
calib_set = get_dataloader(num_samples=calib_size)
def forward_loop(model):
    for batch in calib_set:
        model(batch)
# PTQ: แทนที่ module เดิมด้วยแบบ quantized
model = mtq.quantize(model, mtq.NVFP4_DEFAULT_CFG, forward_loop)

from modelopt.torch.export import export_hf_checkpoint
with torch.inference_mode():
    export_hf_checkpoint(
        model,  # โมเดลที่ quantize แล้ว
        export_dir,  # โฟลเดอร์ที่จะเก็บไฟล์ที่ส่งออก
    )

ตัวอย่างนี้ต่อ code สองขั้นจาก README เดียวกัน คือขั้น quantize และขั้น export ขั้นแรกป้อนข้อมูลตัวอย่างชุดเล็ก (ปกติ 128-512 ตัวอย่าง) ผ่าน forward_loop เพื่อปรับค่าสเกล แล้วแปลงโมเดลเป็นรูปแบบ NVFP4 ผลที่ได้คือ checkpoint แบบ Hugging Face ในโฟลเดอร์ export_dir แต่ code นี้เป็นโครงแบบย่อ ต้องเติมชื่อโมเดลแทน "..." และเขียน get_dataloader เองก่อนรันจริง

ที่มาของตัวอย่าง ↗ NVIDIA/Model-Optimizer/blob/main/examples/hf_ptq/README.md (เปิดในแท็บใหม่)

Pull request ใน repo นี้

TypeError → OKตัวเลือกเหล่านั้นใช้ได้แล้ว และโหลดโมเดลได้ตามปกติPR 2161 · merge แล้ว ↗ (เปิดในแท็บใหม่)
0 → 3เสนอให้ชี้ 3 ชุดไปยังแหล่งที่ยังใช้ได้ และถอด pg19 ออกPR 3110 · รอ review ↗ (เปิดในแท็บใหม่)
9 → 0เสนอแก้ทั้งสองจุด ใน test ที่รายงานไว้ใน PR นี้ test 9 จาก 19 รายการที่ไม่ผ่านบน main ผ่านทั้งหมดเมื่อใช้ PR นี้PR 3244 · รอ review ↗ (เปิดในแท็บใหม่)
เปิด repo บน GitHub ↗ (เปิดในแท็บใหม่)

คำอธิบายนี้สรุปจาก README และเอกสารของ repo ณ 13 พ.ย. 2026 ตัวอย่าง code ยกมาจาก repo โดยตัดให้สั้นลง ควรดูเอกสารล่าสุดก่อนใช้งานจริง

04 ให้บริการNVIDIA/TensorRT-LLM

TensorRT-LLM

library ของ NVIDIA ที่ช่วยให้ LLM ทำงานบน GPU ได้มีประสิทธิภาพ

การ์ดของ repo NVIDIA/TensorRT-LLM บน GitHub

คืออะไร

TensorRT LLM เป็น library open-source ของ NVIDIA สำหรับปรับแต่งขั้นตอน inference ของ LLM และโมเดลสร้างภาพ/วิดีโอ ให้ทำงานบน GPU ของ NVIDIA ได้อย่างมีประสิทธิภาพ ตัว library สร้างบน PyTorch และมี Python API ชื่อ LLM API ให้เรียกใช้ นอกจากนี้ยังมีคำสั่ง trtllm-serve สำหรับเปิด server แบบ OpenAI compatible

เหมือนการจัดครัวร้านอาหารใหม่ ให้พ่อครัวคนเดิม (โมเดล) ทำอาหารได้คล่องขึ้นและรับออเดอร์หลายโต๊ะไปพร้อมกัน

ทำอะไรได้

  • เปิด server แบบ OpenAI compatible ด้วยคำสั่ง trtllm-serve แล้วส่งคำขอผ่าน HTTP
  • รันโมเดลจาก Python ด้วย LLM API โดยระบุแค่ชื่อ repo บน HuggingFace หรือ checkpoint ของโมเดล
  • ขยายการรันจาก GPU ตัวเดียวไปเป็นหลาย GPU หรือหลายเครื่อง

ใช้เมื่อไหร่

ใช้เมื่อมี GPU ของ NVIDIA และต้องการนำโมเดลภาษาที่มีอยู่แล้วมาเปิดให้บริการหรือรันตอบคำถาม ก่อนติดตั้งควรดูหน้า Supported Hardware ว่า GPU ที่ใช้รองรับหรือไม่ และในคำสั่งติดตั้งให้แทน x.y.z ด้วย version ที่ต้องการ

อยู่ตรงไหนของเส้นทาง

อยู่ช่วง serve: รับโมเดลที่ฝึกแล้ว หรือ checkpoint ที่ quantize มาแล้วด้วย Model Optimizer มารันตอบคำขอบน GPU ของ NVIDIA และต่อกับ Dynamo หรือ Triton Inference Server ได้

รูปทรง 3D ในฉาก

วงแหวนที่แคบลงเป็นหัวฉีดและมีเส้นแสงพุ่งออก สื่อถึงเครื่องยนต์ที่เร่ง inference ให้เร็ว

คำที่ควรรู้

inference
ขั้นตอนที่นำโมเดลซึ่งฝึกเสร็จแล้วมารันเพื่อสร้างคำตอบจากข้อความที่ป้อนเข้าไป
quantization (FP8 / FP4)
การเก็บตัวเลขของโมเดลด้วยความละเอียดต่ำลงกว่าแบบ 16-bit เพื่อใช้หน่วยความจำน้อยลง ซึ่งเอกสารระบุว่า FP8 กระทบความแม่นยำเพียงเล็กน้อย
OpenAI compatible server
server ที่เปิด endpoint แบบเดียวกับของ OpenAI เช่น v1/chat/completions ทำให้ส่งคำขอด้วยรูปแบบที่คุ้นเคยได้

ตัวอย่าง

เปิด server ด้วย trtllm-serve

ติดตั้ง

docker pull nvcr.io/nvidia/tensorrt-llm/release:x.y.z
bashจาก repo
# เปิด server (รันใน Docker container)
trtllm-serve "TinyLlama/TinyLlama-1.1B-Chat-v1.0"

# หรือโมเดลที่ quantize เป็น FP8 มาแล้ว (GPU ต้องรองรับ FP8)
trtllm-serve "nvidia/Qwen3-8B-FP8"

คำสั่งแรกเปิด server แบบ OpenAI compatible ที่โหลดโมเดล TinyLlama ขึ้นมา คำสั่งที่สองเปิดโมเดลที่ quantize เป็น FP8 มาแล้ว ซึ่งเอกสารให้ตรวจก่อนว่า GPU รองรับ FP8 เมื่อ server เริ่มทำงานแล้ว ส่งคำขอไปที่ endpoint อย่าง v1/chat/completions ได้จาก terminal อีกหน้าต่าง โดยเอกสารมีตัวอย่างคำสั่ง curl ให้

ที่มาของตัวอย่าง ↗ NVIDIA/TensorRT-LLM/blob/main/docs/source/quick-start-guide.md (เปิดในแท็บใหม่)

Pull request ใน repo นี้

CRASH → 8/8ตอนนี้ใช้ขนาดหน่วยความจำของระบบแทน และ benchmark รันจนจบบน DGX SparkPR 21340 · merge แล้ว ↗ (เปิดในแท็บใหม่)
6/6 → 0/6ข้อความสุดท้ายแบบ streaming ตรงกับแบบไม่ stream ครบทั้ง 6 กรณีที่ทดสอบPR 21341 · merge แล้ว ↗ (เปิดในแท็บใหม่)
เปิด repo บน GitHub ↗ (เปิดในแท็บใหม่)

คำอธิบายนี้สรุปจาก README และเอกสารของ repo ณ 13 พ.ย. 2026 ตัวอย่าง code ยกมาจาก repo โดยตัดให้สั้นลง ควรดูเอกสารล่าสุดก่อนใช้งานจริง

05 จัดเส้นทางNVIDIA-NeMo/Switchyard

Switchyard

ตัวช่วยเลือกว่า request ไหนควรส่งให้โมเดล LLM ตัวใด

การ์ดของ repo NVIDIA-NeMo/Switchyard บน GitHub

คืออะไร

Switchyard เป็น library open-source ที่ช่วยให้ AI agent เลือกว่าแต่ละ request จะให้โมเดลตัวไหนตอบ มันใช้โมเดลที่ประหยัดคู่กับโมเดลที่เก่งกว่า เพื่อถ่วงดุลระหว่างความสำเร็จของงาน ค่าใช้จ่าย และความหน่วง เมื่อฝังแกนหลักที่ชื่อ libsy ลงในระบบของผู้ใช้ Switchyard เป็นฝ่ายให้การตัดสินใจเลือกโมเดล ส่วนตัวเรียกโมเดลและ credentials ยังเป็นของผู้ใช้เอง

เหมือนพนักงานสับรางรถไฟ ที่ดูแต่ละขบวนแล้วเลือกว่าจะให้เข้ารางไหน แต่ไม่ได้ขับรถไฟเอง

ทำอะไรได้

  • ให้งานประจำที่ทำตามขั้นตอนไปที่โมเดลประหยัด และให้ช่วงที่ต้องสำรวจหรือแก้ error ไปที่โมเดลที่เก่งกว่า
  • ฝังการเลือกโมเดลลงใน gateway หรือ agent ของตัวเองผ่าน libsy (Rust) หรือ Python bindings หรือใช้ผ่าน gateway ที่เชื่อมไว้แล้ว เช่น NeMo Relay, OpenRouter
  • ลองเปรียบเทียบ config การ route กับกลุ่มโมเดลของตัวเองบนเครื่อง ด้วย server สาธิต

ใช้เมื่อไหร่

ใช้เมื่อ agent มีโมเดลให้เลือกมากกว่าหนึ่งตัว และไม่อยากใช้โมเดลตัวใหญ่กับทุก request ควรวัดผลกับงานจริงเทียบกับการใช้โมเดลตัวเดียวก่อน เพราะ README เตือนว่าการเรียกโมเดลที่ถูกกว่าไม่ได้แปลว่างานที่ทำสำเร็จจะถูกลงเสมอ

อยู่ตรงไหนของเส้นทาง

อยู่ที่ขั้น route: เมื่อมีโมเดลหลายตัวเปิดให้บริการแล้ว Switchyard ตัดสินใจว่า request แต่ละอันควรไปโมเดลตัวไหน จากนั้น gateway หรือ agent จึงส่ง request ไปยังโมเดลที่ถูกเลือก

รูปทรง 3D ในฉาก

ทางแยกสามสายที่แสงสลับวิ่งไปทีละปลายทาง สื่อถึงการเลือกส่งคำขอไปยังโมเดลที่เหมาะ

คำที่ควรรู้

routing
การตัดสินใจว่า request แต่ละอันจะส่งไปให้โมเดลตัวไหนตอบ
efficient / capable
สองบทบาทของโมเดลในกลุ่ม คือตัวที่มักถูกกว่าสำหรับงานประจำ กับตัวที่เก่งกว่าสำหรับช่วงที่ต้องสำรวจหรือแก้ error
libsy
แกนหลักของ Switchyard ที่เขียนด้วย Rust ไว้ฝังใน gateway หรือโปรแกรม agent ของผู้ใช้

ตัวอย่าง

ให้ Switchyard เลือกระหว่างโมเดลประหยัดกับโมเดลเก่ง

ติดตั้ง

pip install nemo-switchyard
pythonจาก repo
import asyncio
from switchyard.libsy import Step, algorithms

async def main():
    router = algorithms.stage_router(
        picker="efficient_first", confidence_threshold=0.5)
    models = {"efficient": ["Efficient"], "capable": ["Capable"]}
    models["any"] = ["Efficient", "Capable"]
    text = {"type": "text", "text": "Hello"}
    request = {"messages": [{"role": "user", "content": [text]}]}
    async for step in router.run_stream(request, models):
        if isinstance(step, Step.Done):
            print("Selected:", step.outcome.selected_model_ids[0])

asyncio.run(main())

code นี้สร้างตัว route แบบ stage_router ที่ตั้งให้โมเดลประหยัดเป็นตัวเลือกตั้งต้น แล้วบอกว่ามีโมเดลสองบทบาทคือ Efficient กับ Capable (เป็นชื่อสำหรับทดลองบนเครื่อง) จากนั้นส่งข้อความ "Hello" เข้าไปให้มันเลือก เอกสารระบุว่าเมื่อบันทึกเป็น route.py แล้วรัน จะพิมพ์ Selected: Efficient โดยไม่มีการเรียกผ่านเครือข่ายเลย

ที่มาของตัวอย่าง ↗ NVIDIA-NeMo/Switchyard/blob/main/docs/reference/host_integration.md (เปิดในแท็บใหม่)

Pull request ใน repo นี้

คิดคิด → คิดเสนอให้อ่านจากช่องเดียว ข้อความการคิดจึงมาถึงครั้งเดียวPR 1214 · รอ review ↗ (เปิดในแท็บใหม่)
เปิด repo บน GitHub ↗ (เปิดในแท็บใหม่)

คำอธิบายนี้สรุปจาก README และเอกสารของ repo ณ 13 พ.ย. 2026 ตัวอย่าง code ยกมาจาก repo โดยตัดให้สั้นลง ควรดูเอกสารล่าสุดก่อนใช้งานจริง

06 ตรวจความปลอดภัยNVIDIA/garak

garak

เครื่องมือสแกนหาจุดอ่อนของ LLM โดยลองส่งข้อความโจมตีเข้าไป

การ์ดของ repo NVIDIA/garak บน GitHub

คืออะไร

garak เป็นเครื่องมือแบบ command line ที่ตรวจว่าโมเดลภาษา (LLM) หรือ app ที่ใช้ LLM ถูกทำให้ตอบในแบบที่ไม่ต้องการได้หรือไม่ มันส่งข้อความทดสอบเข้าไปหลายแบบ เช่น prompt injection, jailbreak, การทำให้ข้อมูลรั่ว หรือให้ตอบเรื่องที่ไม่จริง แล้วตรวจว่าคำตอบไหนมีปัญหา ถ้าพบคำตอบที่ไม่พึงประสงค์ ผลของการทดสอบชุดนั้นจะขึ้น FAIL พร้อมอัตราที่โมเดลพลาด

เหมือนจ้างช่างมาลองงัดประตูหน้าต่างบ้านตัวเองทีละบาน แล้วจดว่าบานไหนงัดเข้าได้ ก่อนที่คนอื่นจะมาลอง

ทำอะไรได้

  • สแกนโมเดลหาจุดอ่อน เช่น prompt injection, jailbreak, ข้อมูลรั่ว และ hallucination
  • เลือกทดสอบเฉพาะกลุ่มที่สนใจด้วย --spec หรือปล่อยให้รัน probe ทั้งหมด
  • ได้รายงานผลเป็นไฟล์ JSONL และ hit log ของครั้งที่โจมตีสำเร็จ

ใช้เมื่อไหร่

ใช้เมื่ออยากรู้ว่าโมเดลหรือ app ที่ใช้ LLM ของตัวเองถูกทำให้ตอบในแบบที่ไม่ต้องการได้ไหม ใช้ได้กับโมเดลบน Hugging Face, OpenAI, NIM และ endpoint แบบ REST

อยู่ตรงไหนของเส้นทาง

อยู่ขั้นสุดท้ายคือ safety test: garak ต่อเข้ากับโมเดลหรือ endpoint ที่มีอยู่ แล้วส่งข้อความโจมตีเข้าไปเพื่อหาจุดอ่อน

รูปทรง 3D ในฉาก

ก้อนโมเดลที่ถูกวงแหวนสแกนกวาดผ่านและมีหัวเข็มจิ้มเข้ามา สื่อถึงการยิงทดสอบหาช่องโหว่ของโมเดล

คำที่ควรรู้

probe
ชุดข้อความทดสอบที่ garak ส่งไปคุยกับโมเดลเพื่อลองทำให้มันพลาด
detector
ตัวตรวจคำตอบของโมเดลว่ามีอาการล้มเหลวแบบที่กำลังมองหาหรือไม่
generator
plugin ที่เชื่อม garak เข้ากับโมเดลที่จะถูกทดสอบ เช่น huggingface หรือ openai

ตัวอย่าง

ลองโจมตี GPT2 ด้วย DAN 11.0

ติดตั้ง

python -m pip install -U garak
bashจาก repo
# ติดตั้งจาก PyPI
python -m pip install -U garak

# ดูรายการ probe ที่มี
garak --list_probes

# ดูว่า GPT2 บน Hugging Face แพ้การโจมตีแบบ DAN 11.0 หรือไม่
python3 -m garak --target_type huggingface \
  --target_name gpt2 --spec probes.dan.Dan_11_0

คำสั่งสุดท้ายให้ garak ใช้โมเดล gpt2 จาก Hugging Face เป็นเป้าหมาย แล้วรันเฉพาะ probe ชื่อ Dan_11_0 ซึ่งเป็นข้อความแบบ DAN (do-anything-now) ที่พยายามให้โมเดลเลิกทำตามแนวทางที่ถูกกำหนดไว้ ระหว่างรันจะเห็นแถบความคืบหน้า แล้วได้แถวสรุปผลของ probe นั้นต่อ detector แต่ละตัว ถ้ามีคำตอบที่ไม่พึงประสงค์ จะขึ้น FAIL พร้อมอัตราที่พลาด

ที่มาของตัวอย่าง ↗ NVIDIA/garak/blob/main/README.md (เปิดในแท็บใหม่)

Pull request ใน repo นี้

0.0 → 1.0เสนอให้เทียบตัวเลขตามค่าของมัน เบอร์ที่รั่วจึงได้คะแนน 1.0PR 2406 · รอ review ↗ (เปิดในแท็บใหม่)
เปิด repo บน GitHub ↗ (เปิดในแท็บใหม่)

คำอธิบายนี้สรุปจาก README และเอกสารของ repo ณ 13 พ.ย. 2026 ตัวอย่าง code ยกมาจาก repo โดยตัดให้สั้นลง ควรดูเอกสารล่าสุดก่อนใช้งานจริง