انویدیا TensorRT Model Connect را در پیشنمایش عمومی منتشر کرد؛ تبدیل Checkpointهای Hugging Face به استنتاج بومی C++ با دو دستور
انویدیا نسخه پیشنمایش عمومی TensorRT Model Connect را منتشر کرده است؛ پروژهای متنباز با مجوز Apache-2.0 که Checkpointهای پشتیبانیشده از Hugging Face یا فایلهای محلی را تنها با دو دستور به جریان کامل استنتاج TensorRT تبدیل میکند، بدون نیاز به مرحله میانی ONNX. خروجی این فرایند یک Artifact نسخهدار با پسوند .bundle است که از طریق APIهای بومی C++ برای تولید متن، تبدیل گفتار، ساخت Embedding، تولید تصویر، بخشبندی و پیشبینی قابل اجراست. این ابزار برای رباتیک، هوش مصنوعی لبهای، سامانههای صنعتی، خودرو و محصولاتی مناسب است که نمیخواهند Python یا PyTorch را در زمان اجرا نگه دارند.
ادامه مطلب