你怎么看？專家稱無人駕駛普及后能降房價 誰還去市中心買貴房子
8月5日消息，目前不少汽車廠商都在發力無人駕駛，你期待以后這樣的場景嗎？馭勢科技CEO吳甘沙表示，無人駕駛將重塑人類的生活方式，以居住為例，現階段人們住在郊區、工作在
英偉達近日在文檔理解領域邁出了重要一步，推出了Llama Nemotron Nano VL視覺-語言模型，這一創新旨在高效且精準地應對復雜的文檔級理解挑戰。
Llama Nemotron Nano VL模型基于先進的Llama 3.1架構，巧妙融合了CRadioV2-H視覺編碼器和Llama 3.1 8B指令微調語言模型。這一結合使得模型能夠同時解析多頁文檔中的視覺和文本元素，支持處理長達16K的上下文，無論是圖像還是文本序列，都能游刃有余。
為了實現視覺與文本的精準對齊，該模型采用了投影層和旋轉位置編碼技術，這一創新極大地優化了token效率，尤其適用于長篇多模態任務。無論是面對多圖像輸入還是復雜的文本解析，Llama Nemotron Nano VL都能展現出卓越的性能。
在模型訓練過程中，英偉達采取了分階段策略。首先，利用豐富的商業圖像和視頻數據集進行交錯式圖文預訓練，為模型打下堅實基礎。隨后，通過多模態指令微調，進一步提升模型的交互式提示能力。最后，重新混合純文本指令數據，以優化模型在標準語言模型基準上的表現。
訓練過程中，英偉達采用了自家的Megatron-LLM框架和Energon數據加載器，依托強大的A100和H100 GPU集群完成。在OCRBench v2基準測試中，Llama Nemotron Nano VL在OCR、表格解析和圖表推理等任務上展現了領先精度，尤其在結構化數據提取（如表格和鍵值對）及布局相關問題解答中，表現尤為突出，甚至媲美更大規模的模型。
在部署方面，Llama Nemotron Nano VL同樣表現出色。其設計靈活，支持服務器和邊緣推理場景，滿足多樣化的應用需求。英偉達還提供了4-bit量化版本（AWQ），結合TinyChat和TensorRT-LLM實現高效推理，兼容Jetson Orin等受限環境。該模型還支持Modular NIM（NVIDIA推理微服務）、ONNX和TensorRT導出，為企業應用提供了豐富的解決方案。
為了進一步降低靜態圖像文檔處理的延遲，英偉達還引入了預計算視覺嵌入選項。這一創新使得Llama Nemotron Nano VL在處理圖像文檔時更加高效，為企業用戶帶來了實質性的便利。
本文鏈接：http://m.rrqrq.com/showinfo-48-7489-0.html英偉達推出Llama Nemotron Nano VL：視覺-語言模型處理文檔更高效
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號