近日，字節(jié)跳動旗下的Seed團(tuán)隊(duì)在開源領(lǐng)域邁出了重要一步，正式推出了Seed-OSS系列模型。這一系列模型專為長上下文處理、推理任務(wù)、智能體交互及通用場景設(shè)計(jì)，其上下文窗口長度達(dá)到了前所未有的512k，這一數(shù)字是業(yè)界常規(guī)標(biāo)準(zhǔn)的四倍，甚至超越了GPT-5的兩倍，相當(dāng)于能夠一次性處理約1600頁文本的信息量。qjK28資訊網(wǎng)——每日最新資訊28at.com

qjK28資訊網(wǎng)——每日最新資訊28at.com

Seed-OSS系列模型不僅針對推理任務(wù)進(jìn)行了深度優(yōu)化，還創(chuàng)新性地引入了思維預(yù)算功能，允許用戶根據(jù)實(shí)際需求靈活調(diào)整模型的推理成本。這一特性使得開發(fā)者能夠在保證模型性能的同時，有效控制資源消耗，提升用戶體驗(yàn)。qjK28資訊網(wǎng)——每日最新資訊28at.com

此次開源的Seed-OSS系列包括三個版本：基礎(chǔ)模型Seed-OSS-36B-Base、無合成數(shù)據(jù)基礎(chǔ)模型Seed-OSS-36B-Base-woSyn，以及經(jīng)過指令微調(diào)的Seed-OSS-36B-Instruct。其中，指令微調(diào)后的Seed-OSS-36B-Instruct在多個領(lǐng)域的基準(zhǔn)測試中表現(xiàn)出色，取得了同量級開源模型中的七項(xiàng)最佳性能（SOTA），整體實(shí)力超越了Qwen3-32B、Gemma3-27B、gpt-oss-20B等模型，與Qwen3-30B-A3B-Thinking-2507在多數(shù)領(lǐng)域不相上下。qjK28資訊網(wǎng)——每日最新資訊28at.com

qjK28資訊網(wǎng)——每日最新資訊28at.com

值得注意的是，Seed團(tuán)隊(duì)在發(fā)布這一系列模型時，采取了極為“研究友好”的策略。考慮到合成指令數(shù)據(jù)在預(yù)訓(xùn)練中的潛在影響，團(tuán)隊(duì)特別發(fā)布了無合成數(shù)據(jù)基礎(chǔ)模型，為科研工作者提供了更多樣化的研究選項(xiàng)。Seed-OSS系列模型還支持4位和8位格式的量化處理，進(jìn)一步降低了內(nèi)存需求，提升了模型的應(yīng)用靈活性。qjK28資訊網(wǎng)——每日最新資訊28at.com

在技術(shù)上，Seed-OSS系列模型采用了12萬億個token的預(yù)訓(xùn)練數(shù)據(jù)，并沿用了當(dāng)前主流的因果語言模型架構(gòu)。這一系列模型均為稠密模型，未采用MoE等復(fù)雜架構(gòu)，而是結(jié)合了RoPE旋轉(zhuǎn)位置編碼、GQA注意力機(jī)制、RMSNorm歸一化及SwiGLU激活函數(shù)等高效組件，以提升訓(xùn)練穩(wěn)定性和推理性能。其512k的上下文窗口并非后續(xù)擴(kuò)展而來，而是通過原生訓(xùn)練實(shí)現(xiàn)，能夠一次性處理數(shù)十萬字的內(nèi)容。qjK28資訊網(wǎng)——每日最新資訊28at.com

思維預(yù)算功能的引入，使得開發(fā)者可以根據(jù)任務(wù)復(fù)雜度靈活調(diào)整模型推理成本。對于簡單任務(wù)，模型思維鏈較短，分?jǐn)?shù)波動不明顯；而對于復(fù)雜任務(wù)，隨著思維預(yù)算的增加，模型分?jǐn)?shù)也會相應(yīng)提升。若未設(shè)置思維預(yù)算，Seed-OSS將默認(rèn)無思考長度限制；若指定預(yù)算，則建議優(yōu)先考慮512的整數(shù)倍值，因?yàn)檫@些區(qū)間上的模型訓(xùn)練更為充分。qjK28資訊網(wǎng)——每日最新資訊28at.com

Seed-OSS系列模型的發(fā)布，在開源社區(qū)內(nèi)引起了廣泛關(guān)注。Hugging Face的華人工程師Tiezhen Wang評價稱，這一系列模型非常適合進(jìn)行消融研究，能夠以較低成本探索不同組件對大模型性能的影響。網(wǎng)友們也紛紛表示，如此規(guī)模的基礎(chǔ)模型在開源界實(shí)屬罕見，長上下文能力對于實(shí)際應(yīng)用具有重大意義。qjK28資訊網(wǎng)——每日最新資訊28at.com

近年來，開源已成為技術(shù)創(chuàng)新的重要推動力，連OpenAI等原本堅(jiān)持閉源策略的廠商也開始逐步開源模型。字節(jié)跳動此次將核心語言模型貢獻(xiàn)給社區(qū)，無疑為開源社區(qū)的后續(xù)研究提供了更多基礎(chǔ)模型的選擇，進(jìn)一步推動了人工智能技術(shù)的開放與發(fā)展。qjK28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://m.rrqrq.com/showinfo-48-8400-0.html字節(jié)跳動Seed團(tuán)隊(duì)開源推理大模型，Seed-OSS系列斬獲7項(xiàng)SOTA成績

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 華為nova14系列大降價，麒麟8020芯片加持，2499元起售

下一篇： vivo三十周年：發(fā)布輕量MR頭顯，影像生態(tài)戰(zhàn)略全面革新