小米官宣：2023年上半年出貨量中國第一！
今日早間，小米電視官方微博帶來消息，稱2023年小米電視上半年出貨量達到了中國第一，同時還表示小米電視的巨屏風暴即將開始?！肮家粋€好消息2023年#小米電視上半年出貨量中國
一個Stable Diffusion還不夠！Stability AI再放殺手锏，進擊代碼生成領域：
推出了一款自稱具有革命性的編碼工具StableCode。
敲重點的是，StableCode不僅支持Python、Go、Java、JavaScript、C、Markdown、C++等多種編程語言。
還直接把上下文長度拉到16000個token。
圖片
好家伙，網友直呼瘋批：
圖片
這波還直接戳中網友痛點：
我們真的很需要一個能夠將整個代碼庫塞進上下文的工具。
圖片
官網顯示，StableCode模型具有30億參數，將提供基礎模型、指令模型、長上下文窗口模型三種不同的模型，幫助開發人員編碼。
圖片
StableCode在HPC（高性能計算）集群上，使用5600億代碼token的編程語言數據集starcoder-data對基礎模型進行了訓練。
StarCoder是HuggingFace和ServiceNow合作成立的開放科學合作組織BigCode于五月份開源的針對代碼的大模型。
Stability AI首席研究科學家Nathan Cooper對VentureBeat表示：
我們非常喜歡BigCode，因為他們在數據治理、模型治理和模型訓練方面做了驚人的工作，我們用了他們的數據集，并對其進行了額外的過濾和清理，同時也用在了構建長上下文窗口的模型，在我們的集群上進行了訓練。
對于復雜的編程任務，StableCode則針對特定用例進行了指令調優。
在基礎模型的基礎上，用約120000個Alpaca格式的“代碼指令-回答”對訓練了指令模型。
圖片
此外，為了滿足用戶對上下文窗口長度的需求，StableCode的長上下文窗口模型直接將上下文窗口拉長至16000個token，是此前開源模型的2-4倍。
△與類似大小的模型（3B）進行的 HumanEval 基準比較。
不僅為用戶提供了可單行、多行自動完成建議的工具，還允許用戶同時查看編輯相當于五個中等大小的Python文件，允許更專業復雜的代碼生成prompt。
下面是一個StableCode利用Pytorch深度學習庫完成一個相對復雜的Python文件展示（灰色文本顯示了StableCode的預測）。
圖片
此外，StableCode也是用到了Transformer架構，不同于StarCoder用ALiBi（線性偏差的注意力）的方法定位模型輸出，StableCode則是使用了RoPE（旋轉位置嵌入）的方法。
Cooper表示：
在Transformer模型中，ALiBi方法傾向于更加重視當前的token，而不是過去的token。這對于代碼生成來說不是一個理想的方法，因為代碼沒有固定的敘述結構，沒有明確的開始、中間和結束。代碼的功能可以在應用流程的任何點被定義。所以我們使用RoPE，它沒有這種偏見。
StableCode目前還處于早期階段，初始發布的目標是觀察開發者如何接受和使用這個模型。
我們將與社區進行互動合作，看看他們會提出哪些有趣的方向，并針對開發者領域進行生成式探索 。
研究主管Christian Laforte也淺聊了StableCode的目標：
與Stable Diffusion幫助世界上任何人成為藝術家類似，我們希望StableCode模型能讓任何有好點子但卻遇到問題的人，能夠編寫一個解決問題的程序。
看到Stability AI再放大招的這波操作，有網友在去測試Github Copilot的路上來了個掉頭：
圖片
還有網友希望“預定”下一次動作：
真的很想看Stability AI在文本轉語音方面，做些類似谷歌SoundStorm（聲音風暴）的事啊。
圖片
此外，StableCode目前已經開源啦！
參考鏈接：
[1]https://venturebeat.com/programming-development/stability-ai-launches-stablecode-an-llm-for-code-generation/
[2]https://twitter.com/StabilityAI/status/1688931312122675200
本文鏈接：http://m.rrqrq.com/showinfo-26-5096-0.html上下文1.6萬token的編程大模型來了！與Stable Diffusion出自同門，一次吃5個Python文件不費勁
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號