最新動態



TAIDE新聞

TAIDE團隊釋出Llama 3.1-TAIDE-LX-8B-Chat模型,提升長文處理擴大上下文長度至131K,以及強化臺灣文化文本資料

2025.02.11
ai-generated-8563258_1280.jpg
TAIDE
國科會

TAIDE團隊今日釋出Llama 3.1-TAIDE-LX-8B-Chat模型,這是以Meta Llama-3.1-8B為基礎進行訓練,並已完成基本測試的最新具臺灣文化的大型繁體中文模型。本次更新中,模型技術方面相較於前期釋出的Llama3-TAIDE-LX-8B-Chat-Alpha1,增加了TAIDE模型對於長文處理的能力與正體中文的解碼速度,以及模型的上下文長度(Context Length)由8K增加至131K,主要可以提升使用者輸入資訊豐富度,也讓模型回復的資訊可以更為全面與完善。

另在模型釋出階段,TAIDE以推動可信賴訓練料與開源精神為核心理念,於訓練資料方面,將在符合法律規範下,積極與公私部門建立互惠合作關係,未來透過持續與公私部門洽談及蒐集相關資料,進一步擴充資料規模,精進資料品質;於模型開發方面,將鼓勵學研界及產業界投入,推動新興模型訓練技術,並針對特色領域應用模型進行加值開發。目前隨著TAIDE模型的公開釋出,下載數已達18萬次以上,並為了建立應用示範,除與公部門合作發展公文等政府專用版TAIDE模型,也和學研團隊合作,進行如臺英語學習機器人(國立臺南大學)、臺客語聊天平臺(國立陽明交通大學)、華語教材生成、醫療衛教詢答、勞訴與詐欺類案推薦等各種應用開發。

現階段洽談完成並蒐集的資料涵蓋公私部門,公部門方面包含光華雜誌社、中央通訊社、教育部字辭典與中央研究院等,私部門方面包含今周刊、三采文化、聯合知識庫及成大醫院等民間單位。期望透過上述單位所提供的資料,投入學研用或商用模型進行訓練,讓TAIDE模型生成的文本更加流暢、精準,並且更具有臺灣味以及加強臺灣在地文化、用語與國情等知識。

現在即可點入網站上方「TAIDE模型」連結(https://taide.tw/index/download-model),再進入該頁面中提供的Huggingface連結下載,就可開始使用並體驗具有臺灣特色的大型語言模型。另外也可點擊網站上方的「訓練資料」連結(https://taide.tw/index/training-data?type=0),觀看目前TAIDE訓練資料的Data Card,並下載符合相關法規之規範下,可釋出之訓練資料。