近年來，人工智能技術，尤其是大模型的快速發展，正在深刻重塑傳統材料科學的研究方式。在鋼鐵等傳統結構材料領域，融合歷史知識與人工智能的新型研究模式正逐漸引起廣泛關注?；赥ransformer架構的大語言模型，憑借其整合大規模數據和挖掘非結構化知識的強大能力，為鋼鐵設計開辟了全新的方向。這些模型能夠高效解析并挖掘歷史文獻中的隱性知識，為鋼鐵材料的成分設計、工藝優化和性能預測提供了創新性的解決方案，同時大幅降低了數據準備和特征工程的復雜性。與傳統的機器學習方法相比，大模型不僅顯著提升了研究效率，還突破了對高質量結構化數據的依賴，為研究者提供了全新的技術支持。這種融合人工智能與歷史知識的新范式，不僅在鋼鐵材料的優化與創新中發揮了重要作用，還為鋼鐵行業的高效、精準發展注入了強大動力，助力行業邁向智能化的未來。

北京科技大學宿彥京教授團隊近期在金屬材料領域頂刊《Acta Materialia》發表題為”Steel design based on a large language model”研究論文， 這是《Acta Materialia》首次刊載基于大語言模型進行材料設計的研究成果。該研究提出了一種基于大語言模型的端到端方法，用于從海量歷史文本中直接預測材料性能。研究的核心包括材料語言編碼器SteelBERT和多模態深度學習框架。通過輸入材料成分和工藝的文本信息，該方法能夠精準預測材料的力學性能。SteelBERT是在約420萬篇材料科學摘要和5.5萬篇鋼鐵相關文獻全文的基礎上預訓練的，可以將化學元素、加工工藝等知識轉化為包含上下文信息的向量表示。借助深度學習框架，該方法成功預測了18種不同鋼種和工藝條件下的力學性能，其中屈服強度、極限抗拉強度和延伸率的預測精度達到80%左右。此外，通過在實驗室特定鋼種的小樣本數據（64條15Cr奧氏體不銹鋼數據）上進行微調，三種性能的預測精度進一步提升至約90%。最終，通過優化鋼鐵工藝流程，該研究成功制備出性能優異的奧氏體不銹鋼，超越了該體系已報道材料的綜合力學性能。

論文鏈接：https://doi.org/10.1016/j.actamat.2024.120663

圖 1 基于 SteelBERT 模型的力學性能定量預測 (a) 數據準備工作流程示意圖。該工作流程包括科學文獻下載、語料預處理、表格和文本信息抽取等階段。(b) SteelBERT 是專注于鋼鐵材料領域的語言模型，能夠捕捉材料相關的上下文信息。(c) 通過 SteelBERT，將文本描述的工藝路線和化學成分嵌入為 768 維的特征向量，為模型提供準確的輸入表征。(d)基于自然語言文本的力學性能預測采用深度學習網絡構建模型，以嵌入的成分特征和加工路線文本為輸入，預測屈服強度、極限抗拉強度及總延伸率。通過在實驗室數據集上微調后，成功設計并優化出一種綜合力學性能優異的新型奧氏體不銹鋼。

圖 2. 抽取數據的語料分布和可視化

圖3 預測模型網絡架構

圖 4. SteelBERT的可解釋性 (a) 利用 SteelBERT 模型進行摘要嵌入聚類的可視化效果。(b) 使用 c-TF-IDF 方法生成主題，以識別每個聚類中的主題。(c) 利用二維 t-SNE 投影來描述 100 種化學元素的詞嵌入 (不同顏色表示各類元素的化學周期表)。

圖 5. YS、UTS和 EL 的訓練、驗證集和測試集性能預測表現

圖 6. 新型鋼鐵的研發設計 (a) 在探索奧氏體不銹鋼的小型實驗數據集上進行微調的過程。(b) 微調模型與使用 15 至 50 個不同數量的訓練數據訓練，與傳統機器學習模型的比較。(c) 已報道 15Cr 奧氏體不銹鋼、初始試樣和優化后試樣對比。

圖 7. 拉伸試驗和表征 (a) 初始鋼與優化后鋼在25°C、應變速率為1×10^-4 s^-1 條件下的應力-應變對比。(b) 優化后鋼 1-1 的電子背散射衍射（EBSD）圖及其晶粒尺寸分布(軋制方向用垂直箭頭標出）。

該研究方法與傳統的機器學習方法相比，在解決鋼鐵制造過程中結構化特征提取、工藝序列對齊以及高維稀疏性等復雜問題時更加高效。此外，在定量回歸任務中，其表現優于基于純Transformer解碼器的大語言模型。這一方法實現相對簡單，用戶只需輸入材料成分和工藝的文本信息，即可得到力學性能的預測結果?；谧匀徽Z言文本特征開發的這類機器學習模型不僅在鋼鐵性能預測中展現了巨大的潛力，還能廣泛應用于其他材料性能的研究和開發。

【作者介紹】

宿彥京，博士，教授，博士生導師。2000年在北京科技大學獲博士學位，同年入選北京市科技新星計劃，2005年入選教育部新世紀人才計劃。現任北京科技大學新材料技術研究院材料失效與控制研究所所長，兼任“十三五”工業與信息化部產業發展促進中心“材料基因工程關鍵技術與支撐平臺”和“制造基礎技術與關鍵部件”重點專項專家委員會委員，“十四五”科技部“稀土新材料”重點研發計劃實施方案編寫專家，國家自然基金委“可解釋、可通用下一代人工智能技術”重大研究計劃專家指導委員會委員。

主要從事材料數據庫和大數據技術，以及材料腐蝕和環境斷裂研究，在Nat. Commun.、Acta Mater.、Corr. Sci.和npj Comput. Mater. 等刊物共發表論文200余篇，合作出版專著4部，獲省部級科技進步一、二等獎四項。“十三五”期間，主持“材料基因工程專用數據庫和大數據”國家重點研發計劃項目，研發出了材料復雜異構數據存儲技術，建成了我國首個集數據庫、數據采集和機器學習軟件一體化的材料數據庫系統；研發出了多主元合金自適應多目標優化算法、量綱約束的符合回歸算法、基于自然語言處理的科技文獻數據自動抽取技術和程序等。2019年在Acta Mater. 首次發表金屬材料機器學習優化設計文章，Elsevier進行了專題報導，被認為是該領域開創性工作。

【團隊招生】

論文通訊作者宿彥京教授團隊長期招收機器學習方向的碩士、博士研究生。團隊研究方向主要聚焦于大模型、深度學習和強化學習等領域，特別歡迎具備扎實編程能力并對材料科學與人工智能交叉研究感興趣的優秀學生加入。

郵箱：yjsu@ustb.edu.cn