從生物化學(xué)家到材料科學(xué)家，研究人員長期依賴豐富多樣的有機(jī)分子來解決緊迫的挑戰(zhàn)。一些分子可用于治療疾病，其他分子用于照明我們的數(shù)字顯示器，還有一些用于顏料，涂料和塑料。每個(gè)分子的獨(dú)特性質(zhì)取決于其結(jié)構(gòu) - 即通過其組成原子的連接性。一旦確定了有希望的結(jié)構(gòu)，仍然存在通過一系列化學(xué)反應(yīng)制備目標(biāo)分子的困難任務(wù)。但是哪些?

有機(jī)化學(xué)家通常使用稱為逆合成分析的過程從目標(biāo)分子向后工作。在此過程中，化學(xué)家面臨著一系列復(fù)雜且相互關(guān)聯(lián)的決策。例如，在成千上萬種不同的化學(xué)反應(yīng)中，您應(yīng)該選擇哪種化學(xué)反應(yīng)來制造目標(biāo)分子?一旦做出決定，您可能會(huì)發(fā)現(xiàn)自己有多個(gè)反應(yīng)所需的反應(yīng)物分子。如果無法購買這些分子，那么您如何選擇合適的反應(yīng)來生產(chǎn)它們呢?智能地選擇在此過程的每個(gè)步驟中執(zhí)行的操作對(duì)于導(dǎo)航大量可能的路徑至關(guān)重要。

哥倫比亞工程公司的研究人員開發(fā)了一種基于強(qiáng)化學(xué)習(xí)的新技術(shù)，該技術(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，以便在逆合成過程的每個(gè)步驟中正確選擇“最佳”反應(yīng)。這種形式的AI為研究人員提供了一個(gè)框架，用于設(shè)計(jì)化學(xué)合成，優(yōu)化用戶指定的目標(biāo)，如合成成本，安全性和可持續(xù)性。由ACS Central Science于5月31日發(fā)布的新方法比解決這一具有挑戰(zhàn)性的搜索問題的現(xiàn)有策略更成功(約60%)。

“強(qiáng)化學(xué)習(xí)創(chuàng)造了比復(fù)雜的視頻游戲更好的計(jì)算機(jī)玩家。也許反復(fù)合成也許沒有什么不同!這項(xiàng)研究讓我們希望強(qiáng)化學(xué)習(xí)算法可能比人類玩家在'游戲'上好一天。反向合成，“多倫多大學(xué)化學(xué)與計(jì)算機(jī)科學(xué)教授AlánAspuru-Guzik說，他沒有參與這項(xiàng)研究。

該團(tuán)隊(duì)將反合成規(guī)劃的挑戰(zhàn)定義為像國際象棋和圍棋這樣的游戲，其中可能選擇的組合數(shù)量是天文數(shù)字，并且每個(gè)選擇的價(jià)值都不確定，直到綜合計(jì)劃完成并且其成本得到評(píng)估。與早期使用啟發(fā)式評(píng)分函數(shù)(簡單的經(jīng)驗(yàn)法則)來指導(dǎo)反合成計(jì)劃的研究不同，這項(xiàng)新研究使用強(qiáng)化學(xué)習(xí)技術(shù)根據(jù)神經(jīng)模型自身的經(jīng)驗(yàn)做出判斷。

“我們是第一個(gè)將強(qiáng)化學(xué)習(xí)應(yīng)用于逆合成分析問題的人，”化學(xué)工程副教授Kyle Bishop說。“從一個(gè)完全無知的狀態(tài)開始，模型對(duì)策略一無所知并隨機(jī)應(yīng)用反應(yīng)，模型可以練習(xí)和練習(xí)，直到找到一個(gè)優(yōu)于人類定義的啟發(fā)式的策略。”

在他們的研究中，Bishop的團(tuán)隊(duì)專注于使用反應(yīng)步驟的數(shù)量來衡量什么是“良好的”合成途徑。他們的強(qiáng)化學(xué)習(xí)模型正是考慮到這一目標(biāo)而定制其戰(zhàn)略。使用模擬經(jīng)驗(yàn)，團(tuán)隊(duì)訓(xùn)練模型的神經(jīng)網(wǎng)絡(luò)，以基于其分子結(jié)構(gòu)的表示來估計(jì)任何給定分子的預(yù)期合成成本或價(jià)值。

該團(tuán)隊(duì)計(jì)劃在未來探索不同的目標(biāo)，例如，訓(xùn)練模型以最小化成本而不是反應(yīng)的數(shù)量，或避免可能有毒的分子。研究人員還試圖減少模型學(xué)習(xí)其策略所需的模擬次數(shù)，因?yàn)橛?xùn)練過程的計(jì)算成本非常高。

“我們希望我們的反合成游戲?qū)⒑芸熳裱瓏H象棋和圍棋的方式，其中自學(xué)成才的算法始終優(yōu)于人類專家，”畢曉普指出。“我們歡迎競爭。與國際象棋計(jì)算機(jī)程序一樣，競爭是改進(jìn)現(xiàn)有技術(shù)的引擎，我們希望其他人可以在我們的工作基礎(chǔ)上展示更好的表現(xiàn)。”

該研究的標(biāo)題是“通過模擬經(jīng)驗(yàn)學(xué)習(xí)反合成規(guī)劃”。