在最近的一篇論文中，蘋果的研究人員宣稱，他們提出了一個可以在設備端運行的模型，這個模型在某些方面可以超過 GPT-4。

具體來說，他們研究的是 NLP 中的指代消解（Reference Resolution）問題，即讓 AI 識別文本中提到的各種實體（如人名、地點、組織等）之間的指代關系的過程。簡而言之，它涉及到確定一個詞或短語所指的具體對象。這個過程對于理解句子的意思至關重要，因為人們在交流時經(jīng)常使用代詞或其他指示詞（如「他」、「那里」）來指代之前提到的名詞或名詞短語，避免重復。

不過，論文中提到的「實體」更多得與手機、平板電腦等設備有關，包括：

屏幕實體（On-screen Entities）：用戶在與設備交互時，屏幕上顯示的實體或信息。

對話實體（Conversational Entities）：與對話相關的實體。這些實體可能來自用戶之前的發(fā)言（例如，當用戶說「給媽媽打電話」時，「媽媽」的聯(lián)系方式就是相關的實體），或者來自虛擬助手（例如，當助手為用戶提供一系列地點或鬧鐘供選擇時）。

后臺實體（Background Entities）：這些是與用戶當前與設備交互的上下文相關的實體，但不一定是用戶直接與虛擬助手互動產(chǎn)生的對話歷史的一部分；例如，開始響起的鬧鐘或在背景中播放的音樂。

蘋果的研究在論文中表示，盡管大型語言模型（LLM）已經(jīng)證明在多種任務上具有極強的能力，但在用于解決非對話實體（如屏幕實體、后臺實體）的指代問題時，它們的潛力還沒有得到充分利用。

在論文中，蘋果的研究者提出了一種新的方法 —— 使用已解析的實體及其位置來重建屏幕，并生成一個純文本的屏幕表示，這個表示在視覺上代表了屏幕內(nèi)容。然后，他們對屏幕中作為實體的部分進行標記，這樣模型就有了實體出現(xiàn)位置的上下文，以及圍繞它們的文本是什么的信息（例如：呼叫業(yè)務號碼）。據(jù)作者所知，這是第一個使用大型語言模型對屏幕上下文進行編碼的工作。

具體來說，他們提出的模型名叫 ReALM，參數(shù)量分別為 80M、250M、1B 和 3B，體積都非常小，適合在手機、平板電腦等設備端運行。

研究結果顯示，相比于具有類似功能的現(xiàn)有系統(tǒng)，該系統(tǒng)在不同類型的指代上取得了大幅度的改進，其中最小的模型在處理屏幕上的指代時獲得了超過 5% 的絕對增益。

此外，論文還將其性能與 GPT-3.5 和 GPT-4 進行了對比，結果顯示最小模型的性能與 GPT-4 相當，而更大的模型則顯著超過了 GPT-4。這表明通過將指代消解問題轉(zhuǎn)換為語言建模問題，可以有效利用大型語言模型解決涉及多種類型指代的問題，包括那些傳統(tǒng)上難以僅用文本處理的非對話實體指代。

這項研究有望用來改進蘋果設備上的 Siri 智能助手，幫助 Siri 更好地理解和處理用戶詢問中的上下文，尤其是涉及屏幕上內(nèi)容或后臺應用的復雜指代，在在線搜索、操作應用、讀取通知或與智能家居設備交互時都更加智能。

蘋果將于太平洋時間 2024 年 6 月 10 日至 14 日在線舉辦全球開發(fā)者大會「WWDC 2024」，并推出全面的人工智能戰(zhàn)略。有人預計，上述改變可能會出現(xiàn)在即將到來的 iOS 18 和 macOS 15 中，這將代表用戶與 Apple 設備之間交互的重大進步。

論文介紹

論文地址：https://arxiv.org/pdf/2403.20329.pdf

論文標題：ReALM: Reference Resolution As Language Modeling

本文任務制定如下：給定相關實體和用戶想要執(zhí)行的任務，研究者希望提取出與當前用戶查詢相關的實體（或多個實體）。相關實體有 3 種不同類型：屏幕實體、對話實體以及后臺實體（具體內(nèi)容如上文所述）。

在數(shù)據(jù)集方面，本文采用的數(shù)據(jù)集包含綜合創(chuàng)建的數(shù)據(jù)或在注釋器的幫助下創(chuàng)建的數(shù)據(jù)。數(shù)據(jù)集的信息如表 2 所示。

其中，對話數(shù)據(jù)是用戶與智能體交互相關的實體數(shù)據(jù)；合成數(shù)據(jù)顧名思義就是根據(jù)模板合成的數(shù)據(jù)；屏幕數(shù)據(jù)（如下圖所示）是從各種網(wǎng)頁上收集的數(shù)據(jù)，包括電話號碼、電子郵件等。

模型

研究團隊將 ReALM 模型與兩種基線方法進行了比較：MARRS（不基于 LLM）、ChatGPT。

該研究使用以下 pipeline 來微調(diào) LLM（FLAN-T5 模型）：首先向模型提供解析后的輸入，并對其進行微調(diào)。請注意，與基線方法不同，ReALM 不會在 FLAN-T5 模型上運行廣泛的超參數(shù)搜索，而是使用默認的微調(diào)參數(shù)。對于由用戶查詢和相應實體組成的每個數(shù)據(jù)點，研究團隊將其轉(zhuǎn)換為句子格式，然后將其提供給 LLM 進行訓練。

會話指代

在這項研究中，研究團隊假設會話指代有兩種類型：

基于類型的；

描述性的。

基于類型的指代嚴重依賴于將用戶查詢與實體類型結合使用來識別（一組實體中）哪個實體與所討論的用戶查詢最相關：例如，用戶說「play this」，我們知道「this」指的是歌曲或電影等實體，而不是電話號碼或地址；「call him」則指的是電話號碼或聯(lián)系人，而不是鬧鐘。

描述性指代傾向于使用實體的屬性來唯一地標識它：例如「時代廣場的那個」，這種指代可能有助于唯一地指代一組中的一個。

請注意，通常情況下，指代可能同時依賴類型和描述來明確指代單個對象。蘋果的研究團隊簡單地對實體的類型和各種屬性進行了編碼。

屏幕指代

對于屏幕指代，研究團隊假設存在能夠解析屏幕文本以提取實體的上游數(shù)據(jù)檢測器。然后，這些實體及其類型、邊界框以及圍繞相關實體的非實體文本元素列表都可用。為了以僅涉及文本的方式將這些實體（以及屏幕的相關部分）編碼到 LM 中，該研究采用了算法 2。

直觀地講，該研究假設所有實體及其周圍對象的位置由它們各自的邊界框的中心來表示，然后從上到下（即垂直、沿 y 軸）對這些中心（以及相關對象）進行排序，并從左到右（即水平、沿 x 軸）使用穩(wěn)定排序。所有位于邊緣（margin）內(nèi)的對象都被視為在同一行上，并通過制表符將彼此分隔開；邊緣之外更下方的對象被放置在下一行，這個過程重復進行，有效地從左到右、從上到下以純文本的方式對屏幕進行編碼。

實驗

表 3 為實驗結果：本文方法在所有類型的數(shù)據(jù)集中都優(yōu)于 MARRS 模型。此外，研究者還發(fā)現(xiàn)該方法優(yōu)于 GPT-3.5，盡管后者的參數(shù)數(shù)量比 ReALM 模型多出幾個數(shù)量級。

在與 GPT-4 進行對比時，盡管 ReALM 更簡潔，但其性能與最新的 GPT-4 大致相同。此外，本文特別強調(diào)了模型在屏幕數(shù)據(jù)集上的收益，并發(fā)現(xiàn)采用文本編碼的模型幾乎能夠與 GPT-4 一樣執(zhí)行任務，盡管后者提供了屏幕截圖（screenshots）。最后，研究者還嘗試了不同尺寸的模型。

分析

GPT-4 ≈ ReaLM ? MARRS 用于新用例。作為案例研究，本文探討了模型在未見過領域上的零樣本性能：Alarms（附錄表 11 中顯示了一個樣本數(shù)據(jù)點）。

表 3 結果表明，所有基于 LLM 的方法都優(yōu)于 FT 模型。本文還發(fā)現(xiàn) ReaLM 和 GPT-4 在未見過領域上的性能非常相似。

ReaLM > GPT-4 用于特定領域的查詢。由于對用戶請求進行了微調(diào)，ReaLM 能夠理解更多特定于領域的問題。例如表 4 對于用戶請求，GPT-4 錯誤地假設指代僅與設置有關，而真實情況也包含后臺的家庭自動化設備，并且 GPT-4 缺乏識別領域知識的能力。相比之下，ReaLM 由于接受了特定領域數(shù)據(jù)的訓練，因此不會出現(xiàn)這種情況。