近年來，空間轉錄組學技術迅速興起，但其高昂成本和復雜實驗流程讓它難以普及。然而，最新發表在 Nature Methods 的研究提出了一種顛覆性思路：讓傳統的 H&E 染色圖像“讀懂”基因表達，從而用圖像直接預測分子信息。核心成果集中于 OmiCLIP，這是一個融合圖像與轉錄組數據的大規模基礎模型；基于它，研究團隊還開發了 Loki 平臺，將該模型實用化，提供對齊、注釋、分解、檢索和表達預測五大功能。這項工作堪稱數字病理學的里程碑。
一、大規模數據構建：打通視覺與組學的“數據橋梁”
團隊從 32 個器官、1007 份樣本中收集了超過 2.2?百萬對病理圖像補丁與 10× Visium 空間轉錄組數據，構建“ST?bank”。每個補丁對應其局部的基因表達信息。數據規模前所未有，為模型帶來極強泛化能力，也為預訓練提供了堅實基礎。
二、OmiCLIP 模型原理：將圖像和基因“說同一種語言”
借鑒 OpenAI 的 CLIP 模型框架，OmiCLIP 將每個圖像 patch 編碼為視覺向量，將同一區域表達量排名靠前的基因符號拼成“句子”，再編碼為文本向量。利用對比學習，讓視覺與文本向量在潛空間對齊：模型學習到圖像結構與基因表達之間的對應關系。預訓練后，這個視覺–組學基礎模型具備跨模態理解能力，為后續應用奠定核心支撐。
三、Loki 平臺落地：五大模塊實現多場景應用
Align（對齊）
支持 ST 圖之間對齊，也能將 H&E 圖與 ST 圖對齊，用于消除樣本間差異甚至實現 3D 體塊拼接。實驗證明，Loki Align 在真實和模擬數據中表現均優于 PASTE、GPSA 等工具。
Annotate（注釋）
通過 bulk RNA-seq 或 marker gene，對 H&E 圖區域進行自動注釋，例如區分腫瘤、基質或免疫細胞富集區。模型通過圖像–文本語義匹配，完成病理結構定位。
Decompose（細胞分解）
利用 scRNA-seq 參考，將 H&E 圖像切片在視覺空間里分解為細胞類型組成比例。在乳腺三陰性腫瘤（TNBC）和結直腸癌（CRC）樣本中，Loki Decompose 的結果與真實分布高度一致，甚至超越傳統工具如 Tangram。
Retrieve（檢索）
支持圖像→轉錄組檢索，也支持基因表達向圖像區域反查。這一功能可以讓科研人員通過圖像找到最類似某種表達模式的區域，或通過表達模式對疾病進行“圖像標注”。
PredEx（表達預測）
只用 H&E 圖像，預測空間基因表達。實驗中預測出的 marker 基因空間熱圖與真實 ST 數據高度一致，為研究帶來“虛擬實驗”可能，尤其適合節省成本或做預篩選。
四、多任務評估：22 種模型、27 個數據集一致優異
Loki 團隊面向五類下游任務，比對了 22 種國際 SOTA 方法，用了 5 個模擬數據集、19 個公開實驗數據集和 4 個內部實驗數據集進行驗證，Loki 在所有任務中表現出了穩定且領先的準確率與魯棒性。
五、研究亮點與工程實現
數據優勢：百萬級圖像–表達對應極大提升模型泛化；
技術設計：gene?to?sentence 的文本編碼創新對齊方式；
預訓練＋微調：CLIP 式預訓練后，針對各個模塊 fine?tune，避免泛化損失；
開源＋可復現：團隊公開了代碼、預訓練權重、API 和教程。
六、典型案例
在多個真實案例中，這個系統表現令人驚艷：
• Loki Align 將多切片小腸切片對齊，消除批次差異，適合 3D 重建；
• 在 TNBC 和 CRC 圖像中，Decompose 自動標注免疫／上皮／基質細胞空間分布，一致性強；
• PredEx 模塊預測 KRT7、ATCG2 等 marker 空間表達，與真實 ST 熱圖相符。
七、Loki 的應用前景與局限
優點明顯：僅憑常規 H&E 圖像即可完成空間視圖預測，大幅降低成本，適合醫院大規模歷史樣本挖掘，還可用來輔助三維組織構建與單細胞融合分析。
挑戰方面：預測精度還未達到利用真實 ST 數據用于關鍵臨床決策的水平，對罕見組織類型可能仍需補充數據。目前只適用于 H&E 圖像與 Visium 類型數據的場景。
八、科研與科普建議
科研團隊可以將 Loki 集成到已有工作流，先用 H&E 圖片預測表達，再選靶做 ST 或 IHC 驗證；醫院可以將切片庫賦予分子注釋，作為輔助診斷數據來源；科普方面，這是一則 AI×組學真正“讓圖像聽得懂基因”的生動案例。
九、總結
OmiCLIP 為視覺與組學搭建了強大的基礎模型，Loki 平臺則將模型功能落地，覆蓋從樣本對齊、結構注釋、細胞分布分解、表達預測到檢索查詢的全流程功能。這項工作開啟了 H&E 圖像的“第二生命”，對數字病理、空間組學乃至疾病診斷都具有深遠影響。
吉ICP備2021001101號-1
