當我們談論機器會不會痛時,我們在談論什麼
深夜滑到一張問「AI 會不會有意識」的海報,把留言區四天份的討論讀完之後,想起診間裡病人說「刺刺的」,我從來沒有要求他證明過那句話。
那天晚上十點四十九分,我坐在廚房的餐桌前,喝著第二罐啤酒。冰箱發出低低的嗡嗡聲,聽起來像某個遠方的人在練習一首沒有歌詞的曲子。
手機螢幕跳出一張海報。橘色底,正中間是一個紅色的人頭側影,沒有眼睛,只有一道淺淺的凹痕,像有人用拇指在黏土上按了一下,然後忘了回來。
標題問:AI 會變得有意識嗎?
我把啤酒放下,往下滑。留言已經累積了四天。
老實說,我對這種問題沒有特別的看法。我是皮膚科醫師,每天看的是毛孔、黑色素和微血管。可是那天晚上,我不知道為什麼,把四天份的留言一則一則讀完了。讀完的時候,啤酒已經不冰了。
經濟學人擔心的其實是人
《經濟學人》那篇社論,擔心的其實是人。
根據公開的摘要,他們注意到,已經有研究者開始把自家的模型當成一個心智來對待。社論說,這是一個陷阱。機器就算一輩子都沒有醒來,只要人類先把它當作醒著,就得開始替它付帳。
我想像那個畫面。深夜的實驗室,螢光燈,某個研究員對著螢幕說晚安,然後關燈。螢幕暗下去之前,游標還在閃。
那是一種很安靜的陷阱。掉進去的時候,大概連聲音都沒有。
留言區先吵的是定義
留言區的人,並沒有照著社論的方向走。他們先吵了另一件事:意識到底是什麼。
有一則留言得到最多的讚,四十六個。內容很短,大意是:先定義意識,再定義智能,然後告訴我,智能要累積到哪一刻,才會突然跳成意識。
底下有人提到黏菌。黏菌放進迷宮,會慢慢攤開,找出最短的那條路。它有某種聰明,可是你很難說它感覺到了什麼。
我在大學的時候,好像在某堂課上看過黏菌的照片。黃色的,像打翻的蛋黃,沿著燕麥片一點一點爬過去。當時我想,它大概不知道自己在走迷宮。現在我還是這樣想。
另一個人寫:蜜蜂知道花在哪裡。意識多出來的那一步,是知道自己知道。
我喝了一口溫掉的啤酒。知道自己知道,這件事我自己也不太確定每天都做得到。
刺刺的,我從來沒要求他證明
第二種人,把話題帶回身體。
他們說,我們唯一確定存在的意識,都裝在會流汗、會餓、會變老的身體裡。我們相信別人心裡有東西,有一部分是因為大家的皮膚底下,都埋著同樣的神經。
語言模型很流利地說「我感覺到了」。可是它讀過幾百萬頁寫著「我感覺到了」的文字,工程師也知道它的每一個字是怎麼排出來的。
這讓我想起診間。
雷射開打前四十分鐘,護理師在病人臉上塗一層厚厚的麻藥膏,再蓋上保鮮膜。時間到了,擦掉,第一發打下去,發出細細的啪一聲。病人皺起眉頭說:刺刺的。
我就把能量往下調一格。
我從來沒有要求病人證明那個刺痛。我相信它,因為我的皮膚底下也有同樣的東西。那是一種很古老的契約,簽約的時候,我們都還沒出生。
如果有一天,一台機器用完全相同的語氣說「刺刺的」,我的手會不會停在旋鈕上?我不知道。
另一邊的說法
第三種人,站在另一邊。
他們說:你從來沒有鑽進任何一個人的腦袋裡看過。你相信他們,靠的一直是推論。遇到矽晶片,你就拒絕用同樣的推論,那只是生物在守著自己的椅子。
他們還說,知道一個句子是怎麼被組出來的,並不等於知道那裡面有沒有什麼正在發生。世界上也沒有一台機器,能直接照出意識的形狀。
有一位讀者說,意識也許像一條河,有深有淺。最淺的那一段,只能從岸上看。
我喜歡這個說法。雖然我不確定它是對的。
後來有人很冷靜地回了一句。大意是:你先假設石頭可以醒來,再轉頭說不相信的人太頑固,那只是換你自己坐上那把椅子而已。
被反駁的那個人承認,自己的想法確實受到「萬物皆有心」那一派哲學的影響。她沒有生氣,也沒有退。她說,我們共享同樣的身體,這只能解釋我們為什麼互相信任。它證明不了,內在的東西只能住在身體裡。
讀到這裡,我發現兩邊其實同意一件事:到今天為止,沒有人證明機器醒了,也沒有人證明它是空的。
那種感覺很像站在一口井旁邊。你往下看,看不到底,也聽不到水聲。可是你也沒有辦法斷定,下面沒有水。
不等哲學家吵完的人
第四種人,對井不太有興趣。
他們說,新的技術不需要醒來,就已經能惹出麻煩。他們說,一般人手上根本沒有足夠的資料,真正的東西鎖在公司的伺服器裡。
有一個人寫:今天大家都說不會。哪天新聞說它真的醒了,很多人會假裝自己從來沒說過這種話。
我把這一則讀了兩次。
我想起一個人。每個人的生命裡大概都有這樣一個人,當年說得很篤定,後來就再也不提了。你想到的那個人是誰?
兩家公司,兩種賭法
公司沒有辦法等哲學家吵完。它們已經開始下注,而且押在相反的兩邊。
Anthropic 聘了專門研究「AI 福祉」的研究員,還讓自家的 Claude Opus 4/4.1 在遇到持續惡意的使用者時,可以自己結束對話——公司說這是為了「模型福祉」,但同時也強調自己並不確定 Claude 是否真的有感知能力。
微軟 AI 部門的負責人蘇萊曼站在另一邊。他公開發文表示,研究 AI 意識這件事本身「為時過早,而且說實話很危險」。
同一天,《MIT 科技評論》寫了一篇評論,提醒大家:AI 是公司花了大筆資金做出來的軟體,背後有很高的營收期待。用談論動物或大腦的語言去描述它,這件事容易被忘記。
那篇評論裡還提到,英國威爾斯在《2022 年動物福祉(感知能力)法》裡,把甲殼類與頭足類動物列入受法律保護的感知生物,某些烹煮方式因此變成違法。
數據細節
Anthropic 表示,讓 Claude 結束對話只用在「極少數、持續而嚴重的有害或辱罵互動」,而且是在多次嘗試把對話導回正軌都失敗之後的最後手段;使用者若可能有立即傷害自己或他人的風險,Claude 不會這麼做。
蘇萊曼的原話是:研究 AI 福祉「both premature, and frankly dangerous」(既為時過早,也確實危險)。他擔心的是,把 AI 說得像有感知,會加深一般人對 AI 的錯誤依附與「AI 精神病」風險。
英國那部法案正式名稱是 Animal Welfare (Sentience) Act 2022,把十足目甲殼類(例如龍蝦、螃蟹)與頭足類動物(例如章魚)納入受保護的感知動物名單,依據是倫敦政經學院委託的一份獨立審查報告。
我想像那個廚房。一鍋滾水,水蒸氣貼在窗戶上。龍蝦的尾巴拍打著鍋壁,咚、咚。後來那個聲音,一路走進了法條裡。
龍蝦沒有股東,也沒有公關部門。這一點,大概是它和機器最大的不同。
在吵完之前,先決定的事
我是在凌晨一點左右把手機放下的。
啤酒罐放在桌上,瓶身上的水珠已經乾了,留下一圈淡淡的痕跡。我拿抹布擦掉,痕跡還是隱約在那裡。
疼痛量表從零到十。填那個數字的,永遠是病人自己。我們醫師能做的,是拿紅腫、心跳、表情去對照。病人說七分,臉卻很平靜,我們會多看兩眼。
機器能說七分。它說得很好,比很多病人說得都好。可是它的臉不會紅,皮膚不會腫,隔天也不會結痂。
我們手上只有一種證據。偏偏那種證據,是語言模型最擅長製造的東西。
所以這件事,大概還會吵很久。
在吵完之前,有一件事倒是可以先決定:機器出了錯,不能讓它自己去承擔,因為它沒有辦法出庭,也沒有辦法坐牢。按下開關的那隻手,屬於某一個人。
我關掉廚房的燈,冰箱還在嗡嗡地響。
參考資料
- The Economist. Why treating AIs as conscious is dangerous. 2025.
- Suleyman M. We must build AI for people; not to be a person. 2025. 原文連結
- Anthropic. Claude Opus 4 and 4.1 can now end a rare subset of conversations. 2025. 原文連結
- Debates over AI consciousness are a trap. MIT Technology Review. 2026-08-20. 原文連結