AI出題捱轟|加州律師試 AI擬訂考題捱轟
原文刊於信報財經新聞「CEO AI⎹ EJ Tech」
美國加州律師公會近日公布,今年2月舉辦的新律師資格考試,引進了經由人工智能(AI)協助撰寫的題目。有關考試共設171題多項選擇題,其中100題由考試服務機構楷博(Kaplan)撰寫,48題取自一年級法學生考題,23題則由測驗公司ACS Ventures以AI協助開發。
外聘機構涉自我審查題目
該會去年預算出現2200萬美元赤字,為了節省購買題庫費用,棄用由全國司法考試機構大會(NCBE)組織的跨州司法聯考(MBE),並自行聘人擬題和架設考試平台。然而,今年首場考試隨即發生嚴重技術問題,許多考生反映出現當機、延遲情況,又指部分題目內容存在語病、不合邏輯。
美國三藩市大學法學院副教授莫蘭(Katie Moran)指出:「加州律師會承認僱用了一間公司,讓非律師用AI撰寫實際考題,然後又付錢給同一間公司,評估和通過自己草擬的題目。」她對此感到很驚訝,認為這會削弱外界對考題品質的信心,又呼籲該會公布全部題目內容及恢復使用聯考。
美國加州大學爾灣分校法學院副院長巴西克(Mary Basick)形容:「讓沒有法律背景的人用AI擬定題目,簡直難以置信。」她懷疑由同一公司負責擬題和評審可構成利益衝突,而且使用AI設計考試屬於重大變動,依照當地《商業與職業法》規定,需要提前兩年作出公告。
同時,巴西克又指自己跟其他法律學者,早前被公會移出了審題小組。公會聲稱原因是有關人士曾接觸聯考題目,可能引發版權問題。巴西克說:「諷刺的是,他們最後卻讓非律師用AI擬題,而AI最有可能的資料來源還是NCBE題庫。」
部分考生提出集體訴訟
儘管飽受外界批評,公會發言人堅稱,包括AI題目在內的考題,有通過內容驗證小組及專家審查,具法律正確性、最低能力標準與無偏誤。
考試委員會主席Alex Chan稱,加州最高法院去年10月曾建議公會使用AI,因此公會只是依循法院的指引。不過,法院強調事前並未知曉AI被用來撰寫試題。部分考生已對監考機構提出集體訴訟,加州參議院司法委員會亦打算對公會審計。
支持EJ Tech

