首页 > 笔记, 语义网 > 笔记:AURA

笔记:AURA

David Gunning, Vinay K. Chaudhri et al. Project Halo Update – Progress Toward Digital Aristotle. 33-58. AI Magazine, Volume 31,  Number 3, Fall 2010

【下载】http://www.cs.utexas.edu/users/pclark/papers/AURA-AIMag.pdf
【项目主页】http://www.ai.sri.com/project/aura
【参考】语义网的公司(5)Vulcan: Project Halo笔记: Inquire for iPad (平板上的教科书)

为了和沃森系统比较,又看了SRI的AURA系统。他们主页上有很多文章,其实看上面这一篇就够了。没时间,做一个很简略的笔记

【目的】特定领域的Q/A:本科入门水平的生物、化学、物理教科书。目前实现的系统可以算是“考试机器人”,能回答选择题。终极目标是HaloBook,一种新形式的电子教科书。

【构架】偷论文里的图

【知识表现】把课本和考试题都用逻辑公式来表示(由两组人分别搞)。用到了DL和LP。用到一个通用知识库Component Libaray (CLIB)。也用到语义网的数据。

为什么不象Watson用NLP做自动分析(automatic reading)?作者称1)语言理解难;2)不认为教科书(专业知识)可以用NLP自动建模;3)公式和图表很难NLP

【受控自然语言】考题的形式化用Controlled English – CPL (Computer-processable language)

【推理】 问题回答是用逻辑推理,推理机是Knowledge Machine(UT Austin)。但是也有非逻辑的,启发式推理(heuristic and plausible)。

推理过程给出了Explanation(解释)。和Provenance工作相关。

公式推理那一块,是不是可以重用Wolfgram Alpha?Siri是用的。

【界面】逻辑公式用概念图(concept map)来表示,内部表示大概是Lisp。也用SMW的Halo Extension做界面。

评价:我认为,全图形化的输入界面才是王道,并加以各种提示工具,如faceted brower, autocompletion, drag and draw, zoom in and out。核心在用人机交互帮助思考和联想。目标应放在0培训。

【正确率】在2002年的Halo Pilot系统,能达到30%-50%正确率。对生物和物理,专家建的系统能答对70%参考书上的问题,和40%书外的问题。化学差些。

【成本】但是他们这种方法成本很高。每个做课本形式化的“专家”要训练20小时;做考题形式化的训练4小时。形式化的课本:生物44页,化学67页,物理78页。专家(SRI自己的科学家)在生物上做了600小时的标注,平均每页13.6小时。在美国企业里,这种级别的雇员至少要8万美元每年,按250个工作日,每小时40美元。也就是这44页要(不算开始的训练时间)2.4万美元,每页545美元。

一本教科书至少200页(美国的教科书500页以上的很正常),那要10万美元以上才能形式化,要花一个专家一整年的时间。沃森系统有2亿页数据,照AURA这么做要1000亿美元。

专家做120小时的标注和非专家(本科生)做300小时的标注效果类似(回答书外的问题60%正确率)。非专家做120小时标注正确率只有21%。

【疑问】1)是否可以扩展(generalize)到其他问题域?2)是否能处理大量数据(scale)?3)怀疑受控自然语言的有效性——当然,可以用图形化的用户界面来弥补。4)如何更好利用外部数据如linked data? 5)如何多种方法综合使用,比如用NLP做种子知识生成?参考沃森。6)如何降低综合成本?

【和沃森的一些区别】

  • 沃森是做开放问题域,AURA做特定问题域。
  • 沃森主要基于概率,AURA主要基于逻辑
  • 沃森做答案的发现,AURA做选择题(答案的校验)——这一点难度的差别,犹如NP和P。
  • 沃森对答案有置信度,AURA没有。
  • 对所有问题,沃森的正确率是65%,AURA是75%。当然,这两个数字没有可比性。
  • 沃森的核心是算法,跨领域性好,添加新的数据成本应该比较低(可能和Web数据的增长同步);AURA需要人工做知识提取,很难scale。
  • 沃森有可能处理实时数据,AURA看起来不可能。
  • 如果用沃森来回答AURA的问题,会有什么样的结果?未必好,但是不试一下怎么知道?

【团队】

David Gunning【PI, Vulcan】
Vinay K. Chaudhri 【SRI这边的PI,主要直接领导人】
Peter Clark 【Boeing】
Ken Barker【UTAustin这边的头,主打逻辑推理】
Shaw-Yi Chaw 【IBM的,他在沃森组里】
Mark Greaves 【Halo的总头】
Benjamin Grosof 【SILK的头,规则推理这一块】
Alice Leung 【BBN这边做实验的。她也在NS-CTA里做实验这一块】
David McDonald 【语言学linguistics】
Sunil Mishra, 【SRI,大概是开发工作】
John Pacheco 【SRI,大概是开发工作】
Bruce Porter
Aaron Spaulding,
Dan Tecuci,
Jing Tien 【界面】

不在本文列名的SRI人员还有

  • Dinesh, Nikhil
  • Overholtzer, Adam
  • Pacheco, John
  • Spaulding, Aaron
  • Wessel, Michael A.
  • Wilkins, David E
Advertisements
分类:笔记, 语义网

发表评论

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 更改 )

Twitter picture

You are commenting using your Twitter account. Log Out / 更改 )

Facebook photo

You are commenting using your Facebook account. Log Out / 更改 )

Google+ photo

You are commenting using your Google+ account. Log Out / 更改 )

Connecting to %s

%d 博主赞过: