订阅成功
扫码关注智东西Plus
接受订阅信息更新提醒
微软亚研院提出通用预训练模型MASS

5月10日消息,微软亚洲研究院的研究员在ICML 2019上提出了一个全新的通用预训练方法MASS(Masked Sequence to Sequence Pre-training),在序列到序列的自然语言生成任务中全面超越BERT和GPT。在微软参加的WMT19机器翻译比赛中,MASS帮助中-英、英-立陶宛两个语言对取得了第一名的成绩。MASS对句子随机屏蔽一个长度为k的连续片段,然后通过编码器-注意力-解码器模型预测生成该片段。MASS有一个重要的超参数k(屏蔽的连续片段长度),通过调整k的大小,MASS能包含BERT中的屏蔽语言模型训练方法以及GPT中标准的语言模型预训练方法,使MASS成为一个通用的预训练框架。微软研究院表示,将在不久之后开放源代码。

订阅
订阅通用最新消息
订阅微软最新消息
相关快讯
  • 10月21日 11:20
    微软Surface Duo手机搭载Android系统

    10月21日消息,据Techradar报道,微软设备部门首席产品官Panos Panay承认该公司将在其即将推出的Surface Duo手机中使用Android操作系统,原因很简单,“适合该产品的最佳操作系统是Android ”。

    来源:品玩
  • 10月18日 18:19
    2019财年微软斥91亿美元完成20次收购

    10月18日消息,据外媒报道,微软最新发布的年报显示,在截至6月30日的2019年财年中,微软总共花费了91亿美元进行了20次收购,其中以斥资75亿美元收购GitHub规模最大。研究显示,自2003年以来,无论是交易数量还是收购支出,2019财年都是微软第三大并购年。

    来源:腾讯科技
  • 10月17日 23:18
    微软UniLM AI突破大量文本处理瓶颈

    10月17日消息,据外媒报道,微软近日推出的UniLM AI训练模型通过改变传统AI系统学习方式,成功实现单向预测,突破了自然语言处理中大量文本修改的瓶颈。微软表示它在各类常见的基础测试中都要优于BERT,并且在自然语言处理的一些测试项目中取得了该领域的最新突破。

    来源:智东西
  • 10月15日 11:11
    微软测试用AI过滤掉Xbox Live内容

    10月15日消息,据The Verge报道,微软今天开始为其Xbox Live消息系统测试基于人工智能的新内容过滤器,以便用户可以在Xbox Live中屏蔽不想看到的文本消息。微软已经在Xbox Live上进行了将近20年的审核,包括报告消息,Gamertags,照片等的功能,但是这项新的工作使玩家可以控制他们在Xbox Live上看到的内容。

    来源:品玩
  • 10月12日 11:39
    苹果反超微软市值成全球第一

    10月12日消息,苹果周五股价上涨2.7%,收于236.21美元,股价创历史新高,苹果随之成为全球市值最高的公司。微软、苹果是现在仅有的两家市值破万亿美元的公司。

    来源:36氪
  • 10月10日 10:37
    微软游戏部门副总裁Mike Ybarra离职

    10月10日消息,微软Xbox和PC游戏部门副总裁迈克伊巴拉(Mike Ybarra)宣布将离职。据悉,迈克伊巴拉于2000年加入微软,担任系统工程师,此后几年在其他部门担任了高级职位。2009年成为Xbox家族的一员,担任Xbox Live总经理。从2017年开始担任微软游戏副总裁,直接负责Xbox Live、Xbox Game Pass和Mixer等业务。

    来源:智东西
  • 10月09日 10:16
    ARM将携通用等开发自动驾驶计算系统

    10月9日消息,软银旗下的英国芯片技术公司ARM将与通用汽车和丰田汽车合作,为自动驾驶汽车建立通用的计算机系统。ARM在8日表示,正在与两家汽车制造商以及行业供应商博世、电装,还有Continental AG一起合作创建自动驾驶汽车计算联盟(AVCC)。

    来源:路透社
  • 09月25日 18:49
    微软小冰为100部小说主人公定制虚拟IP

    9月25日,微软(亚洲)互联网工程院与阅文集团今日宣布,双方关于AI赋能网络文学的“IP唤醒计划”已正式部署完毕,今日实现大规模落地——阅文集团旗下100部小说主人公IP,已实现由微软小冰Avatar Framework赋予可交互、可创作、可养成的“生命”。今日起,上述100位虚拟人物已在红袖读书APP中同时上线。

    来源:智东西
  • 09月23日 11:53
    微软总裁:杀手机器人的出现不可避免

    9月23日,据外媒最新消息,日前,微软总裁史密斯(Brad Smith)表示,“杀手机器人”的出现未来将无法避免,绝不能让杀手机器人自行决定参与战斗和杀死谁,他指出,需要制定一项新的国际公约来规范该技术的使用。史密斯表示,国际社会还需要对使用人脸识别技术和其他新兴形式的人工智能制定更严格的国际规则。

    来源:腾讯科技
  • 09月20日 12:26
    微软任命葛兰素史克CEO为微软董事

    9月20日消息,据CNBC报道,微软周四表示,该公司正在向其董事会提名制药企业葛兰素史克(GlaxoSmithKline)的CEO Emma Walmsley出任其董事会的第五位女性董事。该公司在声明中称,AT&T的前任副董事长Charles Noski和宝马前董事长Helmut Panke并未寻求连任微软董事会。这意味着该公司董事会将有13名成员,其中包括5名女性。

    来源:品玩
加载更多 ···