微软专利分享：动态控制元宇宙会议环境界面，根据会议议程灵活调节
当会议的议程包含不同类型的议程项目时，问题会变得更加复杂，并导致会议效率低下。例如在一个议程项目完成后，用户可能必须退出一个特定的虚拟环境，返回到菜单选择另一个环境，然后重新进入另一个环境以继续会议。这种中断可能会导致计算资源使用方面的低效率和会议流程的效率低下。
所以在名为“Agenda driven control of user interface environments”的专利申请中，微软提出了一种根据议程驱动控制的用户界面自定义。
图1A到1E说明了系统100如何分析情景数据115以选择各种用户界面环境模板141以生成所选环境模板142的集合的示例。
为议程项目选择的单个用户界面环境模板在这里可称为“协作环境142”。在特定配置中，系统可以为单个议程项目确定活动类别。与环境模板对应的活动类别可能导致选择该环境模板以与特定议程项目相关联。
然后，系统通过以与情景数据的顺序一致的方式显示所选环境模板142来管理事件流，例如会议流。在一个例子中，情景数据采用议程115的形式，其中包括若干议程项目：社交聚会、电影评论讨论、头脑风暴会议和问答会议。
基于议程115，系统从环境模板集合141中选择四个环境模板142。在本例中，第一选择的模板142A包括用于会议室的3D环境。第二选择的模板142B包括本文称为Together Mode UI的2D用户界面，第三选择的模板142C包括基于共享文件的3D环境，第四选择的模板142D包括实时视频流的2D图像渲染的网格布局中的2D用户界面。系统可以使用每个模板来生成用户界面环境的效果图，而相关效果图可以随着系统100使用流程控制议程追踪和管理会议而动态更改。
通过为单个议程项目选择单独的用户界面环境，系统可以动态地改变计算机的操作模式并提供不同的体验，从而增强用户参与度并提高用户交互效率，最终提高计算系统的效率。
在一个示例中，如果会议在单个演示者之间转换为多个不同的演示者。系统在议程和/或用户活动中识别出这种安排，并动态地为单个演示者提供具有单一焦点的UI，例如虚拟讲台，以及用于共享内容的大屏幕显示，然后自动转换到具有多个焦点的另一个UI，例如通过提供uoge虚拟讲台和提供多个大屏幕显示每个演讲者的内容。
如图1A所示，所述系统可以接收或生成情景数据115。在特定配置中，情景数据可以包括会议的大纲，情景数据115又可称为议程115。议程115可包括若干议程项目131A。系统可以通过使用包括用户活动在内的其他触发器在用户界面环境之间进行转换，例如用户共享内容，删除共享内容，开始演讲，结束演讲，人们离开会议，人们加入会议等。
在本例中，议程包括第一个会议部分的第一个议程项目131A，其目标是举办一次社交聚会。议程同时包括第二个会议部分的第二个议程项目131B，其目标是让与会者审查电影并讨论电影内容。第二个议程项目同时表明，用户应该讨论观众对视频的反应。议程115另外可包括第三个议程项目131C，其目标是促进头脑风暴会议，以及第四个议程项目131D，其目标是促进问答会议。
系统可以通过分析议程来确定议程项目，从而确定会议所需的环境模板。可以通过分析议程文本并确定与具有预定议程项目清单的数据库的匹配来确定每个议程项目。例如，如果服务器存储具有诸如“头脑风暴”或“社交”等关键字的数据库，则可以将关键字与某些模板相关联141。
一旦确定了每个议程项目，就可以分析每个议程项目以选择相应的环境模板141。
图4显示了环境模板和关键字之间的这种关联的一个示例。在本例中，系统可以分析第一个议程项目，并根据第一个环境模板与与第一个议程项目具有阈值匹配的关键字相关联这一事实选择第一个环境模板142A。作为对为第一议程项目选择特定环境模板142A的响应，系统可以生成将所选环境模板142A与第一议程项目链接起来的数据。
使用将第一选择模板与第一议程项关联的链接，当系统启动具有第一议程项的会议时，系统可以使每个客户机计算机显示基于第一环境模板142A的用户界面安排。使用第一环境模板142A的定义呈现的第一用户界面布置101A的示例如图1B所示。
在这个特定的示例中，第一个环境模板142A定义了一个具有虚拟窗户和虚拟家具的特定会议室的3D环境。所述3D环境200的渲染显示用户的3D表示251，并且允许每个相应的用户在所述环境200中移动其各自的渲染。
环境模板同时可以定义可在3D环境200中使用的虚拟对象211，例如显示自定义场景的虚拟窗口211A和虚拟表211B。可以在模板中定义每个虚拟对象211的选择和位置，并且可以根据特定事件自定义每个模板。
例如在本例中，议程包括一个打算在瑞士建造的建筑物的共享CAD文件。在这种情况下，系统可以检测与内容相关的位置，并生成与情景相关的场景，例如瑞士阿尔卑斯山的景色。
除了控制系统为每个议程项目显示的视觉环境外，系统同时可以分析每个议程项目以识别指示音频和视频偏好的描述。然后，系统可以使用解释的首选项来修改相应议程项目显示的每个环境的权限、音频设置和视频设置。
例如在第一环境模板中，系统可以解释进行社交聚会的目标，并确定语音聊天音量应该高于环境噪音的音量。另外，通过将目标解释为进行社交聚会，系统可以允许所有用户平等地聊天。
系统可以控制每个用户的视觉环境、权限、音频设置。这可以通过修改系统的权限或控制系统的操作模式来实现。
现在将图1C与图1A结合起来，它们描述了第二个议程项目131B和第二个环境模板142B的各个方面。
使用将第二个选定模板与第二个议程项关联的链接，当系统将会议从第一个议程项转换为第二个议程项时，系统可以使每个客户机计算机显示基于第二个环境模板142B的用户界面安排。使用第二环境模板142B的定义呈现的第二用户界面布置101B的示例如图1C所示。
在这个特殊的例子中，第二个环境模板142B定义了一个带有Together Mode UI的2D环境。在所述配置中，系统根据第二环境模板142B的定义，对位于座位安排中的每个用户的2D视频馈送进行安排。第二个环境模板142B同时定义了一个用于显示共享内容视频的区域和一个用于为所有用户提供文本线程的区域。
在本例中，第二个环境模板142B还定义了将听众音频控制到中等水平并将视频音频控制到高水平的参数。考虑到议程项目的目标是让观众观看视频并促进讨论，视频的音量可以高于音频聊天的音量水平。这个系统可以解释议程的变化。例如，如果议程项目声明语音聊天的音量应该高于视频，则系统可以容纳该描述并相应地更改音频设置。
现在将图1D与图1A结合起来，它们描述了第三个议程项目131C和第三个环境模板142C的各个方面，亦即头脑风暴。
在本例中，系统根据第三个议程项目131B描述的关键字，结合与议程项目相关的CAD文件共享这一事实，选择第三个环境模板142C。将模板与特定议程项关联的分析可以基于文本匹配或文件类型。因此，即使议程的关键字或与特定环境模板关联的关键字之间没有文本匹配，系统仅仅基于与特定议程项目关联的共享文件类型来选择所述特定环境模板。
环境模板可以为虚拟房间或房间内的虚拟对象的每个参数提供多个定义。对共享内的解释也可以使系统根据文件的内容生成完全定制的虚拟环境。另外，系统可以根据与议程项目相关的情景数据将定制的虚拟环境放置在某个位置。
在本例中，由于CAD文件是团队在瑞士建造的建筑物。在所述文件的基础上，根据CAD文件中定义的结构构建虚拟环境，将虚拟环境置于瑞士的一个场景中。
图1D显示了如何利用共享文件的内容来生成虚拟环境。系统可以解释议程项目的各个方面，并在结构中放置虚拟对象211。在本例中，由于系统将虚拟结构放置在瑞士，因此可以呈现一个虚拟窗口211A，以响应对共享内容的解释。
通过将第三个环境模板与第三个议程项目相关联的链接，当系统将会议从第二个议程项目过渡到第三个议程项目时，系统可以使每个客户端计算机显示基于第三个环境模板142C的用户界面安排。使用第三个环境模板142C的定义呈现的第三个用户界面布置101C的示例如图1D所示。
现在转到图1E和图1A，它们描述了第四个议程项目131D和第四个环境模板142D的各个方面。第四个环境模板142D与“Q&A”、“问题”和“答案”等特定关键字相关联。
使用示例数据，系统可以分析第四个议程项目，并根据第四个环境模板与与第四个议程项目具有阈值匹配的关键字相关联这一事实选择第四个环境模板142D。作为对为第四个议程项目选择特定环境模板142D的响应，系统可以生成将所选环境模板142D与第四个议程项目链接起来的数据。
使用将第四个选定模板与第四个议程项关联的链接，当系统将会议从第三个议程项转换为第四个议程项时，系统可以使每个客户机计算机显示基于第四个环境模板142D的用户界面安排。使用第四个环境模板142D的定义呈现的第四个用户界面布置101D的示例如图1E所示。
在这个特定的示例中，第四个环境模板142D定义了一个2D环境，其中包含选定用户的2D视频提要的网格布局。所选择的用户可以是活动扬声器，例如，当从他们的麦克风检测到阈值音量时显示用户。在本例中，UI对象211Q定位为活动说话者，网格内显示的用户可以是次要说话者，例如，排队上台或与活动区域211Q中显示的参与者同时讲话的人。
图2A至2C说明系统100如何分析情景数据115的示例，例如，第二个议程115，目的是选择各种用户界面环境模板141以生成所选环境模板142的集合。然后，系统通过以与情景数据的顺序一致的方式显示所选环境模板142来管理事件流。
在这个例子中，议程115包括两个议程项目：其中一个人作为演示者的演示，用户共享具有特定文件类型的文件；以及小组讨论，议程表明不同用户的设备可以根据他们的设备类型选择不同的环境。
基于议程115，系统从环境模板141集合中选择两个环境模板142。在本例中，第五个选定模板142E包括用于会议室的3D环境，而第六个选定模板142F包括混合2D和3D环境。系统可以使用每个选定的模板142来生成用户界面环境的呈现。用户界面环境可以在系统使用议程追踪和管理会议时动态更改。
现在将图2B与图2A结合起来，它们描述了第二个示例议程的第一个议程项目131A和第五个环境模板142E的各个方面。第五环境模板142E与特定关键字相关联，例如“演示者”、“单个演示者”和“幻灯片”。使用示例数据，系统可以分析第二个示例议程的第一议程项目131A，并基于以下事实选择第五个环境模板142E：第五个环境模板与与第二个示例议程的第一议程项目131A具有阈值匹配的关键字相关联。
作为对为第二示例议程的第一议程项目131A选择特定环境模板142E的响应，系统可以生成将所选环境模板142E与用于第二示例议程的第一议程项目131A链接起来的数据。
使用将第五环境模板与第二示例议程的第一议程项目131A相关联的链接，当系统使用第二示例议程的第一议程项目131A开始会议时，系统可以使每个客户端计算机显示基于第五环境模板142E的用户界面安排。使用第五个环境模板142E的定义呈现的第五个用户界面布置101E的示例如图2B所示。
现在将图2C与图2A结合起来，它们描述了第二个示例议程的第二个议程项目131B和第六个环境模板142F的各个方面。第六环境模板142F与特定关键字相关联，例如“演示者”、“单个演示者”和“幻灯片”。
使用示例数据，系统可以分析第二个示例议程的第二个议程项目131B，并基于以下事实选择第六个环境模板142F，即第五个环境模板与第二个示例议程的第二个议程项目131B具有阈值匹配的关键词相关联。针对为第二示例议程的第二议程项目131B选择特定环境模板142E，系统可以生成将所选环境模板142E与第二示例议程的第二议程项目131B链接起来的数据。
在这个特殊的例子中，第六环境模板142F定义了一个混合的2D和3D环境。这个模板允许用户选择他们想要在环境中出现的方式:每个用户可以作为图像的2D渲染151出现，或者每个用户可以作为3D表示的渲染。
系统可以允许用户选择特定的呈现类型，例如2D或3D，或者系统可以根据每个用户的设备类型选择特定的呈现类型。
例如，如果第一用户正在使用头戴式显示器，则系统依然可以允许该用户提供以2D图像显示的输入。或者，系统可以根据用户的设备类型选择呈现类型。例如，如果第二用户使用头戴式显示器，则系统可以使用户显示为3D表示251。
图4显示了两个环境模板141的数据结构示例。通常，环境模板141包含特定协作环境的定义。例如，模板可以确定环境的类型，例如显示的环境是否基于三维模型，或者显示的环境是否基于二维图像。
每个模板都可以包含显示对象的属性，每个属性可以包括每个对象的位置、大小和方向。例如，对于3D环境，一个属性可以定义虚拟椅子，另一个属性可以定义虚拟显示屏的各个方面。对于2D环境，一个属性可以定义显示窗口的各个方面。
图5展示了UI转换的其他特性。当接收用于导致UI从用户10C的2D图像的呈现转换到用户10C的3D表示的呈现的输入时，系统可以确定用户10C的3D表示的位置和方向。例如，如果使用定义A3维度环境的模板来显示用户渲染图，则系统可以确定代表用户的所有虚拟对象351C的位置和方向。
在一个实施例中，如果系统确定用于表示第三个用户10C的虚拟对象351C将添加到虚拟环境200中，则系统可以以一种方式定位虚拟对象351C，使得虚拟对象351C呈现出用户的Avatar正在查看与用户10C共享的内容的外观。
在另一个例子中，如果系统确定用于代表第三个用户10C的虚拟对象351C将添加到虚拟环境200中。则系统可以以一种方式定位虚拟对象351C，使得虚拟对象351C看起来像是用户的Avatar正在看着与用户10C交谈的用户的Avatar。
每个虚拟对象351的放置可以基于团队成员、用户组和/或由单个用户或用户组建立的策略的分布。例如，如果一个人是公司团队的一部分，当其中一个人在转换用户界面的输入中识别时，他们对应的Avatar将定位在其他团队成员的阈值距离内。
用户Avatar的方向可以基于对其团队成员头像方向的分析。例如，如果团队中有一定数量的用户正在查看内容，则用户进入3D环境的Avatar同样可以导向查看内容。
名为“Agenda driven control of user interface environments”的微软专利申请最初在2022年5月提交，并在日前由美国专利商标局公布。
需要注意的是，一般来说，美国专利申请接收审查后，自申请日或优先权日起18个月自动公布或根据申请人要求在申请日起18个月内进行公开。注意，专利申请公开不代表专利获批。在专利申请后，美国专利商标局需要进行实际审查，时间可能在1年至3年不等。
