发布时间:2025-06-18 23:54 来源:凯发k8茶饮
本文第一作者顾泽琪是康奈尔大学计算机科学四年级博士生◈◈,导师为 Abe Davis 教授和 Noah Snavely 教授◈◈,研究方向专注于生成式 AI 与多模态大模型◈◈。本项目为作者在英伟达实习期间完成的工作◈◈。
想象一下◈◈,你是一位游戏设计师◈◈,正在为一个奇幻 RPG 游戏搭建场景◈◈。你需要创建一个 精灵族树屋村落—— 参天古木和树屋迷你裙美女警官◈◈、发光的蘑菇路灯◈◈、半透明的纱幔帐篷... 传统工作流程中◈◈,这可能需要数周时间◈◈:先手工建模每个 3D 资产◈◈,再逐个调整位置和材质◈◈,最后反复测试光照效果…… 总之就是一个字◈◈,难◈◈。
这种困境正是当前 3D 内容创作领域的缩影◈◈。传统 3D 设计软件如 Blender◈◈、Maya 虽然功能强大◈◈,但学习曲线陡峭◈◈。近年来兴起的文本生成 3D 技术让用户可以通过文字描述生成 3D 内容◈◈,但这些方法要么依赖有限的 3D 训练数据◈◈,遇到新场景类型或风格就容易翻车◈◈,要么在预测完场景中的物体信息后◈◈,要从特定的 3D 模型池中寻找并调用出与预测特征最相近的◈◈,因此最后的场景质量非常依赖于模型池中到底有什么◈◈,很容易导致风格不统一◈◈。
与此同时◈◈,文本生成 2D 图像技术(如 GPT-4o◈◈、Flux)却突飞猛进◈◈。这些模型通过海量互联网图像训练◈◈,已经能生成布局合理迷你裙美女警官◈◈、风格统一的复杂场景图◈◈。这引发了一个关键思考◈◈:能否让 2D 图像充当 中间商◈◈,先把用户输入文字转化为高质量场景图◈◈,再从中提取 3D 信息?NVIDIA 与康奈尔大学联合团队的最新研究 ArtiScene◈◈,正是基于这一 insight 提出的全新解决方案◈◈。
ArtiScene 的核心创新在于构建了一个完全无需额外训练的自动化流水线迷你裙美女警官◈◈,将文本生成图像的前沿能力与 3D 重建技术巧妙结合◈◈。它一共包含五步◈◈:
系统首先用扩散模型生成等轴测视角的场景图◈◈。这种视角常用于建筑设计示意图◈◈,因为它能同时呈现物体的长◈◈、宽◈◈、高信息◈◈,且不受场景位置影响◈◈。相比直接生成 3D◈◈,这种方法能利用更成熟的 2D 生成技术确保布局合理性和视觉美感◈◈。
图二◈◈:和其他任意的相机视角(左二◈◈、三)比◈◈,让文生图模型输出等轴测图(左一)更可靠◈◈,因为等轴测图默认相机参数是固定的◈◈,且没有透视形变◈◈。
采用两阶段检测策略◈◈:先用 GroundedDINO 识别场景中的家具和装饰品◈◈,对遮挡部分用补全修复(Remove Anything 模型)◈◈,再次检测确保完整性◈◈,最后得到每个物品的分割掩码◈◈。
通过 Depth-Anything-2 模型估计深度信息◈◈,配合自定义投影公式将 2D 坐标转换为 3D 位置◈◈。团队发现传统相机投影公式需要调整◈◈,于是采用去除深度缩放影响后的公式◈◈。
传统方法通常从现有数据库检索 3D 模型k8凯发(china)天生赢家·一触即发k8凯发(china)天生赢家·一触即发◈◈,导致美观度受限◈◈。ArtiScene 则对场景图中的每个物体分别生成定制化 3D 模型◈◈:在得到分割物体图像后◈◈,让 ChatGPT 描述其几何特征◈◈,再输入单视图 3D 生成模型◈◈,为每件家具◈◈、装饰品单独建模◈◈。
通过单目深度估计◈◈,系统将 2D 边界框转换为 3D 空间坐标◈◈。并使用 渲染 - 比对 的姿势估测机制◈◈,生成 8 个旋转角度的物体渲染图◈◈,用 Stable Diffusion+DINO-v2 融合模型提取特征◈◈,选择与原始场景图最匹配的姿势◈◈。后处理阶段还会自动修正物体重叠◈◈,确保物理上足够合理◈◈,比如椅子不会嵌进餐桌里◈◈,花瓶能稳稳立在柜子上◈◈。
相比当时效果最好的文生 3D 场景方法 Holodeck◈◈,在包含 29 种场景种类和风格的测试集中◈◈:
物体编辑◈◈:单独修改某个模型(如把普通汽车变成黄色保时捷)多场景适配◈◈:通过调整参数支持户外场景生成人工引导◈◈:允许直接输入手绘设计图替代 AI 生成场景图
对于更复杂的多房间场景(如整个博物馆◈◈、医院)◈◈,或者要求特定家具间的位置关系和个数等用户输入◈◈,由于文生图模型在训练时就缺乏相关数据◈◈,ArtiScene 在最开始就会受限于不够优质的二维图像◈◈。然而◈◈,这一模块是可更换的◈◈,ArtiScene 不依赖于某一特定模型◈◈,未来如果有性能更好的同功能模型◈◈,我们也可以很容易把它们替换进来◈◈。
本项目创新地采用二维图像来引导三维场景生成◈◈,并用 LLM◈◈、VLM 等大模型构成了一个鲁棒的系统◈◈,在生成结果的美观度◈◈、多样性和物理合理性上都远超之前的同类型方法◈◈。作者希望他们的工作可以启发未来更多关于具身智能◈◈、AR/VR◈◈、室内 / 室外设计的思考◈◈。
时事1◈◈:线日,浙江宁波外贸活力四射 2023年外贸进出口1.28万亿元,“”时期◈◈,我县城镇建设的任务很大◈◈,必须将经营理念贯穿于城市规划◈◈、建设和管理的全过程◈◈,积极探索城市资本营运的有效途径◈◈,多方筹措资金◈◈,加大城镇基础设施的投入◈◈。,乐动体育娱乐官网◈◈。
06月08日,横店国际短剧联盟成立 推动中外短剧产业交流,光辉太盛烈了◈◈,一丈见方的池子跟黄金太阳一般璀璨◈◈,天地间炽霞茫茫◈◈,到处都是金色◈◈。,xart官网,电子游艺网站有哪些,ag线日,【新疆故事】油画家库尔班江◈◈:小画布里的大情怀,省应急管理◈◈、农业农村k8凯发(china)天生赢家·一触即发◈◈、水利等部门成立由25个厅级干部带队的工作组和27个专家组迷你裙美女警官◈◈,分片包市深入一线◈◈、深入基层◈◈,对各地水源调度抗旱播种◈◈、抗旱保苗等工作进行督促指导◈◈,及时协调解决遇到的实际困难和问题◈◈。各地也积极采取行动◈◈,组织人员力量全面开展抗旱◈◈。,亚博真人AG,亚洲城地址是多少,完美体育下载官网app◈◈。
06月08日,高温橙色预警继续◈◈!三省份局地将超40℃◈◈,华北东北多强对流天气,二是要夯实基础◈◈,培育一支好队伍◈◈。“把农村培养成致富能手◈◈,把优秀的致富能手培养成◈◈,把致富能手中的优秀分子培养成村干部”◈◈,这是新时期农村教育培养的目标◈◈,要按照这个培养的要求◈◈,一是要抓好现有队伍的政治理论◈◈、法律法规教育和科技文化知识培训◈◈,使农村加深对党的基本路线和党的农村政策的理解◈◈,增强贯彻执行的坚定性◈◈、自觉性◈◈,明确的标准◈◈,认清自己在发展农村经济◈◈,推动农村社会全面进步中的责任◈◈,强化市场经济意识和法律意识◈◈,学会运用市场经济知识和法律知识办事◈◈。二是要坚持“三会一课”制度◈◈。“三会一课”制度是搞好思想教育的有效形式◈◈,要以党的先进性教育为契机◈◈,通过召开“支委会◈◈、党小组会◈◈、大会◈◈、上党课”等形式来加强长期性的教育◈◈,来提高他们的政治思想素质◈◈。三是要着眼于提高农村的素质◈◈,多渠道◈◈、多层次◈◈、多形式地抓好的科技培训◈◈。对一些高新实用技术迷你裙美女警官◈◈,可先组织通过短期培训迷你裙美女警官◈◈、外出参观◈◈、请能人传经等多种形式进行学习培训◈◈,开阔思路◈◈,增长见识◈◈,使他们掌握一定的先进实用技术k8凯发(china)天生赢家·一触即发◈◈,成为带领群众致富奔小康的带头人◈◈,达到发展有目标◈◈,致富有本领的目的◈◈。四是要不断探索加强管理的有效途径◈◈。加强队伍建设◈◈,要有载体◈◈,一定的内容要通过一定的形式表现出来◈◈,比如在农村开展的联系户◈◈、共同致富小组◈◈、支部帮带等活动◈◈,对加强队伍的管理都起到了很好的作用迷你裙美女警官◈◈。五是要继续加强对外出务工经商农村的管理◈◈,做好《流动活动证》的登记发放工作◈◈,做好流动的跟踪管理◈◈。六是要切实重视发展优秀青年农民入党的工作◈◈。要积极做好宣传教育工作◈◈,使青年农民了解党的基本知识◈◈,增强入党的愿望和要求◈◈,并采取各种方式加强培养k8凯发(china)天生赢家·一触即发◈◈,把符合条件的及时吸收到党内来◈◈,逐步改善农村队伍年龄偏大◈◈、文化偏低的状况◈◈,为党的队伍补充新鲜血液◈◈。从而使基层党组织更加坚强有力◈◈,更好地担负起带领群众致富奔小康的重任◈◈。,乐投娱乐,163娱乐平台GD线米乐这个平台靠谱吗◈◈。06月08日,如何打破汽车数据“孤岛”?业界共探汽车数据要素未来之路,
1◈◈、全场签订森林资源管护目标责任书◈◈,并于石油勘探区队签订森林资源管护责任书◈◈。2◈◈、按时落实完成局下达的各项森林资源保护专项行动◈◈,在各项专项行动中未发现破坏森林资源行为及案件k8凯发(china)天生赢家·一触即发◈◈。3◈◈、我们不但落实好局安排的各项专项行动◈◈,并定期◈◈、不定期组织场林政稽查人员对全场辖区巡查巡护◈◈,发现问题及时处理◈◈,把一切破坏森林资源的违法行为消灭在萌芽状态◈◈。4◈◈、安排林政稽查人员在重要地段◈◈、各大沟口加大巡查力度及夜查◈◈、炮楼检查站要加强24小时值班带班制度◈◈,值班明确责任◈◈,夜间值班由一名副场长带班◈◈,谁值班带班出现问题谁负责◈◈,层层落实了责任迷你裙美女警官◈◈,确保了森林资源安全◈◈。5◈◈、在人流量大醒目地点制作森林资源管护宣传横幅◈◈。
06月08日,明十三陵永陵◈◈、思陵首次对外开放,“不行◈◈,太危险了◈◈,一旦惊动它◈◈,我多半难以活命◈◈。”小不点止步◈◈。第一百六十八章 得药,有365的体育平台,九游会官方入口吗,伟德体育注册App◈◈。06月08日,西藏昌都◈◈:拉乌山秋日满目金黄 成群牛羊高原草地悠哉觅食,
新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证ag凯发官网◈◈,凯发天生赢家◈◈,凯发·天生赢家◈◈,天生赢家◈◈。凯发k8(中国)天生赢家凯发官网平台◈◈,