自己动手使用AI技术实现数字内容生产

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

背景

今年以来以chatgpt为代表的大模型的惊艳表现彻底点燃了AICG这个领域的。各类gpt，各种AI作图产品如雨后春笋般出现。每个成功产品的背后都是一个个精妙的算法，本篇文章给大家详细介绍下如何使用一个手机拍摄若干张同一场景的照片，然后合成新视角，生成视频的流程与代码。本文使用的技术是NeRF(Neural Radiance Fields）,它是2025年以来出现的一种基于深度学习的3D重建方法，它通过学习场景的光线传输和辐射传递，能够生成高质量的场景渲染图像和3D模型。关于它的原理与文献，我在最后有一个参考列表供大家学习。本文主要从代码使用以及环境搭建的新角度介绍它。

环境搭建

environment.yml修改

本文使用的硬件环境是 GPU RTX3090,操作系统是windows 10.采用的软件是开源的NeRF实现(https://github.com/cjw531/nerf_tf2)。由于RTX 3090需要CUDA 11.0及以上版本的支持，TensorFlow-gpu 需要2.4.0以及以上的支持,所以我们没有选择官方的https://github.com/bmild/nerf，因为bmild这个的环境使用的tensorflow-gpu==1.15，版本太久了。跑起来会有下面的问题https://github.com/bmild/nerf/issues/174#issue-1553410900，我在这个tt中也回复指出了需要升级到2.8。但是即便是使用https://github.com/cjw531/nerf_tf2，它的环境也是有点问题。首先由于它连接的国外的conda的channel,所以速度很慢。其次它的环境使用的是tensorflow==2.8没有指明tensorflow-gpu的版本。针对这两个问题。我们对environment.yml进行了修改。

# To run: conda env create -f environment.ymlname: nerf_tf2channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/- conda-forgedependencies:- python=3.7- pip- cudatoolkit=11.0- cudnn=8.0- numpy- matplotlib- imageio- imageio-ffmpeg- configargparse- ipywidgets- tqdm- pip:- tensorflow==2.8- tensorflow-gpu==2.8- protobuf==3.19.0- -i https://pypi.tuna.tsinghua.edu.cn/simple

启动conda环境

打开cmd,然后输入下面的命令。

conda env create -f environment.yml

将nerf_tf2加入到jupyter中，这样使用jupyter能很方便的查看系统的运行结果。

// 安装ipykernelconda install ipykernel

//是该conda环境在jupyter中显示python -m ipykernel install --user --name 环境名称 --python -m ipykernel install --user --name 环境名称 --display-name "jupyter中显示名称"display-name "jupyter中显示名称"

//切换到项目目录cd 到项目目录//激活conda环境activate nerf_tf2//在cmd启动jupyterjupyter notebook

至此conda环境以及jupyter准备就绪。

数据准备

1. 下载并安装colmap,我的环境是windows(https://demuc.de/colmap/#download)
2. 使用https://github.com/fyusion/llff提供的imgs2poses.py实现自己相机拍摄的图片的相机内外参数的获取，比如我们的拍摄了10张图片，它们放置的目录位置很讲究，D:/LanJing/AI/LLFF/data/images,也就是说一定要放在images子目录下面。而你传入的参数是python imgs2poses.py D:/LanJing/AI/LLFF/data。因为它的代码里面的images_path的写法是这个样子（https://github.com/Fyusion/LLFF/blob/master/llff/poses/colmap_wrapper.py#L28）

手机拍摄的图片样例

feature_extractor_args = ['colmap', 'feature_extractor','--database_path', os.path.join(basedir, 'database.db'),'--image_path', os.path.join(basedir, 'images'),'--ImageReader.single_camera', '1',# '--SiftExtraction.use_gpu', '0',]

python imgs2poses.py

运行完imgs2poses.py文件后，生成了sparse目录、colmap_out.txt、database.db、poses_bounds.npy,然后我们在nerf_tf2项目下创建新目录data/nerf_llff_data/ll,将上面的sparse目录以及poses_bounds.npy复制到这个目录下。最后我们再配置个新文件config_ll.txt。至此我们的数据准备工作完成了。

expname = ll_testbasedir = ./logsdatadir = ./data/nerf_llff_data/lldataset_type = llfffactor = 8llffhold = 8N_rand = 1024N_samples = 64N_importance = 64use_viewdirs = Trueraw_noise_std = 1e0

训练

将开源软件迁移到windows平台上。

由于此开源软件主要是支持mac和linux,它无法在windows运行，需要对load_llff.py的修改。

load_llff代码迁移

运行300000次批量训练。

activate nerf_tf2python run_nerf.py --config config_ll.txt

测试

render_demo的运行

效果

由于我们使用的输入图片有些少，只有10张，所以运行出来的效果不是很好，但是整体的流程是一样。tips:官方的代码里面使用的一半都是30，甚至100张图片。

我们的效果

一个新视角的渲染

官方效果

fern官方合成新视角效果

参考资料

https://zhuanlan.zhihu.com/p/554093703。

https://arxiv.org/pdf/2003.08934.pdf。

https://zhuanlan.zhihu.com/p/593204605。

https://inst.eecs.berkeley.edu/~cs194-26/fa22/Lectures/nerf_lecture1.pdf。

# issue  # 这两个  # 雨后春笋  # 它是  # 放在  # 会有  # 很好  # 的是  # 我在  # 开源  # 都是  # gpt  # 开源软件  # 深度学习  # linux  # https  # tensorflow  # database  # 算法  # jupyter  # windows  # github  # channel  # conda  # Python  # chatgpt 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： VideoInu AI 动画制作：教程、功能与Pro账户赠送  Sora 2 API 全面解析：功能、应用与 Lovable 集成指南  LeetCode算法：最长公共前缀问题全面解析  都灵裹尸布之谜：AI揭示耶稣基督的真实面貌？  ChatGPT 处理非结构化数据并转换为 JSON 格式  Replika AI：情感慰藉还是虚拟危机？深度剖析与用户反馈  京东旅行AI能否抢返程票_京东AI返程票预约与自动抢购【技巧】  提升效率：使用AI代理自动生成视频标题的实用指南  探索未来：AI机器人AURORA揭秘亚特兰蒂斯之谜  如何使用 DeepSeek 进行大规模舆情关键词提取  TRX40主板终极对决：3990X散热性能深度评测  AI Excel公式生成工具有哪些_一键生成函数公式的AI工具推荐  文心一言 4.0 在公文写作规范中的实战技巧  BEILA：用AI驱动的低代码开发平台详解  即梦AI怎样生成产品描述_即梦AI产品描述生成与卖点提炼【实操】  AI卡通视频制作终极指南：轻松打造百万流量  易企秀AI排版如何生成H5页面_易企秀AI排版H5制作入口与组件添加【方法】  轻松创建引人入胜短视频：Riverside.fm教程  TechInternPath.ai：AI驱动的实习之路，助你梦想成真  ChatGPT新手指南：大学生如何高效利用AI工具？  豆包Ai在线使用入口_豆包Ai官方网站最新登录地址  AI数字人教程：轻松打造专属YouTube虚拟形象  AI UGC生成器深度测评：四大工具横向对比分析  GitHub Copilot终极指南：提升代码效率与质量  11月电动两轮车线上销售排名出炉：九号份额达26.9%  AI威胁论：超人工智能ASI时代来临，人类如何应对？  轻松入门：如何创建自己的图像识别模型  ChatGPT 4o图像生成器：免费AI绘画技巧与应用  AI内容审查：谷歌搜索结果是否受到人为干预？  AI时代设计师生存指南：职业发展、技能提升与未来趋势  Gemini 与 Google Drive 结合的文件智能检索  批改网ai检测工具如何导出检测报告_批改网ai检测工具报告导出格式【步骤】  探索占星术：揭秘 कुंडली 中的 शुक्र，财富与运势的钥匙  Brevio AI：利用AI代理提升电商营销效果  Depseek能否批量生成部门总结_Depseek多部门总结批量生成步骤【方法】  智谱AI内容创作怎么用_智谱AI内容创作使用方法详细指南【教程】  怎么用AI帮你设计一套个性化的手机App图标？  tofai官网入口链接 tofai网页版在线登录  消除噪音，提升音质：Audo.ai终极指南  构建卓越的AI驱动测试自动化框架：QA工程师指南  Apollo.io vs Instantly AI：深度测评与功能对比  AI驱动KDP封面设计：NURIE CREATOR教程  电脑硬件升级指南：旧电脑的回收利用与性能提升  5分钟教你用AI将你的研究数据生成可视化的图表和摘要  Gemini 辅助进行多平台社交媒体内容调度  手相解析：生命线的形状与意义详解，预示健康、财富和命运  教你用AI把照片变成动漫风格，3个简单步骤刷爆朋友圈  想做自媒体？教你用AI批量生成视频脚本，实现内容自由  tofai官方网站入口 tofai在线网页版登录  2025年最佳AI时间管理软件：Motion、Reclaim AI与Clockwise终极评测 

 2023-06-15