Grok-1:马斯克的xAI开源LLM(尝鲜体验)
前言
Grok-1
(格鲁克) 是马斯克的 xAI
开源的大语言模型(LLM),它没有针对某个特殊行业进行微调,使用 JAX 库和 Rust 从底层开发的基础模型,有 314B 个参数。
欢迎订阅公众号, 点击 MinYiLife
Grok-1
(格鲁克) 是马斯克的 xAI
开源的大语言模型(LLM),它没有针对某个特殊行业进行微调,使用 JAX 库和 Rust 从底层开发的基础模型,有 314B 个参数。
ChatRTX 是英伟达提供的一个demo程序,它可以使用自己的文档、笔记等数据来定制个人版本的大语言模型(LLM) GPT聊天助手。
通过 RAG(retrieval-augmented generation)、TensorRT-LLM 和 RTX加速卡,可以使用定制化的 ChatBot 来快速获取到答案,因为它是运行在本地Windows PC或工作站的,这样可以更快和更安全。
它目前只支持Windows系统。
注: 阅读书籍《Introduction to Machine Learning with Python》过程中形成的笔记
scikit-learn(sklearn) 库是一个非常流行的Python机器学习库,使用之前安装依赖:
注:这是观看一个视频做的笔记,可能丢失了重要信息,也可能有些地方理解有误。
这个视频是特斯拉前AI总监Andrej Karpathy(个人主页:https://karpathy.ai/) 的一个演示文稿讲演视频,主题是「Intro to LLMs」,全程大概1个小时。
Faceswap is the leading free and Open Source multi-platform Deepfakes software.
源码: https://github.com/deepfakes/faceswap
FaceSwap is a tool that utilizes deep learning to recognize and swap faces in pictures and videos.
FaceSwap是目前GitHub上开源的使用比较多的AI换脸工具,要求NVIDIA显卡CUDA计算能力在3.5以上;目前手里的RTX3080计算能力是8.6。
https://github.com/CompVis/stable-diffusion
Stable Diffusion is a latent text-to-image diffusion model.
Stable Diffusion是近年来流行的AI生成图片工具,这里尝试在Windows系统电脑上使用GPU进行图片生成。
https://github.com/CompVis/stable-diffusion
Stable Diffusion is a latent text-to-image diffusion model.
Stable Diffusion是近年来流行的AI生成图片工具,这里尝试在Mac电脑(非M1)上使用CPU进行图片生成。
整个安装过程异常崎岖,参考了很多博客文章但大部分都进行不下去,要么是系统本身缺某个软件包或版本不对,要么是Python相关的软件包安装不了。
TensorFlow通过Python接口训练好模型,然后使用C++ API加载.pb模型文件,再对图片进行预测判断,这需要解决几个问题:
根据文档 https://tensorflow.google.cn/install 进行TensorFlow的安装时,要特别注意环境依赖的版本号,如果某个依赖项版本号不一致就会出现问题,比如使用的Python版本、Bazel版本、ProtocolBuffers版本等。
如果是通过Pip安装Python库的形式会容易一些,但如果想从源码编译,尤其是想编译出C/C++ API动态库形式就会比较麻烦,即使编译成功还要避免和其它库出现ABI冲突,参考: https://github.com/rangsimanketkaew/tensorflow-cpp-api 可以节省很多时间。