开源的 LLMs 漏洞扫描工具。该项目是 NVIDIA 开源的用于扫描 LLMs 漏洞的工具，支持检测 LLM 可能存在的安全问题和不良行为，包括幻觉、数据泄漏、提示注入、错误信息、有毒内容生成和越狱等。

为 LLM 应用注入记忆能力的开发框架。该项目是用于构建具有记忆功能的 LLM 应用的 Python 框架，支持创建拥有长期记忆和持久状态的智能体（Agent），并能够集成多种 LLM API 服务。

零门槛 AI 换脸应用。这是一款轻量级、开箱即用的 AI 换脸工具，无需 GPU、可离线使用，一键轻松尝试新形象（发型、穿搭等）。

更高效的 LLMs 推理和服务引擎。这是一个高效易用的大型语言模型推理引擎，专为解决推理速度慢、资源利用率低等问题而设计。它基于 PyTorch 和 CUDA，并结合内存优化算法（PagedAttention）、计算图优化和模型并行技术，大幅降低 GPU 内存占用，并充分利用多 GPU 资源提升推理性能。同时，vLLM 与 HF 模型无缝兼容。支持在 GPU、CPU、TPU 等多种硬件平台上高效运行，适用于实时问答、文本生成和推荐系统等场景。

from vllm import LLM

prompts = ["Hello, my name is", "The capital of France is"]  # Sample prompts.
llm = LLM(model="lmsys/vicuna-7b-v1.3")  # Create an LLM.
outputs = llm.generate(prompts)  # Generate texts from the prompts.

使用视觉模型将 PDF 转换为 Markdown。该项目基于视觉模型 API 服务，提供了将 PDF 文档转化为 Markdown 的功能。其原理是先将原文件（如 pdf、docx）转换为图片，然后把图片发给视觉模型处理，最后汇总所有结果生成完整的 Markdown 文件。

import path from "path";
import { zerox } from "zerox";

const result = await zerox({
  filePath: path.resolve(__dirname, "./hellogithub.pdf"),
  openaiAPIKey: process.env.OPENAI_API_KEY,
});

Krita 的 AI 绘画助手插件。这是一个专为 Krita 绘画软件开发的 AIGC 插件，旨在提供更便捷和可控的图像生成体验。用户只需选择区域并输入文本提示，即可轻松实现图像填充、扩展、放大、添加和删除对象等操作，支持本地运行、Stable Diffusion、ControlNet、IP-Adapter 和自定义检查点等功能。

跨平台的机器学习模型查看工具。这是一个神经网络、深度学习和机器学习模型的可视化工具，支持多种模型格式，包括 ONNX、TensorFlow Lite、Core ML、Keras、Caffe、Darknet 和 PyTorch 等。

AI 驱动的搜索引擎工具。这是一个开源的 AI 搜索引擎工具，灵感来源于 Perplexity AI。它结合了 SearxNG 和大语言模型（LLMs）等技术，能够理解你的问题并深入互联网查找答案，可作为传统搜索引擎的替代品。

灵活易用的 YOLO 部署工具。这是一款专为 NVIDIA 设备优化的 YOLO 部署工具。它通过集成 TensorRT 插件和 CUDA 技术，提供 C++ 和 Python API，显著提升了推理速度和易用性，支持多种 YOLO 版本，适用于目标检测、实例分割、姿态识别、旋转目标检测和视频分析等多种场景。

import cv2
from tensorrt_yolo.infer import DeployDet, generate_labels_with_colors, visualize

# 初始化模型
model = DeployDet("yolo11n-with-plugin.engine")
# 加载图片
im = cv2.imread("test_image.jpg")
# 模型预测
result = model.predict(cv2.cvtColor(im, cv2.COLOR_BGR2RGB))
print(f"==> detect result: {result}")
# 可视化
labels = generate_labels_with_colors("labels.txt")
vis_im = visualize(im, result, labels)
cv2.imwrite("vis_image.jpg", vis_im)

小型的视觉语言模型。这是一个可在资源受限的设备上运行的小型视觉语言模型，它能够理解并生成与图像相关的自然语言描述，支持图像识别、生成描述和问答等功能。

from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image

model_id = "vikhyatk/moondream2"
revision = "2024-08-26"
model = AutoModelForCausalLM.from_pretrained(
    model_id, trust_remote_code=True, revision=revision
)
tokenizer = AutoTokenizer.from_pretrained(model_id, revision=revision)

image = Image.open('<IMAGE_PATH>')
enc_image = model.encode_image(image)
print(model.answer_question(enc_image, "Describe this image.", tokenizer))