1. 显卡需求和推荐模型 使用 int4 + QLora 训练（效果并不会比Full-finetuning差多少，lora rank设置较大且应用到所有层） 8K 上下文时，显存16GB的显卡则可以训练 20B 以下模型，显存24GB的显卡则可以训练 32B（含）以下模型。 推荐微调 1-7B 模型。推荐性价比显卡：4090，计算能力和显存带宽都足够好，比L40等商业卡还好用。 2. ...

注意：SFT数据集尤其是比较老的数据集质量其实低下，用 DeepSeek 等top模型重新回答下提问效果可能更好。 预训练数据集 高质量数据集（有中文） 大小 特点 IndustryCorpus2 1TB Chinese / 2.2TB English 进行行业分类...

AI Tech Blog Eugene Yan ：大模型和应用的内容 GPU Mode：GPU、模型推理和训练工程架构和算法 https://youtube.com/@gpumode?si=9BBmi4OwXDLwyWCI Simon Willison’s Newsletter | Substack https://magazine.sebastianraschka.co...

DeepSeek R1 相关资料，全部被我个人阅读并精选，不是简单的罗列。 文章 Reasoning best practices：【重点】 OpenAI 的思考模型最佳实践，必看。 Greg 的 思考模型 Prompt： Understanding Reasoning LLMs：偏学术一些的文章。 A Visual Guid...

代码位置： https://github.com/ninehills/embedding_finetuning/blob/main/README.md 1. 准备环境 测试环境：WSL2 + CUDA 12.4 conda create -n embedding python=3.10 -y conda activate embedding conda install pytorch...

结论 选型建议： 大部分模型的序列长度是 512 tokens。 8192 可尝试 tao-8k，1024 可尝试 stella。 在专业数据领域上，嵌入模型的表现不如 BM25，但是微调可以大大提升效果。 有微调需求且对模型训练了解较少的，建议选择 bge 系列（完善的训练脚本、负例挖掘等）。但多数模型都基于BERT，训练脚本也通用，其他模型也可以参考。 重排模型选择...

随着 Google 发布了 Gemini Pro Vision，我在思考能否将其用来解决 RAG 中经典的问题，扫描 PDF 中的表格识别和转换为 Markdown 格式。 结论先行 使用 Few-shot 可以达到比较完美的识别效果。 英文和数据的识别较好。 中文 OCR 识别能力较弱，无法使用。 Prompt 我们使用 ai.google.dev，编写 Struc...

原文及评测脚本发布于 repo 理解 LLM 推理过程 参考 illustrated-gpt2 这篇文章，自回归的大语言模型的推理分为两个步骤： prefill：预填充，并行处理输入的 tokens。 decoding：解码，逐个生成下一个 token。 重复这两个步骤直到生成 EOS token 或达到用户设定的停止条件（stop token 或最大 token 数）。...

为检验 Embedding 模型在 RAG 应用中的性能，我们引入 C-MTEB 评测用来评估 Embedding 模型的性能。 已有的 Embedding 模型的 C-MTEB 分数在 MTEB Leaderboard 上可以通过选择 Chinese 选项卡查看。 而针对有明确数据集的场景，我们也可以复用 C-MTEB 的评估方法，评估 Embedding 模型在特定数据集上的性能，从...

Want to know exactly how much power your MacBook is drawing from its charger? Here are several ways—ranging from command-line tools to a GUI app—that help you find out the charging wattage on macOS...

之前参考了一些基于 GitHub Issues 的博客，基本分为两种： 使用 Javascripts 动态生成博客页面。缺点是对 SEO 不友好，而且加载速度较慢。 抓取 issue 然后用 hugo 之类的生成静态站点。找到两三个均过于复杂，且长时间不维护已经无法运行。 所以自己简单实现了一个，基本流程如下： 创建、编辑 Issue。 触发 Github Act...

0x00 学习路径 本文分为三个章节，各章节的学习目标如下。 入门篇： 了解大语言模型的基础知识和常见术语。 学会使用编程语言访问 OpenAI API 等常见大语言模型接口。 面向非专业背景的大模型普及知识。 应用篇： 可以在本地环境搭建开源模型的推理环境。 大语言模型应用开发框架...