世俗-妻财子禄寿(健康事业家庭)
b9a2f359a78cc900c6b7b98b312f9de955c8bfb4c4b68fb8e9e1ae7c434d3eef13c94db02593d80fac4bec5bb60a37cda8070ebd760c816a15e1bbaacb1d97b845f81751f3dda799d2d548b9a78a2f05ee496c086fab3b3e5c652b2222c92604ff8f30b564c28b57f995c365414a5ffd899fa913d393a97113d199aa3b36f1b08f7678519864eb7d056b3ef0488036a96fb6f30ddeaf9c54e39d5f0a400dce6b887d940275525896f28728adf661550840b7172a783c7f4720aaf0f38636684b06a5e787c9b212f756dd8098a72bef017719512dd79139c9c083af251e1dfb49f367aff71d76865339e6dd25334c5bc1bd5bc0af9dc878af4 ...
人性の价值观与方法论-Master录/直播
b9a2f359a78cc900c6b7b98b312f9de9b932064ebe8fc6441e4de172301ed8310977655d234491187d5a06e9cdd44db16d37fec08fbd7430e3ed464aaba06ddbd7740551f62c4a7b4077690f9c5e4a918f8edb56b33293190736f1fdeadb56690059216ff04eba53e5eaa9108e2faa5b23eafc82f42f1c6f26fc666db0b275e4e8a2ee62ce0c62e4e7aec88a25145b69aa7d8ece4beb6e1301bf7345632defd0380e3a87316ed01ec9dcc5c0cc7e196d54e1f256dbbd170021658382810de8096ae2e293c480735d5bd76d1b130543eb61708b7fbae5ec12483af041a196655c6d56ecb688dfce5c1385e9521472def4f0308b704d600a2c3 ...
Harness Engine
大语言模型应用架构演进:Harness Engineering深度解析及其在智能翻译Agent中的工程实践引言:从单一提示词向系统级治理范式的历史跃迁在人工智能与自然语言处理技术的演进历程中,大语言模型(Large Language Models, LLMs)的出现无疑是一个分水岭。然而,随着模型能力的指数级增长,工业界很快发现了一个不可忽视的工程悖论:模型越是强大,其在复杂、长周期任务中的表现越是难以预测。早期的工程实践高度依赖于提示词工程(Prompt Engineering),即通过精心雕琢输入文本来优化模型的单次生成结果。但当人工智能系统从“单轮对话的文本生成器”转变为“需要执行多步操作、调用外部工具、维护长期状态的自主智能体(Autonomous Agents)”时,纯粹依赖提示词的局限性便暴露无遗。模型在长时间运行中会遗忘关键指令,会产生严重的上下文腐化(Context Rot),甚至会在工具调用中陷入无法自拔的死循环。
为了解决这些阻碍大语言模型走向生产环境的深水区问题,软件工程界提出了一种全新的架构范式——Harness Engineering(治理线束工程或线束架构工 ...
学无常师
读书&总结方法习惯你给大家一些你读书的这种方法和习惯,因为大家都知道,你这个知道的事儿确实多,还能记得住,能说出来。
我觉得首先就是在一个领域看书可能会相对容易一些。我基本上生命科学的思路是穷举的看的这个东西我相信大家术业有专攻
穷举的看,就是有就看。
有就看。你知道我们这卖买卖书,我每周坚持卖书,特别有意思,能收获很多大家的看法。经常有人问的都是这本书跟那本书选哪个?这本书跟那本书矛盾吗?这本书跟那本书有重复的部分吗?只要有重复的部分。
那就不买了,就不看了。三国志买了就不看三国演义。
我们在学语言倒是有一句话,如果你想学明白一种语言,对你至少要懂两种语言。只有学会了两种语言,才会彻底明白一种语言,因为它是要有一个验证,对,能开这个锁的钥匙一定不在锁上。所以读一本书是读不懂这本书的,必须再读一本书。对,是这个样子。所以我做这种求解有一个好处,就是大量的快速的去把它看完。因为这些书很多内容都一样,这是第一个,一共就讲三个。对,我这是第一个观点。【造成问题的那个层面,解决不了这个问题。想要解开锁,钥匙一定不在锁本身,而在更高、更远、之外的地方。只有跳出当前层次,去到锁之外,才能拿 ...
Doccano Ubuntu部署
Doccano Ubuntu 服务器部署
回归本质 不理解的东西不要加
安装最新版doccano12345678910111213141516# 更改docker镜像源(在文件中配置)nano /etc/docker/daemon.json# 拉取镜像docker pull doccano# 启动容器docker container create --name doccano \ -e "ADMIN_USERNAME=admin" \ -e "ADMIN_EMAIL=admin@qq.com" \ -e "ADMIN_PASSWORD=qy123456" \ -v doccano-db:/data \ -p 8000:8000 doccano/doccano # 启动doccanodocker container start doccano
配置镜像源使用nano进行编辑,类似与vim,刚上手比较难
crtl + x 退出编辑
ctrl +o 保存
ctrl + k 删除一整行
1234567891011121 ...
Project Design
Question
图片的使用场景是两个地方(回答用户问题的时候将图片作为一个佐证,第二个就是作为语料进行训练)
一般的图片处理流程大概是:生成图片描述
123456789101112131415161718192021222324252627282930SaaS平台功能模块 项目管理、账号管理、人员管理平台的功能模块是哪些?前端展示路径,调取路径Knowledge Hub(知识库)ESG相关新闻不用付费法律法规付费AI Lab律师、会计师使用合规小工具工作流文件(中小企业)每一个议题Agent都是一个单独的服务小的模块、工具ESG合规工具后面的一个用户问答设想:用户问了一个问题,能够根据问题索引到对应的一些语料,会有翻译,会有标签,会有图片佐证先使用gemini画出一个前端出来,在前端做一些代码的更新问下SteveESG365平台的代码是否已经在码云上了gitee 或者Gitlab上了代码人员秘钥管理 → 公众号推文植入,原有功能模块优化 → 系统上线每天更新语料内容 让业务负责人抽查 语料无误才能使用语料的标签1.0版本管理 更新迭代留存
模型微调数据标准格式
双引号匹 ...
LLM2Agent
企业级AI应用的样貌一个成功的企业级ESG Agent产品,最终形态应该更像一个 “永不疲倦的初级ESG顾问团队”:
7x24小时工作,随时处理全球最新的监管动态和企业数据。
内嵌了顶尖咨询公司的方法论,保证输出质量的专业性和一致性。
具备严格的交叉校验流程,确保结果的准确可靠。
能够通过用户反馈不断进化,越来越懂客户的行业和特定需求。
交付的是可直接用于决策的商业洞见,而不仅仅是一堆冷冰冰的数据。
Agent 产品化战略本文档旨在解答两个核心商业命题:
交付侧:如何通过架构设计减少后期的咨询与运维人力投入?
价值侧:如何让 ESG Agent 摆脱“大号工作流”的标签,成为不可或缺的企业级应用?
如何摆脱后期人力(咨询、维护)?你想传统的 AI 交付后期往往都是通过“Prompt 工程师驻场”要解决这个问题,系统机制必须一开始就不用人去负责。(很少有公司能做到。。。)
不要让 AI 试图回答所有问题,也不要让人工去检查所有输出。比如用户上传了垃圾数据,AI 生成了幻觉报告,客户投诉,咱们需要人去看日志,或者检查哪一部分出现错误了。
那不如一开始就将“运维压力”转移回“用户侧的 ...
Jason Working Note
(从文件切分 → 数据集标注/微调数据集构建 → 模型选型 → 模型微调 →Agent Workflow架构 → Agent自动生成报告)
1 MarkDown语义分段 切分 数据清洗 不一定要用Dify 可以使用LangChain框架来处理
2 检索召回 Prompt 技术细节
3 微调模型应用场景:写报告 评估报告的分数(先搞语料 搞完后再去决定用大or小模型)
4 爬虫最好用Firecrawl去抓取 否则法律 服务器IP被封
数据/语料标注根据具体任务选择合适的数据格式:
1234567简单任务:使用基础的instruction-input-target格式复杂分析:使用结构化的输出格式多任务学习:在metadata中标注任务类型质量保证:添加数据验证和清洗步骤
数据集如何构建的?
首先是文本提取,通过对多源异构数据进行文本解析,然后对提取到的文本内容进行清洗与预处理(提取错了直接扔掉,或者编写一些特定的逻辑进行文本清洗),然后对语义进行切分,最后通过自动标注(基于规则/模型)进行辅助标注,或者借助Doccano平台人工进行标注。
然后使用大模 ...
Fine-Tuning-Note
Day021、说一下LoRA的原理?LoRA假设模型在适配新任务时,其权重的更新(ΔW)具有低内在秩(intrinsic low rank),因此可以将这个更新矩阵分解为两个更小的、可学习的矩阵A和B的乘积(即 ΔW = A × B)。在微调过程中,冻结原始模型的绝大部分参数,转而在PLM的特定线性层(如自注意力机制中的 Q、K、V 投影层和前馈网络)旁边,并行地注入一对小的、可训练的低秩分解矩阵。通过只训练这些低秩矩阵,LoRA就能让模型学习到新任务的知识,同时保持了原始模型的强大泛化能力,并极大地节省了计算资源和存储开销。
2、说一下LoRA的优缺点
优点:
只训练极少参数,相对全量微调的存储和训练成本低。
效果接近全参数微调,且保留原模型能力。
不同任务的 LoRA 模块可插拔,便于多任务部署。
缺点:
LoRA 本质是用低秩分解逼近权重更新矩阵,这对参数空间的表达能力有限制,可能无法拟合某些复杂任务所需的高秩变化。
LoRA 通常加在 attention 的投影矩阵(Wq/Wv)上,但不同任务可能对位置敏感,选择不好会影响性能。
相对来说,如果预训练模 ...
Fine-Tuning
P01_大模型微调的主要方式【掌握】1、大模型Prompt-Tuning方法1.1 NLP任务四种范式
第一范式:基于传统机器学习模型
第二范式:基于深度学习
第三范式:基于预训练模型+fine-tuning
第四范式:预训练模型+Prompt+预测
1.2 Fine-Tuning(微调)Fine-Tuning基本思想:使用小规模的特定任务文本继续训练预训练语言模型。
Fine-Tuning问题:
所需的Fine-Tuning量取决于预训练语料库和任务特定语料库之间的相似性。如果两者相似,可能只需要少量的Fine-Tuning,如果两者不相似,则可能需要更多的Fine-Tuning,并且效果不明显。
成本高
Prompt-Tuning的基本思想:通过添加模板的方法将任务目标转化为与预训练目标相似的形式(如MLM),避免引入额外的参数的同时,最大化利用模型的预训练知识。
Prompt-Tuning主要解决传统Fine-Tuning方式的两个痛点:
**降低语义偏差:**预训练任务主要以MLM为主,而下游任务则重新引入新的训练参数,因此两个阶段目标差异较大。因此需要解决Pre-Tr ...






