1. ch频繁重启，数据合并不了clickhouse-server.log一直输出docker启动的clickhouse频繁重启解决：直接找到文件，删掉，但这样会把这张表的所有数据都删了，可以试下只删除mutation_开头的数据

1. 简介聊天类大模型如OpenAI、Qwen等均已经具备了外部函数调用的能力，可以通过定义清晰的函数说明和所需参数，将其输入到大模型中，让大模型根据输入的提示（Prompts）自动选择合适的函数执行。最终，大模型会返回一个JSON对象，包含了要调用的函数及其输入参数。LangChain框架抽象了允许使用各种“工具”构建自然语言接口的Tools模块，这些工具可以是API、函数、数据库等。提供了大量的内置工具和良好的模型输出解析，可以轻松从模型输出中提取 JSON、XML、OpenAI 函数调用等。其在运行过程中调用工具的流程图如下所示：大模型与工具使用的核心在于：正确地向大模型提出请求并解析其响应，从而准确选择合适的工具并为之提供恰当的输入。 LangChain的工具抽象模块源码文件位置为：langchain_core/tools.py在这个核心文件中，定义了一个工具（Tool）系统，提供外部工具与大模型的交互能力。其类的层次结果是：ToolMetaclass --> BaseTool --> <name>Tool # Examples: AIPluginTo ...

1. Model I/OLangChain的Model I/O模块提供了标准的、可扩展的接口实现与大语言模型的外部集成，包括模型输入（Prompts）、模型输出（OutPuts）和模型本身（Models），通过该模块可以快速与任意大模型进行对话。 在这个模块中，LangChain抽象出一个chain，用于进一步简化和增强交互流程。包含三个核心部分，Format，Predict，Parse Format：Prompts Template，通过模板化来管理大模型的输入Predict：Models，使用通用接口调用不同的大语言模型Parse：Output，用来从模型的推理中提取信息，并按照预先设定好的模版来规范化输出 2. FormatPrompt Template利用各种提示工程技巧，如Few-Shot、链式推理（CoT）等方法，以提高大模型的推理性能。在实际应用开发中，提示词是动态变化的。LangChain通过Prompt Template支持变量和动态内容的插入，使同一个应用可以根据不同的输入动态调整提示词，从而更好地响应用户的具体需求。 3. PredictPre ...

1. 🦜️🔗LangChain介绍LangChain是一个用于开发由大型语言模型（LLM）支持的应用程序的框架。官方文档：https://python.langchain.com/docs/get_started/introductionGithub：https://github.com/langchain-ai/langchain 🧱 使用 LangChain 可以构建什么？ ❓ 用 RAG 回答问题 🧱 提取结构化输出 🤖 聊天机器人 …… 2. 💟核心模块 Model I/O：标准化各大模型的输入输出，包括输入模板，模型本身和格式化输出 Retrieval：检索外部数据，在执行生成步骤是传递给LLM，包括文档加载，切割，Embedding等 Chains：链，最重要的模块，链接多个模块协同构建应用 Memory：记忆模块，构建历史信息，维护有关实体及其关系的信息 Agents：调用外部工具，真正能够实现人工智能的落地方案 Callbacks：回调系统，允许连接到LLM应用程序的各个阶段，用于日志记录，监控，流传输和其它任务 3. 🧰Lang ...

1. 说明最轻模式本地部署方案，该模式的配置方式与常规模式相同，但无需安装 torch 等重依赖，通过在线API实现 LLM 和 Ebeddings 相关功能，适合没有显卡的电脑使用。 参考文档：开发环境部署参数配置 2. 步骤2.1 下载代码从Github拉取代码：https://github.com/chatchat-space/Langchain-Chatchat.git 2.2 修改访问http://127.0.0.1:8501/ 问题记录No module named ‘configs.basic_config’运行报错：ModuleNotFoundError: No module named ‘configs.basic_config’执行：python copy_config_example.py No module named ‘pwd’执行python startup.py -a –lite报错： 12345678910111213(Langchain-Chatchat) PS D:\code\source\Langchain-Chatchat> python ...

1. 📃简介LangChain-Chatchat是基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。可以实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。🌐Github：https://github.com/chatchat-space/Langchain-Chatchat 2. 🚀快速部署体验LangChain-Chatchat支持AutoDL镜像一键部署，非常方便，镜像地址：https://www.codewithgpu.com/i/chatchat-space/Langchain-Chatchat/Langchain-Chatchat 2.1 注册autodl账号AutoDL是一个GPU租用平台，提供稳定可靠、价格公道的GPU算力🌐官网：https://www.autodl.com/ 注册账号后，进行充值。计费方式：服务器开机开始计费，关机结束计费，可以支持无卡开机，费用更低 2.2 部署镜像打开镜像地址：https://www.c ...

1. 概述FlinkCDC 是一个基于 Apache Flink 流处理引擎的 Change Data Capture（CDC）解决方案。CDC 是一种用于捕获数据库变更并将其实时传递到其他系统的技术。FlinkCDC 构建在 Apache Flink 流处理框架之上，利用其分布式、高性能、容错的特性来实现数据变更的捕获和处理。 Github地址：https://github.com/apache/flink-cdc文档地址：https://apache.github.io/flink-cdc/master/index.html 2. 连接器FlinkCDC连接器指的是Flink的一种用于连接到变更数据捕获（CDC）源的插件或组件，CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力。当前FlinkCDC 3.x的版本支持的连接器 Connector Database Driver mongodb-cdc MongoDB: 3.6, 4.x, 5.0 MongoDB Driver: 4.3.4 mysq ...

1. 什么是CDCCDC是Change Data Capture的缩写，中文翻译数据变更捕获，它是一种用于数据管理和数据集成的技术，主要用于将源系统中发生的数据变更捕获并传播到目标系统中。这种技术允许实时地捕获和传输数据库中的变化，从而确保目标系统与源系统中的数据保持同步。使用场景： 实时数据仓库更新：CDC可以用于将数据库中发生的变更实时地同步到数据仓库中，以支持实时报表、分析和业务智能应用程序。 数据复制：在跨数据中心或跨地理位置的情况下，可以使用CDC技术实时复制数据，确保所有位置的数据保持同步。 实时分析：对于需要在数据更新时立即进行实时分析的场景，如在线广告投放、欺诈检测等，CDC可以捕获数据变更并将其传送到分析系统中。 数据备份和恢复：CDC可以用于实时备份生产数据库，并在需要时将变更应用到备份数据库中，以实现快速的数据恢复。 数据集成和数据迁移：在数据迁移或系统集成过程中，CDC可以用于捕获源系统中的变更并将其应用到目标系统中，实现数据的平滑迁移和集成。 实时数据同步：在多个应用程序或系统之间需要实时数据同步的情况下，可以使用CDC技术捕获和传输数据变更，确保所有系统中 ...

1. 背景目前大部分的项目都是读多写少，在读取数据时经常会使用Redis缓存技术来加快读响应时间和减少服务数据库压力，在使用缓存时，会面临一个问题，如何保障缓存与数据库的数据一致。 2. 缓存更新策略常见的缓存更新策略 Cache Aside 旁路策略 Read/Write Through 读写穿透策略 Write Behind 又叫Write Back 异步写入策略 Refresh Ahead 预加载策略 CDC 监听数据变更来更新缓存 2.1 Cache Aside 旁路策略 最常见的缓存模型，在该策略中，缓存不是数据存储流程中的必需环节，而是位于数据库旁边作为性能优化手段 读取数据，如果缓存中存在，直接返回缓存中的数据，如果不存在从数据库查询，并将数据放在缓存中 更新数据，首先更新数据库，再删除缓存 这种方案在并发场景下可能会出现数据不一致的情况，比如A线程查询缓存没数据，查数据库结果为1，但还没设置到缓存，B线程更新数据库结果为2，并删除缓存，这时候A线程再去设置了查询到的结果1，这样数据就不一致了，或者应用程序在删除缓存时没有成功，也会出现不一致的情况，这些概 ...