1. 说明最轻模式本地部署方案,该模式的配置方式与常规模式相同,但无需安装 torch 等重依赖,通过在线API实现 LLM 和 Ebeddings 相关功能,适合没有显卡的电脑使用。
参考文档:开发环境部署参数配置
2. 步骤2.1 下载代码从Github拉取代码:https://github.com/chatchat-space/Langchain-Chatchat.git
2.2 修改访问http://127.0.0.1:8501/
问题记录No module named ‘configs.basic_config’运行报错:ModuleNotFoundError: No module named ‘configs.basic_config’执行:python copy_config_example.py
No module named ‘pwd’执行python startup.py -a –lite报错:
12345678910111213(Langchain-Chatchat) PS D:\code\source\Langchain-Chatchat> python ...
1. 📃简介LangChain-Chatchat是基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现,开源、可离线部署的检索增强生成(RAG)大模型知识库项目。可以实现的基于本地知识库的问答应用,目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。🌐Github:https://github.com/chatchat-space/Langchain-Chatchat
2. 🚀快速部署体验LangChain-Chatchat支持AutoDL镜像一键部署,非常方便,镜像地址:https://www.codewithgpu.com/i/chatchat-space/Langchain-Chatchat/Langchain-Chatchat
2.1 注册autodl账号AutoDL是一个GPU租用平台,提供稳定可靠、价格公道的GPU算力🌐官网:https://www.autodl.com/
注册账号后,进行充值。计费方式:服务器开机开始计费,关机结束计费,可以支持无卡开机,费用更低
2.2 部署镜像打开镜像地址:https://www.c ...
1. 概述FlinkCDC 是一个基于 Apache Flink 流处理引擎的 Change Data Capture(CDC)解决方案。CDC 是一种用于捕获数据库变更并将其实时传递到其他系统的技术。FlinkCDC 构建在 Apache Flink 流处理框架之上,利用其分布式、高性能、容错的特性来实现数据变更的捕获和处理。
Github地址:https://github.com/apache/flink-cdc文档地址:https://apache.github.io/flink-cdc/master/index.html
2. 连接器FlinkCDC连接器指的是Flink的一种用于连接到变更数据捕获(CDC)源的插件或组件,CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力。当前FlinkCDC 3.x的版本支持的连接器
Connector
Database
Driver
mongodb-cdc
MongoDB: 3.6, 4.x, 5.0
MongoDB Driver: 4.3.4
mysq ...
1. 什么是CDCCDC是Change Data Capture的缩写,中文翻译数据变更捕获,它是一种用于数据管理和数据集成的技术,主要用于将源系统中发生的数据变更捕获并传播到目标系统中。这种技术允许实时地捕获和传输数据库中的变化,从而确保目标系统与源系统中的数据保持同步。使用场景:
实时数据仓库更新:CDC可以用于将数据库中发生的变更实时地同步到数据仓库中,以支持实时报表、分析和业务智能应用程序。
数据复制:在跨数据中心或跨地理位置的情况下,可以使用CDC技术实时复制数据,确保所有位置的数据保持同步。
实时分析:对于需要在数据更新时立即进行实时分析的场景,如在线广告投放、欺诈检测等,CDC可以捕获数据变更并将其传送到分析系统中。
数据备份和恢复:CDC可以用于实时备份生产数据库,并在需要时将变更应用到备份数据库中,以实现快速的数据恢复。
数据集成和数据迁移:在数据迁移或系统集成过程中,CDC可以用于捕获源系统中的变更并将其应用到目标系统中,实现数据的平滑迁移和集成。
实时数据同步:在多个应用程序或系统之间需要实时数据同步的情况下,可以使用CDC技术捕获和传输数据变更,确保所有系统中 ...
1. 背景目前大部分的项目都是读多写少,在读取数据时经常会使用Redis缓存技术来加快读响应时间和减少服务数据库压力,在使用缓存时,会面临一个问题,如何保障缓存与数据库的数据一致。
2. 缓存更新策略常见的缓存更新策略
Cache Aside 旁路策略
Read/Write Through 读写穿透策略
Write Behind 又叫Write Back 异步写入策略
Refresh Ahead 预加载策略
CDC 监听数据变更来更新缓存
2.1 Cache Aside 旁路策略
最常见的缓存模型,在该策略中,缓存不是数据存储流程中的必需环节,而是位于数据库旁边作为性能优化手段
读取数据,如果缓存中存在,直接返回缓存中的数据,如果不存在从数据库查询,并将数据放在缓存中
更新数据,首先更新数据库,再删除缓存
这种方案在并发场景下可能会出现数据不一致的情况,比如A线程查询缓存没数据,查数据库结果为1,但还没设置到缓存,B线程更新数据库结果为2,并删除缓存,这时候A线程再去设置了查询到的结果1,这样数据就不一致了,或者应用程序在删除缓存时没有成功,也会出现不一致的情况,这些概 ...
1. 简介Obsidian是一个使用Markdown语法的笔记软件。官网:https://obsidian.md/
2. 插件2.1 ExcalidrawExcalidraw手写体画图工具插件,可以自定义字体,可以将Excalidraw的原文件和笔记放在一起,方便修改
2.2 Minimal Theme Settings可以设置字体大小,行高等,可以设置彩色编辑器,当前版本会和Editor Width Slider插件冲突,所以目前只用到了字体设置
2.3 Editor Width Slider可以自定义编辑器的宽度,方便预览演示
2.4 Colored Text可以自定义设置笔记字体颜色
2.5 Highlightr标记笔记文本,可以给笔记文本加上带颜色的背景
2.6 Custom Attachment Location可以设置笔记中的附件所在的文件夹,类似typora的功能,在写hexo笔记时,将附件按照笔记名归类比较好用文件设置
2.7 Fast lmage Cleaner可以在图片上右键删除笔记中的图片以及图片原文件
2.7 Blue Topaz + Style Setting ...
1. 简介IntelliJ IDEA是最先进的Java编辑器,丰富的插件官网:https://www.jetbrains.com/zh-cn/idea/下载Ultimate版本
2. 插件推荐2.1 Chinese (Simplified) Language Pack / 中文语言包中文语言包能够为基于 IntelliJ 平台的 IDE 带来完全中文化的界面
2.2 One Dark Theme比较好看的主题设置主题
2.3 Maven Helper方便查看maven的依赖,解决冲突查看pom.xml
2.4 MyBatisXMyBatis插件,可以根据数据库自动生成代码数据库,在需要生成代码的表上设置生成代码的配置
2.5 Translation翻译插件在想要翻译的内容上右键
3. 设置3.1 设置编码
运行pom带provided的项目<scope>provided</scope>勾选支持provided
4. 问题4.1 git比较差异提示“内容仅在行分隔符中有差异”设置新文件:设置 -> 代码样式 -> 行分隔符处理历史文件:选 ...
1. 简介Mermaid 是一个基于 Javascript 的图表工具,通过解析类 Markdown 的文本语法来实现图表的创建和动态修改。Mermaid 诞生的主要目的是让文档的更新能够及时跟上开发进度。
官网:https://mermaid.js.org/在线画图:https://mermaid.live/
2. 流程图1234567891011121314151617181920212223classDiagram note "From Duck till Zebra" Animal <|-- Duck note for Duck "can fly\ncan swim\ncan dive\ncan help in debugging" Animal <|-- Fish Animal <|-- Zebra Animal : +int age Animal : +String gender Animal: +isMammal() Animal: +mate() cla ...
1. PDFJS简介2. 单页面简单示例1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>PDF.js Preview</title> <!-- 加载 PDF.js --> <script src="https://cdnjs.cloudflare.com/ajax/libs/pdf.js/3. ...