澄海建设局网站上不了廊坊酒店网站建设

澄海建设局网站上不了,廊坊酒店网站建设,app开发网上app开发,做直播网站要哪些技术主流的数据模型 —— 从 JSON、XML、时序、空间#xff0c;到图数据、区块链#xff0c;再到如今最火的向量数据与 AI。利用 Oracle APEX#xff0c;可以更简单、高效地展示数据库的多模能力。本文将通过一个 简明示例#xff0c;演示如何使用 APEX 程序 直观地体验向量近似…主流的数据模型 —— 从 JSON、XML、时序、空间到图数据、区块链再到如今最火的向量数据与 AI。利用 Oracle APEX可以更简单、高效地展示数据库的多模能力。本文将通过一个 简明示例演示如何使用 APEX 程序 直观地体验向量近似检索Approximate Nearest Neighbor, ANN 的能力从而让多模数据的操作与查询可视化、易上手。APEX实现功能文本内容的近似最近邻检索ANN 功能。1.库内Embedding模型准备2.APEX简明示例3.其他细节信息参考1.库内Embedding模型准备我们知道Oracle 23ai数据库原生支持向量数据类型的存储可以支持直接在任意数据库表对象上增加一个或多个vector数据类型的列专门用于存储向量数据格式。具体如何存储向量化的数据呢首先我们需要一个Embedding模型可以对指定的内容向量化然后将向量化后的结果直接存储到vector数据类型的字段中如果还没有Embedding模型可用不必折腾Oracle本身支持库内加载onnx模型具体可以参考之前文章《曾经风光无限的 Oracle DBA 已经落伍了吗》中提到过的方法唯一需要注意当时是直接使用了官方文档介绍的all_MiniLM_L12_v2.onnx模型这里笔者实际测试发现其对中文的匹配效果并不理想所以换用另一个Embedding模型bge-base-zh-v1.5.onnx为了方便大家动手操作这里贴出导入此模型的关键步骤--删除模型可选exec DBMS_VECTOR.DROP_ONNX_MODEL(model_name BGE_BASE, force true);--加载导入模型BEGINDBMS_VECTOR.LOAD_ONNX_MODEL(directory DM_DUMP,file_name bge-base-zh-v1.5.onnx,model_name BGE_BASE,metadata JSON({function : embedding, embeddingOutput : embedding, input: {input: [DATA]}}));END;/--查询导入的EMBEDDING模型select model_name, algorithm, mining_function from user_mining_models where model_nameBGE_BASE;--测试EMBEDDING模型可用可以正常返回向量化结果SELECT VECTOR_EMBEDDING(BGE_BASE USING Hi, Alfred as DATA) AS embedding;2.APEX简明示例随便找一张表对其中任意一个想做近似检索的文本列字段针对该表增加一个向量列。然后使用上一步配置好的库内Embedding模型进行向量化处理。我这里就以之前的Demo为基础针对t_history表中 content列的内容进行向量化结果存储到表中列v中数据类型是vector。关键步骤--1.向量字段存储向量化后的内容只是测试下模型可用UPDATE t_historySET v VECTOR_EMBEDDING(BGE_BASE USING content AS DATA)where username test;--2.分批处理更新向量字段存储向量化后的内容可配置到APEX页面中前台调用DECLARECURSOR c_history ISSELECT rowid AS rid, contentFROM t_historyWHERE content is not nulland (v IS NULL or v_needs_update1); -- 只处理未向量化和需要更新向量化的行BEGINFOR r IN c_history LOOPUPDATE t_historySET v VECTOR_EMBEDDING(BGE_BASE USING r.content AS DATA)WHERE rowid r.rid;END LOOP;COMMIT;END;/--3.APEX可以通过报表直观展现近似检索功能SELECT type, week, day, history_date, contentFROM t_historywhere username :APP_USERORDER BY VECTOR_DISTANCE(v, VECTOR_EMBEDDING(BGE_BASE USING :P7_SEARCH_TEXT AS DATA))FETCH APPROX FIRST 5 ROWS ONLY;APEX近似检索效果这里首先我在表中的content列中初始化了一些测试数据比如针对爱情、开发等主题模拟用户日常操作录入一些与主题相关的内容不知道该具体输入啥内容的同学可以直接让LLM帮你生成哈。然后我们到APEX页面上进行检索测试。输入爱情点击搜索就可以从该用户历史记录过的所有内容中检索到它认为向量近似的前5个结果列出来可以看到结果都与爱情相关但未必都包含爱情关键字比如第5条结果描述的单恋场景同样如果输入开发点击搜索结果就是这样很多结果并没有开发关键字但表述其实都跟软件开发这个主题密不可分这也是向量近似检索的魅力所在历史传统数据库无论是进行精确或模糊搜索都只能基于关键字匹配但如今向量的近似检索使其可以直接依据语义进行搜索。3.其他细节信息参考前面已经展示了实际效果达成了目标本节主要补充一些信息方便读者更好地理解实现细节。我这里在对t_history表处理的过程中针对向量列的判断里有写到(v IS NULL or v_needs_update1); -- 只处理未向量化和需要更新向量化的行还特别注释说明了下这是因为最初我只处理了未向量化的内容但是我实际在录入文本内容时存在更新原内容的需求。而原内容因为已经做过向量化向量部分不会更新所以搜索会遇到问题因此需要fix这个更新场景的bug增加一列并加入到对应的逻辑判断中--fix更新bugALTER TABLE t_history ADD v_needs_update NUMBER(1) DEFAULT 0;这样当发现有录入或更新内容都可以做到能提示最终用户需要处理新内容。比如用户想近似检索人工智能相关的内容下面红色数字就表示表中数据存在更新内容但还未向量化的情况检索结果可能存在不准确的情况这个例子就是如此除了第一条记录其他和人工智能其实关系并不大此时用户可以手工点击向量化将最新更新的一些内容向量化再次检索发现除了第一条结果其他已经不一样了说明新的内容这里可以通过History Date列快速识别确实存在一些比历史数据更匹配人工智能主题的结果也许看到这里有读者会有疑问为何不直接设计在更新内容时直接就向量化呢嗯其实也不是不可以看应用要求只是我这里这样设计更符合演示要求而已。同时也为了能让大家直观看到近似检索实际上检索结果就是distance的排名如果要求展示的记录数本身数据集中就没有足够数量匹配的也会检索出来一些不太相干的内容。此外如果数据量较大基于性能考量建议创建HNSWHierarchical Navigable Small World类型的向量索引同时注意Top-K两种写法差异--4.创建HNSW索引create vector index t_history_hnsw_idx on t_history(v)organization inmemory neighbor graphdistance COSINEwith target accuracy 95;--精确 Top-KSELECT type, week, day, history_date, contentFROM t_historyORDER BY VECTOR_DISTANCE(v, VECTOR_EMBEDDING(BGE_BASE USING 爱情 AS DATA))FETCH FIRST 5 ROWS ONLY;--近似 Top-K增加了APPROX关键字SELECT type, week, day, history_date, contentFROM t_historyORDER BY VECTOR_DISTANCE(v, VECTOR_EMBEDDING(BGE_BASE USING 爱情 AS DATA))FETCH APPROX FIRST 5 ROWS ONLY;