大模型查找文本相似性系统开发

有一个产品明细表,数据10万条,带价格,现在有一个1000条产品的表格,需要到10万条数据里面找最相似的,并将价格列出来,同一产品名称不同,比如数据库里有大竹杆,大扫把,竹扫把1.9米,大扫帚等,我们查的产品可能是芨芨草扫把,需要从里面找到最相似的,我们现在的做法是系统一个字符一个字符去比对,找到比对上最多的,列出来,人工判定,今天通过大模型比对了一些案例,感觉效果很好,

主要体现在:1、分词很好,能找出一条数据里面的关键词,能识别规格型号,材质、工艺、品牌等等,都能识别出来;

2、有逻辑,比如,烧杯有50ml、100ml、500ml,能找到最接近的;

3、能根据逻辑判断哪个最相似,我们可以设定一个简单的评分系统,其中每个匹配的特征得到一定的分数,不匹配的特征得0分。假设满分为3分(每项1分),

我们可以这样计算:1.关键名词:烧杯与高型烧杯在功能上相似,但高型烧杯更具体,考虑到这一点,我们可以给“烧杯”与“高型烧杯”之间相似度评分为0.5分(因为高型烧杯是烧杯的一种,但不是所有烧杯都是高型的)。

2.3.材质:“玻璃”在第一个描述中出现,而在后两个描述中未提及。但由于烧杯通常默认为玻璃材质,我们可以假设相似度为1分,除非有相反的证据。

4.5.规格尺寸:容量不同,这意味着在这一项上没有相似性,得分为0分。

6.基于以上,我们可以计算两两之间的相似度得分:玻璃烧杯/100ml 与 高型烧杯|50mlo名称相似度 = 0.5分o材质相似度 = 1分o规格尺寸相似度 = 0分o总相似度 = 1.5分玻璃烧杯/100ml 与 高型烧杯|3000mlo名称相似度 = 0.5分o材质相似度 = 1分o规格尺寸相似度 = 0分o总相似度 = 1.5分高型烧杯|50ml 与 高型烧杯|3000mlo名称相似度 = 1分(因为两者都是高型烧杯)o材质相似度 = 1分(假设两者都是玻璃材质)o规格尺寸相似度 = 0分o总相似度 = 2分如果将总分3分视为完全相同,那么可以认为:“玻璃烧杯/100ml”与另外两种烧杯的相似度为50%(1.5/3)。“高型烧杯|50ml”与“高型烧杯|3000ml”的相似度为66.67%(2/3)。但是,大模型只能一个一个去问,如果我有一个数据库,存了10万条数据,现在有1000条数据去一条一条找10万条数据里面最相似的,有人能做吗,能做的联系我,价格面议

途傲科技为中小企业提供网站制作、网站建设、微信H5、微信小程序,多商户平台,多级分销系统,APP开发,手机网站,HTML5多端自适应网站,营销型企业站建设,及对技术人才的培养等都积累与沉淀了丰富的心得和实战经验。

如果您想定制同款软件,可以将需求提交给我们【免费提交需求,获取解决方案】

免责声明:文章部分内容收集于互联网,不代表本站的观点和立场,如有侵权请联系删除。

在线客服
途傲科技
快速发布需求,坐等商家报价
2024-11-23 03:45:55
您好!欢迎来到途傲科技。我们为企业提供数字化转型方案,可提供软件定制开发、APP开发(Android/iOS/HarmonyOS)、微信相关开发、ERP/OA/CRM开发、数字孪生BIM/GIS开发等。为了节省您的时间,您可以留下姓名,手机号(或微信号),产品经理稍后联系您,免费帮您出方案和预算! 全国咨询专线:18678836968(同微信号)。
🔥线🔥
您的留言我们已经收到,现在添加运营微信,我们将会尽快跟您联系!
[运营电话]
18678836968
取消

选择聊天工具: