新一代AI搜索引擎和传统搜索引擎不同,它不再通过关键字密度和PageRank排序,而是通过混合检索和语义排序,为大模型提供最需要的内容。
第一阶段,进行向量+关键词两路混合检索。通过向量关联,直接匹配用户意图,然后通过关键字搜索解决部分直接匹配的需求,之后召回结果进行第一次排序。在这一层中,搜索引擎会沿用谷歌的EEAT原则(专业性、经验、权威性、可信度),对信息源的权威性、原创性、逻辑性等进行评分,增加内容源的排序权重分。
第二阶段,通过Semantic Reranker(语义重排器)进行语义排序。基于用户问题与搜索结果的语义相关性进行评分,并作为最终结果输出给相关AI应用中的大模型。由于Semantic Reranker与大模型都是基于Transformer架构,语义排序后的结果会更受大模型的“喜欢”,更加符合大模型生成内容的需要。
本文来自投稿,不代表本站立场,如若转载,请注明出处:https://firsource.cn/web/2110.html