https://www.cnblogs.com/mingupupu/p/18654982
AIModelRouter
AI模型路由，模型的能力有大小之分，有些简单任务，能力小一点的模型也能很好地完成，而有些比较难的或者希望模型做得更好的，则可以选择能力强的模型。为什么要这样做呢？可以降低AI模型的使用成本，毕竟能力强的模型会更贵一点，省着用挺好的。
Semantic Kernel中可以很简便地使用一个AIModelRouter。
实践
先来一个简单的例子
来自https://github.com/microsoft/semantic-kernel/tree/main/dotnet/samples/Demos/AIModelRouter
新建一个CustomRouter类，如下所示：
internal sealed class CustomRouter()
{internal string GetService(string lookupPrompt, List<string> serviceIds){// The order matters, if the keyword is not found, the first one is used.foreach (var serviceId in serviceIds){if (Contains(lookupPrompt, serviceId)){return serviceId;}}return serviceIds[0];}// Ensure compatibility with both netstandard2.0 and net8.0 by using IndexOf instead of Containsprivate static bool Contains(string prompt, string pattern)=> prompt.IndexOf(pattern, StringComparison.CurrentCultureIgnoreCase) >= 0;
}
新建一个SelectedServiceFilter类用于打印一些信息：
internal sealed class SelectedServiceFilter : IPromptRenderFilter{/// <inheritdoc/>public Task OnPromptRenderAsync(PromptRenderContext context, Func<PromptRenderContext, Task> next){Console.ForegroundColor = ConsoleColor.Yellow;Console.WriteLine($"Selected service id: '{context.Arguments.ExecutionSettings?.FirstOrDefault().Key}'");Console.ForegroundColor = ConsoleColor.White;Console.Write("Assistant > ");return next(context);}}
使用多个模型：
为捕获路由器选择的服务 ID 添加自定义过滤器：
开启一个聊天循环：
Console.ForegroundColor = ConsoleColor.White;ChatHistory history = [];string history1 = string.Empty;bool isComplete = false;do{Console.WriteLine();Console.Write("> ");string? input = Console.ReadLine();if (string.IsNullOrWhiteSpace(input)){continue;}if (input.Trim().Equals("EXIT", StringComparison.OrdinalIgnoreCase)){isComplete = true;break;}if (input.Trim().Equals("Clear", StringComparison.OrdinalIgnoreCase)){history.Clear();history1 = " ";Console.WriteLine("已清除聊天记录");continue;}history.Add(new ChatMessageContent(AuthorRole.User, input));history1 += $"User:{input}\n";Console.WriteLine();// Find the best service to use based on the user's inputKernelArguments arguments = new(new PromptExecutionSettings(){ServiceId = router.GetService(input, serviceIds).Result,FunctionChoiceBehavior = FunctionChoiceBehavior.Auto()});// Invoke the prompt and print the response//await foreach (var chatChunk in kernel.InvokePromptStreamingAsync(userMessage, arguments).ConfigureAwait(false))//{// Console.Write(chatChunk);//}var result = await kernel.InvokePromptAsync(history1, arguments).ConfigureAwait(false);Console.ForegroundColor = ConsoleColor.White;Console.WriteLine(result);Console.WriteLine();// Add the message from the agent to the chat historyhistory.AddMessage(AuthorRole.Assistant, result.ToString());history1 += $"Assistant:{result}\n";} while (!isComplete);}
}
来看看现在这个简单的路由规则：
当你的提问中包含一个ServiceId的时候，就会选择那个服务ID对应的模型进行回复，如果不包含就选择第一个服务ID对应的模型进行回复。
实际上这样使用，很容易让AI迷惑，因为我们总是要带上一个ServiceId，如果让AI根据用户的提问，自己决定用哪个模型是更好的。
进阶使用，用AI自己来决定
使用一个靠谱的AI模型来做这个事情比较好。
我们输入你好，那么Prompt就会变成这样：
AI返回的结果如下：
再试试其他几个怎么触发：
而工具调用与其他比较容易混淆，因为就算是我们自己，也很难分辨有什么区别：
这时候或许修改Prompt可以奏效。
修改后的Prompt如下：
string skPrompt = """根据用户的输入，返回最佳服务ID。如果用户需要获取当前时间与写邮件，则选择工具调用相关的服务ID。用户输入：{{$input}}服务ID列表：{{$serviceIds}}无需返回任何其他内容，只需返回服务ID。 """;
效果如下所示：
以上就是本次分享的全部内容，希望对你有所帮助。
