Semantic Kernel：图片向量化-编程知识

Semantic Kernel：图片向量化

news/2025/3/4 6:34:47/文章来源:https://www.cnblogs.com/axzxs2001/p/18746101

　　虽然本节与SK无关，但都是基于AI，所以暂且放在这个系统中

　　Azure AI 视觉的多模式嵌入 API 可以将图像和文本转换为向量，也就是一种数字化的表示方式。这种技术可以让我们实现基于向量的图片搜索功能。通过结合这个 API 和 pgvector（PostgreSQL 中的向量库），我们可以让图片变得可搜索，甚至支持用文字来找图片。

使用PostgreSQL作为向量化库
桂素伟，公众号：桂迹Semantic Kernel：使用PostgreSQL作为向量化库

　　多模式嵌入是指把图像转换成可以捕捉其特征和内容的向量。这个向量表示能和文本搜索使用的向量兼容，意味着你可以用图像和文本在同一个“空间”里做搜索匹配。

　　传统的图像搜索通常依赖于从图像中提取的特征，比如标签、标记或图像描述符，再通过这些特征来比较图片相似度。但向量相似性搜索相比传统的关键字搜索有很大优势。它能更好地理解图片和文字的相似性，成为现代内容搜索的关键技术。

下面是用C#实现的实体类和Text和Image向量化方法：

public class VectorResult
{public double[] Vector { get; set; }public string ModelVersion { get; set; }
}

text和iamge向量化方法

async Task<VectorResult> VectorizeText(string text)
{using (var client = new HttpClient()){client.DefaultRequestHeaders.Add("Ocp-Apim-Subscription-Key", subscriptionKey);var requestUrl = endpoint + "computervision/retrieval:vectorizeText?api-version=2024-02-01&model-version=2023-04-15";var content = new StringContent("{\"text\":\"" + text + "\"}");content.Headers.ContentType = new MediaTypeHeaderValue("application/json");var response = await client.PostAsync(requestUrl, content);var result = await response.Content.ReadAsStringAsync();return JsonSerializer.Deserialize<VectorResult>(result, new JsonSerializerOptions { PropertyNameCaseInsensitive = true });}
}
async Task<VectorResult> VectorizeImageAsync(string imageUrl)
{  using (var client = new HttpClient()){        client.DefaultRequestHeaders.Add("Ocp-Apim-Subscription-Key", subscriptionKey);var requestUrl = endpoint + "computervision/retrieval:vectorizeImage?api-version=2024-02-01&model-version=2023-04-15";var content = new StringContent("{\"url\":\"" + imageUrl + "\"}");content.Headers.ContentType = new MediaTypeHeaderValue("application/json");var response = await client.PostAsync(requestUrl, content);var result = await response.Content.ReadAsStringAsync();return JsonSerializer.Deserialize<VectorResult>(result, new JsonSerializerOptions { PropertyNameCaseInsensitive = true });}
}

下面用向量化数据保存和查询对应向量数据：

数据库实体类：

class DataVector
{public int Id { get; set; }public string Name { get; set; } public double[] Embedding { get; set; }
}

向数据写入的方法：

void InsertImageVector(DataVector imageVector)
{using (IDbConnection db = new NpgsqlConnection(File.ReadAllText("C://GPT/just-agi-db.txt"))){string sqlQuery = @"INSERT INTO public.imagevector (name, embedding) VALUES (@Name, @Embedding) RETURNING id;"var parameters = new{Name = imageVector.Name,Embedding = imageVector.Embedding };var id = db.ExecuteScalar<int>(sqlQuery, parameters); imageVector.Id = id; }
}

C#向量余弦相似度查

double GetCosineSimilarity(double[] vector1, double[] vector2)
{double dotProduct = 0;int length = Math.Min(vector1.Length, vector2.Length);for (int i = 0; i < length; i++){dotProduct += vector1[i] * vector2[i];}var magnitude1 = Math.Sqrt(vector1.Select(x => x * x).Sum());var magnitude2 = Math.Sqrt(vector2.Select(x => x * x).Sum());return dotProduct / (magnitude1 * magnitude2);
}

用SQL实现向量余弦相似度查

IEnumerable<QueryVectorResult> QueryImageVector(double[] imageVector)
{using (IDbConnection db = new NpgsqlConnection(File.ReadAllText("C://GPT/just-agi-db.txt"))){string sqlQuery = "select id,name,1-(cast(@embedding as vector) <=> embedding) as result from public.imagevector ";return db.Query<QueryVectorResult>(sqlQuery, new { embedding = imageVector });}
}