这里通过gradio来生成1个图文理解的界面,通过上传一张图片,则生成相应文本描述,即望图生义。
import gradiodef summarize(raw_image):model = xxxx()inputs = model.generate(raw_image)return tokenizer.decode(inputs)demo = gradio.Interface(fn=summarize,title="望图生义",inputs=[gradio.Image(label="上传图片",type="pil")],outputs=[gradio.Textbox(label="描述")])
demo.launch()
界面比较简单,输入是图片,输出为文本框。
下面是相应几张的效果图:
