Intel/dpt-large-Hugging Face

密集预测变压器（DPT、模型是在140万张图像上进行单目深度估计训练的。它是由Ranftl等人在2021年的论文“用于密集预测的视觉变压器”中介绍的，并首次在此存储库中发布。DPT使用视觉变压器（ViT、作为骨干，并在其上方添加了一个颈部+头部，用于单目深度估计。

模型是由Hugging Face团队和英特尔联合编写的。
以下是如何在图像上使用此模型进行零样本深度估计的方法：

<br /> from transformers import DPTImageProcessor, DPTForDepthEstimation<br /> import torch<br /> import numpy as np<br /> from PIL import Image<br /> import requests

</p> <p>url = "http://images.cocodataset.org/val2017/000000039769.jpg"<br /> image = Image.open(requests.get(url, stream=True).raw)</p> <p>processor = DPTImageProcessor.from_pretrained("Intel/dpt-large")<br /> model = DPTForDepthEstimation.from_pretrained("Intel/dpt-large")</p> <p># prepare image for the model<br /> inputs = processor(images=image, return_tensors="pt")</p> <p>with torch.no_grad():<br /> outputs = model(**inputs)<br /> predicted_depth = outputs.predicted_depth</p> <p># interpolate to original size<br /> prediction = torch.nn.functional.interpolate(<br /> predicted_depth.unsqueeze(1),<br /> size=image.size[::-1],<br /> mode="bicubic",<br /> align_corners=False,<br /> )</p> <p>

# visualize the prediction<br /> output = prediction.squeeze().cpu().numpy()<br /> formatted = (output * 255 / np.max(output)).astype("uint8")<br /> depth = Image.fromarray(formatted)<br />