PyTochでVGG16の中間層を取得する方法

投稿日：2020/09/12

PyTorchでVGG16の中間層を取得しました。PyTochではVGG16などの学習済みのモデルがいくつか用意されているのでそれを有効活用しました。結論から書くと下記のようにすれば取得できると思います。内容を取得するときはforwardにつけた引数に取得したいレイヤーの添え字を入れればそこが返ってきます。元から用意されているVGG16のモデルで転移学習やファインチューニングしてtorch.saveで保存したモデルもこのmyVgg16モデルで読めたので内容的には問題ないと思います。(中で同じモデルが使われているので当たり前ですが)

import torch
import torch.nn as nn
from torchvision.models import vgg16
from collections import namedtuple

class myVgg16(torch.nn.Module):
    def __init__(self):
        super(myVgg16, self).__init__()
        model = vgg16(pretrained=True)
        self.features = model.features
        self.avgpool = model.avgpool
        self.classifier = model.classifier

    def forward(self, x, layernum, lastnum):
        results = []
        for i, model in enumerate(self.features):
            x = model(x)
            if i==layernum:
                results.append(x)
        x = self.avgpool(x)
        x = torch.flatten(x)
        for ii, model in enumerate(self.classifier):
            x = model(x)
            if ii==lastnum:
                results.append(x)
        return results

VGG16の層をevalすると下記が出力されるため、それをそのまま実装しても作成することはできます。
一応中身確認するとfeaturesとavgpool、classifierが続いているのでこれを順に走らせればよさそうというのはわかると思います。ただし、classifierの手前でflattenするのを忘れるとエラーがでるので注意してください。

VGG(
(features): Sequential(
(0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(1): ReLU(inplace)
(2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(3): ReLU(inplace)
(4): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(5): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(6): ReLU(inplace)
(7): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(8): ReLU(inplace)
(9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(10): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(11): ReLU(inplace)
(12): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(13): ReLU(inplace)
(14): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(15): ReLU(inplace)
(16): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(17): Conv2d(256, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(18): ReLU(inplace)
(19): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(20): ReLU(inplace)
(21): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(22): ReLU(inplace)
(23): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(24): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(25): ReLU(inplace)
(26): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(27): ReLU(inplace)
(28): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(29): ReLU(inplace)
(30): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
)
(avgpool): AdaptiveAvgPool2d(output_size=(7, 7))
(classifier): Sequential(
(0): Linear(in_features=25088, out_features=4096, bias=True)
(1): ReLU(inplace)
(2): Dropout(p=0.5)
(3): Linear(in_features=4096, out_features=4096, bias=True)
(4): ReLU(inplace)
(5): Dropout(p=0.5)
(6): Linear(in_features=4096, out_features=1000, bias=True)
)
)