return x
######################################################################
+
+if __name__ == '__main__':
+ vocabulary_size = 10
+ x = torch.randint(vocabulary_size, (25, 100))
+
+ model = MyGPT(
+ vocabulary_size = vocabulary_size,
+ dim_model = 16, dim_keys = 50, dim_hidden = 100,
+ nb_heads = 2, nb_blocks = 3,
+ dropout = 0.1
+ )
+
+ y = model(x)
+
+######################################################################