4fec2582ceb8635f34a69ab24f651b240ee67e83
[profiler-torch.git] / profiler.lua
1
2 --[[
3
4    Written by Francois Fleuret (francois@fleuret.org)
5
6    This is free and unencumbered software released into the public
7    domain.
8
9    Anyone is free to copy, modify, publish, use, compile, sell, or
10    distribute this software, either in source code form or as a
11    compiled binary, for any purpose, commercial or non-commercial, and
12    by any means.
13
14    In jurisdictions that recognize copyright laws, the author or
15    authors of this software dedicate any and all copyright interest in
16    the software to the public domain. We make this dedication for the
17    benefit of the public at large and to the detriment of our heirs
18    and successors. We intend this dedication to be an overt act of
19    relinquishment in perpetuity of all present and future rights to
20    this software under copyright law.
21
22    THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
23    EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
24    MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
25    NONINFRINGEMENT.  IN NO EVENT SHALL THE AUTHORS BE LIABLE FOR ANY
26    CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF
27    CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
28    WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
29
30    For more information, please refer to <http://unlicense.org/>
31
32 ]]--
33
34 require 'torch'
35 require 'nn'
36 require 'sys'
37
38 profiler = {}
39
40 profiler.color = true
41
42 profiler.colors = function(name)
43    if profiler.color then
44       return sys.COLORS[name]
45    else
46       return ''
47    end
48 end
49
50 function profiler.decorate(model, functionsToDecorate)
51
52    local functionsToDecorate = functionsToDecorate or
53       {
54          'updateOutput',
55          'backward'
56       }
57
58    for _, name in pairs(functionsToDecorate) do
59       model.accTime = {}
60
61       local nameOrig = name .. '__orig'
62
63       -- We decorate the class and not the object, otherwise we cannot
64       -- save models anymore.
65
66       if rawget(model, name) then
67          error('We decorate the class, not the objects, and there is a `'
68                   .. name
69                   .. '\' function in '
70                   .. tostring(model))
71       end
72
73       local toDecorate = getmetatable(model)
74
75       if toDecorate[name] and not toDecorate[nameOrig] then
76          toDecorate[nameOrig] = toDecorate[name]
77          toDecorate[name] = function(self, ...)
78             local startTime = sys.clock()
79             local result = { self[nameOrig](self, unpack({...})) }
80             local endTime = sys.clock()
81             self.accTime[name] = (self.accTime[name] or 0) + endTime - startTime
82             return unpack(result)
83          end
84       end
85
86    end
87
88    if torch.isTypeOf(model, nn.Container) then
89       for _, m in ipairs(model.modules) do
90          profiler.decorate(m, functionsToDecorate)
91       end
92    end
93
94 end
95
96 function profiler.timing(l, t, nbSamples, totalTime)
97    local s
98
99    s = string.format('%s %.02fs %s[%.02f%%]',
100                      l, t,
101                      profiler.colors('blue'),
102                      100 * t / totalTime
103    )
104
105    if nbSamples then
106       s = s .. string.format(profiler.colors('green') .. ' (%.01fmus/sample)', 1e6 * t / nbSamples)
107    end
108
109    s = s .. profiler.colors('black')
110
111    return s
112 end
113
114 function profiler.print(model, nbSamples, totalTime, indent)
115    local indent = indent or ''
116    local hint
117
118    local localTotal = 0
119    for _, t in pairs(model.accTime) do
120       localTotal = localTotal + t
121    end
122
123    totalTime = totalTime or localTotal
124
125    if torch.isTypeOf(model, nn.Container) then
126       hint = ' '
127    else
128       if profiler.color then
129          hint = ' '
130       else
131          hint = '*'
132       end
133       hint = hint .. profiler.colors('red')
134    end
135
136    print(profiler.timing(indent .. hint .. ' ' .. model.__typename,
137                          localTotal, nbSamples, totalTime))
138
139    for l, t in pairs(model.accTime) do
140       print(profiler.timing(indent .. '  :' .. l, t, nbSamples, totalTime))
141    end
142
143    print()
144
145    if torch.isTypeOf(model, nn.Container) then
146       for _, m in ipairs(model.modules) do
147          profiler.print(m, nbSamples, totalTime, indent .. '  ')
148       end
149    end
150 end
151
152 return profiler