dlscore.tex

   1 %% -*- mode: latex; mode: reftex; mode: flyspell; coding: utf-8; tex-command: "pdflatex.sh" -*-
   2
   3 \documentclass[11pt,a4paper,twocolumn,twoside]{article}
   4 \usepackage[a4paper,top=2cm,bottom=2cm,left=2.5cm,right=2.5cm]{geometry}
   5 \usepackage[utf8]{inputenc}
   6 \usepackage{cmbright}
   7
   8 \begin{document}
   9
  10 \noindent One point per item if you know precisely the meaning of the
  11 listed word(s)
  12
  13 \section{Machine Learning}
  14
  15 \begin{enumerate}
  16
  17   \item VC dimension
  18   \item over-fitting, under-fitting
  19   \item logistic regression
  20   \item Q-value
  21   \item kernel trick
  22   \item boosting
  23   \item feature design
  24   \item linear regression
  25   \item expectation-maximization, GMM
  26   \item SVM
  27   \item Bellman equation
  28   \item decision tree
  29   \item train/validation/test sets
  30   \item naive Bayesian model
  31   \item autoregressive model
  32   \item bias-variance dilemma
  33   \item policy gradient
  34   \item random forest
  35   \item k-NN
  36   \item perceptron algorithm
  37
  38 \end{enumerate}
  39
  40
  41 \section{Deep-Learning}
  42
  43 \begin{enumerate}
  44
  45   \item Adam
  46   \item softmax
  47   \item residual connections
  48   \item autograd
  49   \item ReLU
  50   \item dropout
  51   \item CLIP
  52   \item Xavier's initialization
  53   \item Vanishing gradient
  54   \item LeNet
  55   \item ViT
  56   \item transposed convolution layer
  57   \item checkpoint (during the forward pass)
  58   \item minibatch
  59   \item masked model
  60   \item supervised / unsupervised
  61   \item data augmentation
  62   \item attention block
  63   \item SGD
  64   \item batchnorm
  65   \item gradient clipping
  66   \item tokenizer
  67   \item VAE
  68   \item weight decay
  69   \item GELU
  70   \item LSTM, GRU
  71   \item GAN
  72   \item resnet
  73   \item straight-through estimator
  74   \item convolution layer
  75   \item pre-training / fine-tuning
  76   \item perplexity
  77   \item logits
  78   \item cls token
  79   \item forward pass
  80   \item Transformer (original one), GPT
  81   \item backward pass
  82   \item autoencoder, denoising autoencoder
  83   \item layer norm
  84   \item GNN
  85   \item learning rate schedule
  86   \item diffusion model
  87   \item cross-entropy
  88   \item max pooling, average pooling
  89   \item RNN
  90   \item contrastive loss
  91   \item positional encoding
  92   \item causal model
  93   \item attention layer
  94   \item SSL
  95   \item MSE
  96   \item tensor
  97
  98 \end{enumerate}
  99
 100 \section{Math}
 101
 102 \begin{enumerate}
 103
 104   \item Hessian
 105   \item random variable
 106   \item matrix
 107   \item entropy, mutual information
 108   \item dot product
 109   \item mean, variance
 110   \item L2 norm
 111   \item chain rule (differentiation)
 112   \item Fourier transform
 113   \item continuity, Lipschitz continuity
 114   \item chain rule (probability)
 115   \item polynomial
 116   \item Cantor's diagonal argument
 117   \item Jacobian
 118   \item linear operator
 119   \item gradient
 120   \item Bayes' thorem
 121   \item vector
 122   \item joint law, product law
 123   \item Gaussian distribution
 124   \item distribution
 125   \item determinant, rank
 126   \item eigen-decomposition, svd
 127   \item maximum likelihood
 128   \item Central Limit Theorem
 129
 130 \end{enumerate}
 131
 132 \section{Computer Science}
 133
 134 \begin{enumerate}
 135
 136   \item polymorphism
 137   \item recursion
 138   \item value passed by reference
 139   \item binary search
 140   \item quick sort
 141   \item parallel scan
 142   \item mutability
 143   \item Turing machine
 144   \item FP32
 145   \item iterator
 146   \item interpreter, compiler
 147   \item anonymous function
 148   \item set
 149   \item binary heap
 150   \item mutex
 151   \item cache memory
 152   \item scope of a variable or function
 153   \item dynamic programming
 154   \item hash table
 155   \item big-O notation
 156   \item Turing complete
 157   \item class inheritance
 158   \item closure
 159   \item loop unrolling
 160   \item complexity
 161
 162 \end{enumerate}
 163
 164 \end{document}