dlscore.tex

   1 %% -*- mode: latex; mode: reftex; mode: flyspell; coding: utf-8; tex-command: "pdflatex.sh" -*-
   2
   3 \documentclass[11pt,a4paper,twocolumn,twoside]{article}
   4 \usepackage[a4paper,top=2cm,bottom=2cm,left=2.5cm,right=2.5cm]{geometry}
   5 \usepackage[utf8]{inputenc}
   6 \usepackage{cmbright}
   7
   8 \begin{document}
   9
  10 \noindent One point per item if you know precisely the meaning of the
  11 listed word(s)
  12
  13 \section{Machine Learning}
  14
  15 \begin{enumerate}
  16
  17   \item VC dimension
  18   \item over-fitting, under-fitting
  19   \item logistic regression
  20   \item Q-value
  21   \item kernel trick
  22   \item boosting
  23   \item PCA
  24   \item feature design
  25   \item linear regression
  26   \item expectation-maximization, GMM
  27   \item SVM
  28   \item Bellman equation
  29   \item decision tree
  30   \item train/validation/test sets
  31   \item naive Bayesian model
  32   \item autoregressive model
  33   \item bias-variance dilemma
  34   \item policy gradient
  35   \item random forest
  36   \item k-NN
  37   \item perceptron algorithm
  38
  39 \end{enumerate}
  40
  41
  42 \section{Deep-Learning}
  43
  44 \begin{enumerate}
  45
  46   \item Adam
  47   \item softmax
  48   \item residual connections
  49   \item autograd
  50   \item ReLU
  51   \item dropout
  52   \item CLIP
  53   \item Xavier's initialization
  54   \item Vanishing gradient
  55   \item LeNet
  56   \item ViT
  57   \item transposed convolution layer
  58   \item checkpoint (during the forward pass)
  59   \item minibatch
  60   \item masked model
  61   \item supervised / unsupervised
  62   \item data augmentation
  63   \item attention block
  64   \item SGD
  65   \item batchnorm
  66   \item gradient clipping
  67   \item tokenizer
  68   \item VAE
  69   \item weight decay
  70   \item GELU
  71   \item LSTM, GRU
  72   \item GAN
  73   \item resnet
  74   \item straight-through estimator
  75   \item convolution layer
  76   \item pre-training / fine-tuning
  77   \item perplexity
  78   \item logits
  79   \item cls token
  80   \item forward pass
  81   \item Transformer (original one), GPT
  82   \item backward pass
  83   \item autoencoder, denoising autoencoder
  84   \item layer norm
  85   \item GNN
  86   \item learning rate schedule
  87   \item diffusion model
  88   \item cross-entropy
  89   \item max pooling, average pooling
  90   \item RNN
  91   \item contrastive loss
  92   \item positional encoding
  93   \item causal model
  94   \item attention layer
  95   \item SSL
  96   \item MSE
  97   \item tensor
  98
  99 \end{enumerate}
 100
 101 \section{Math}
 102
 103 \begin{enumerate}
 104
 105   \item Hessian
 106   \item random variable
 107   \item matrix
 108   \item entropy, mutual information
 109   \item dot product
 110   \item mean, variance
 111   \item L2 norm
 112   \item chain rule (differentiation)
 113   \item Fourier transform
 114   \item continuity, Lipschitz continuity
 115   \item chain rule (probability)
 116   \item polynomial
 117   \item Cantor's diagonal argument
 118   \item Jacobian
 119   \item linear operator
 120   \item gradient
 121   \item Bayes' thorem
 122   \item vector
 123   \item joint law, product law
 124   \item Gaussian distribution
 125   \item distribution
 126   \item determinant, rank
 127   \item eigen-decomposition, svd
 128   \item maximum likelihood
 129   \item Central Limit Theorem
 130
 131 \end{enumerate}
 132
 133 \section{Computer Science}
 134
 135 \begin{enumerate}
 136
 137   \item polymorphism
 138   \item recursion
 139   \item value passed by reference
 140   \item binary search
 141   \item quick sort
 142   \item parallel scan
 143   \item mutability
 144   \item Turing machine
 145   \item FP32
 146   \item iterator
 147   \item interpreter, compiler
 148   \item anonymous function
 149   \item set
 150   \item binary heap
 151   \item mutex
 152   \item cache memory
 153   \item scope of a variable or function
 154   \item dynamic programming
 155   \item hash table
 156   \item big-O notation
 157   \item Turing complete
 158   \item class inheritance
 159   \item closure
 160   \item loop unrolling
 161   \item complexity
 162
 163 \end{enumerate}
 164
 165 \end{document}