dlscore.tex

   1 %% -*- mode: latex; mode: reftex; mode: flyspell; coding: utf-8; tex-command: "pdflatex.sh" -*-
   2
   3 \documentclass[11pt,a4paper,twocolumn,twoside]{article}
   4 \usepackage[a4paper,top=2cm,bottom=2cm,left=2.5cm,right=2.5cm]{geometry}
   5 \usepackage[utf8]{inputenc}
   6 \usepackage{cmbright}
   7
   8 \begin{document}
   9
  10 \noindent One point per item if you know precisely the meaning of the
  11 listed word(s)
  12
  13 \section{Machine Learning}
  14
  15 \begin{enumerate}
  16
  17   \item VC dimension
  18   \item over-fitting, under-fitting
  19   \item logistic regression
  20   \item Q-value
  21   \item kernel trick
  22   \item boosting
  23   \item feature design
  24   \item linear regression
  25   \item expectation-maximization, GMM
  26   \item SVM
  27   \item Bellman equation
  28   \item decision tree
  29   \item train/validation/test sets
  30   \item naive Bayesian model
  31   \item autoregressive model
  32   \item bias-variance dilemma
  33   \item policy gradient
  34   \item random forest
  35   \item k-NN
  36   \item perceptron algorithm
  37
  38 \end{enumerate}
  39
  40
  41 \section{Deep-Learning}
  42
  43 \begin{enumerate}
  44
  45   \item Adam
  46   \item softmax
  47   \item residual connections
  48   \item autograd
  49   \item ReLU
  50   \item dropout
  51   \item CLIP
  52   \item Xavier's initialization
  53   \item Vanishing gradient
  54   \item LeNet
  55   \item ViT
  56   \item transposed convolution layer
  57   \item checkpoint (during the forward pass)
  58   \item minibatch
  59   \item masked model
  60   \item supervised / unsupervised
  61   \item data augmentation
  62   \item attention block
  63   \item SGD
  64   \item batchnorm
  65   \item gradient clipping
  66   \item tokenizer
  67   \item VAE
  68   \item weight decay
  69   \item GELU
  70   \item LSTM, GRU
  71   \item GAN
  72   \item resnet
  73   \item straight-through estimator
  74   \item convolution layer
  75   \item pre-training / fine-tuning
  76   \item perplexity
  77   \item logits
  78   \item cls token
  79   \item forward pass
  80   \item Transformer (original one), GPT
  81   \item backward pass
  82   \item autoencoder, denoising autoencoder
  83   \item layer norm
  84   \item GNN
  85   \item diffusion model
  86   \item cross-entropy
  87   \item max pooling, average pooling
  88   \item RNN
  89   \item contrastive loss
  90   \item positional encoding
  91   \item causal model
  92   \item attention layer
  93   \item SSL
  94   \item MSE
  95   \item tensor
  96
  97 \end{enumerate}
  98
  99 \section{Math}
 100
 101 \begin{enumerate}
 102
 103   \item Hessian
 104   \item random variable
 105   \item matrix
 106   \item entropy, mutual information
 107   \item dot product
 108   \item mean, variance
 109   \item L2 norm
 110   \item chain rule (differentiation)
 111   \item Fourier transform
 112   \item continuity, Lipschitz continuity
 113   \item chain rule (probability)
 114   \item polynomial
 115   \item Cantor's diagonal argument
 116   \item Jacobian
 117   \item linear operator
 118   \item gradient
 119   \item Bayes' thorem
 120   \item vector
 121   \item joint law, product law
 122   \item Gaussian distribution
 123   \item distribution
 124   \item determinant, rank
 125   \item eigen-decomposition, svd
 126   \item maximum likelihood
 127   \item Central Limit Theorem
 128
 129 \end{enumerate}
 130
 131 \section{Computer Science}
 132
 133 \begin{enumerate}
 134
 135   \item polymorphism
 136   \item recursion
 137   \item value passed by reference
 138   \item binary search
 139   \item quick sort
 140   \item parallel scan
 141   \item mutability
 142   \item Turing machine
 143   \item FP32
 144   \item iterator
 145   \item interpreter, compiler
 146   \item anonymous function
 147   \item set
 148   \item binary heap
 149   \item mutex
 150   \item cache memory
 151   \item scope of a variable or function
 152   \item dynamic programming
 153   \item hash table
 154   \item big-O notation
 155   \item Turing complete
 156   \item class inheritance
 157   \item closure
 158   \item loop unrolling
 159   \item complexity
 160
 161 \end{enumerate}
 162
 163 \end{document}