アルゴリズムの計算量を表現する方法として、 $O$ 記法や $\Theta$ 記法、 $\Omega$ 記法があります。
それらの定義と違いについてまとめていきます。

定義

何らかのアルゴリズムの計算量が自然数から自然数への関数 $f(n)$ で表されるとするときそれぞれの定義はこのようになっています $$ O(g(n))=\lbrace f:\mathbb{N} \rightarrow \mathbb{N}|\exists{c}>0\exists{n_0}\forall{n}>n_0[f(n)\leq cg(n)]\rbrace $$ $$ \Theta (g(n))=\lbrace f:\mathbb{N} \rightarrow \mathbb{N}|\exists{c_1}>0\exists{c_2}>0\exists{n_0}\forall{n}>n_0[c_1g(n)\leq f(n)\leq c_2g(n)]\rbrace $$ $$ \Omega (g(n))=\lbrace f:\mathbb{N} \rightarrow \mathbb{N}|\exists{c}>0\exists{n_0}\forall{n}>n_0[cg(n)\leq f(n)]\rbrace $$ ここで、 $f(n)\in O(g(n))$ であるときに、そのアルゴリズムの計算量は $O(g(n))$ であるといいます。 $\Theta$ および $\Omega$ についても同様です。

解説

上の定義をみて「なるほど」ってなった人はここより先は読む必要はありません。

まず、 $\Theta$ について解説していきます。それ以外のものはこれを少し変化したものだからです。 $$ \Theta (g(n))=\lbrace f:\mathbb{N} \rightarrow \mathbb{N}|\exists{c_1}>0\exists{c_2}>0\exists{n_0}\forall{n}>n_0[c_1g(n)\leq f(n)\leq c_2g(n)]\rbrace $$ 定義を再掲しておきます。
まず、 $$ \Theta(g(n))=\lbrace f:\mathbb{N} \rightarrow \mathbb{N}|\cdots \rbrace $$ この部分は、 $\Theta(g(n))$ は $f:\mathbb{N}\rightarrow \mathbb{N}$ (自然数から自然数への関数)からなる集合だといっています。この部分は正直無視してもいいと思います。
|よりも右側ではその関数の条件を指定しています。 $$ \exists{c_0}>0\exists{c_1}>0\exists{n_0}\forall{n}>n_0[c_1g(n)\leq f(n)\leq c_2g(n)] $$ 日本語で表記するなら「 $c_0(>0)$ と $c_1(>0)$ 、 $n_0$ が存在してそれらはすべての $n(>n_0)$ に対して $c_1g(n)\leq f(n)\leq c_2g(n)$ が成立する」というところでしょうか
左側から順に表記しているので日本語と記号の対応関係は探してください
つまり、 $f(n)$ の増加を $g(n)$ の定数倍で挟めるということです
直感的には、計算量が $\Theta(g(n))$ というのは $n$ が大きいとき計算量を $g(n)$ の定数倍でだいたい近似できると思えばいいと思います

$O$ および $\Omega$ については、 $\Theta$ の式から $c_1$ か $c_2$ のどちらかが無いものなので、
$f\in O(g(n))$ であるとき、 $f(n)$ は $n$ が十分大きいとき、 $g(n)$ の定数倍より大きくない
$f\in \Omega(g(n))$ であるとき、 $f(n)$ は $n$ が十分大きいとき、 $g(n)$ の定数倍より小さくない
ということを表すので $O$ は計算量の上限を、 $\Omega$ は計算量の下限を表してるといえます。

上限と下限しか表さないので、計算量が $f(n)=5n^3+2n^2+3n+1$ のとき、この計算量は $O(n^3)$ ですが、 $O(n^5)$ であるともいえます。なんなら $O(n!)$ と書いても間違いではありません。 $\Omega$ についても同様で、 $\Omega(n)$ とか $\Omega(\log n)$ 、 $\Omega(1)$ と書いても間違いではありません。

例

例えば、計算量が $f(n)=5n^3+2n^2+3n+1$ で表されるとき、この計算量は $\Theta(n^3)$ であるといえます。

$\Theta(n^3)$ の定義より、ある $n_0$ よりも大きいすべての $n$ に対して $$ c_1n^3\leq 5n^3+2n^2+3n+1 \leq c_2n^3 $$ が成立する $c_1$ と $c_2$ が存在します。
これを各辺 $n^3$ で割ると $$ c_1\leq5+\frac{2}{n}+\frac{3}{n^2}+\frac{1}{n^3} \leq c_2 $$ $n$ が十分大きいとき、 $\frac{2}{n}+\frac{3}{n^2}+\frac{1}{n^3}$ は0に収束するので、これを満たす $ｃc_1$ と $c_2$ は存在します

逆に、計算量が $f(n)=2n^2+3n+1$ で表されるとき、この計算量は $\Theta(n^3)$ ではありません。

$f\in \Theta(n^3)$ であるなら $\Theta(n^3)$ の定義より、ある $n_0$ よりも大きいすべての $n$ に対して $$ c_1n^3\leq 2n^2+3n+1 \leq c_2n^3 $$ が成立する $c_1$ と $c_2$ が存在するはずです。
これを各辺 $n^3$ で割ると $$ c_1\leq \frac{2}{n}+\frac{3}{n^2}+\frac{1}{n^3} \leq c_2 $$ $n$ が十分大きいとき、 $\frac{2}{n}+\frac{3}{n^2}+\frac{1}{n^3}$ は0に収束するので、どんな大きな $n$ に対してもこの式が成立する $c_1(>0)$ は存在しません。

実用上簡単な方法として、計算量の式のうち、1番発散が早い項から係数を外して $g(n)$ として $O(g(n))$ にするとOKだったりします
アルゴリズムの計算量で扱うのは最悪計算量であることが多いので $O$ のみわかれば十分な場合も多いです(競プロだとだいたいこれ)
( $\Theta$ 及び $\Omega$ については必ずしも成立しません(例:インサートソートは $\Omega(n)$ で $O(n^2)$ なので $\Omega$ は発散が早い項を入れるだけではだめで、 $\Theta$ を定義できません))