JPEG

JPEGは表現できる色の種類が1670万色と多彩で、写真など多くの色を必要とする画像に向いたファイル形式のことです。何か写真をダウンロードする際はJPEGで書き出されることが多いかなと思います。
逆に、シャープで輪郭がはっきりしている画像には不向きで、たとえば文字や図形が含まれた画像を保存すると、ラインがぼんやり、モッサリとした仕上がりになりがちです。
さらにJPEGはデータを圧縮して画像サイズを小さくすることはできるのですが、一度画像を圧縮すると元のサイズには戻せません（不可逆圧縮）。つまり、画質を一度下げて保存してしまうと、もう元の画質には戻すことはできず、保存を繰り返すと画質が劣化してしまいます。
拡張子は「.jpg」「.jpeg」です。(表記の違いだけで機能は同じです)

GIF

GIFは線や文字、ロゴ、図形など、色と色の境目がはっきりした画像や、色変化の少ない画像の保存に適した形式です。「jpg」とは異なり「可逆圧縮」（高圧縮したあとでも、圧縮前の状態に戻すことができる）という圧縮方法を用いるため、画像の劣化も起こりにくくなっています。ただ、表現できる色数は256色と少ないため、写真のような多色の画像には不向きです。複数の画像を重ねることによってアニメーション画像も作成できます。（むしろ基本的にアニメーションにしか使用しないです）
拡張子は「.gif」です。

PNG

PNGは透過することができ、写真から図形など輪郭のくっきりした画像まで、幅広い画像の保存に向いています。ただし、PNGは「可逆圧縮」（高圧縮したあとでも、圧縮前の状態に戻すことができる）ができるため、圧縮率が同等で同じ内容のJPEG形式ファイルよりも必然的に容量が大きくなってしまいます。そのため、JPEGやGIFに比べて若干データが重くなる傾向にあります。その問題があるため、棒グラフや折れ線グラフのような図版、シンプルなイラストの保存に適しています。
ちなみにパソコンやスマートフォンでスクリーンショットを撮るとデフォルトでPNGになります。そのため、画質は綺麗なのですが容量が大きいため、デバイスのストレージを圧迫しがちです。(私はストレージがよくいっぱいになるためちょこちょこ見直しています…)
拡張子は「.png」です。

SVG

SVGはデータ容量も大きくなく拡大縮小を繰り返しても劣化に強いという特徴があります。最近はスマートフォンに対応したサイトが標準となっているため画面サイズに影響されず画質を保つことができ、大変重宝されるようになりました。
これだけ聞くととても便利で、他のファイル形式は必要ないように聞こえますが、もちろんデメリットがあります。それはJPEGやPNGなどとの画像の形式の違いにあります。

写真には向いていませんが、ロゴやタイトル、単純なアイコンなどの画像に適したデータになります。画面サイズが変わっても綺麗に表示したいものには、ぜひSVGで書き出しがおすすめです。
また、「演算によって再現している」ためデフォルト設定のままファイルを「開く」にすると画像ではなく、メモ帳やテキストエディットなど文字として開かれます。例えば、弊社のサイトに載せているヘッダーロゴをSVGで書き出してファイルを開くと以下のようになります。