์—ฐ๊ตฌ์˜ ๋นš

Distill.pub๋Š” ๊ธฐ๊ณ„ํ•™์Šต์— ๋Œ€ํ•œ ๋ช…์พŒํ•œ ์„ค๋ช…, ์—ฐ๊ตฌ์ž๋“ค๊ฐ„์˜ ๋ฒฝ์„ ํ—ˆ๋ฌผ๊ธฐ ์œ„ํ•œ ๋…ธ๋ ฅ, Open Source ์ •์‹ ๊ณผ ์ข…์ด์— ๊ตญํ•œ๋˜์ง€ ์•Š๋Š” ์‚ฌ์šฉ์ž ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ์ œ๊ณตํ•˜๊ฒ ๋‹ค๋Š” ์ƒ๊ฐ์œผ๋กœ ๊ฐœ์„ค๋œ ๋…ผ๋ฌธ & ๊ธฐ์‚ฌ ์ถœํŒ ์‚ฌ์ดํŠธ(ํ˜น์€ ํ”Œ๋žซํผ?..)์ด๋‹ค. ๋‹ค์Œ์€ Distill์— ๊ฐ€์žฅ ๋จผ์ € ์˜ฌ๋ผ์˜จ Research Debt๋ผ๋Š” ๊ธ€์˜ ์ผ๋ถ€์ด๋‹ค.

Tensorflow-KR ๋ชจ์ž„

๋‚˜๋Š” 2017๋…„ ๋“ค์–ด ๊ฐ€์žฅ ํ•˜๊ณ  ์‹ถ์—ˆ๋˜ ์ผ ์ค‘์— ํ•˜๋‚˜๊ฐ€ ๊ฐœ๋ฐœ์ž, ์•„๋‹ˆ๋ฉด ๋น„์Šทํ•œ ์‚ฌ๋žŒ๋“ค์ด ๋ชจ์ด๋Š” ์ด๋ฒคํŠธ์— ์ฐธ๊ฐ€ํ•˜๋Š” ๊ฒƒ์ด๋ผ๊ณ  ๋งˆ์Œ ์† ์–ด๋”˜๊ฐ€์—์„œ ์ƒ๊ฐํ•˜๊ณ  ์žˆ์—ˆ๊ณ , ํŽ˜์ด์Šค๋ถ์„ ์—ด ๋•Œ๋งˆ๋‹ค ๋ฌด์„œ์šด ์†Œ์‹(State-of-the-art์— ํ•ด๋‹นํ•˜๋Š” ๊ธฐ์ˆ ์ด ๋˜๋˜๋˜ ๊ฐฑ์‹ ๋˜์—ˆ์Šต๋‹ˆ๋‹ค, ๋”ฅ๋งˆ์ธ๋“œ๊ฐ€ ๋˜ ๋ฌด์Šจ ์ผ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค, ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์™€ API๊ฐ€โ€ฆ)์„ ๊ฐ€์ ธ๋‹ค์ฃผ๋˜ Tensorflow-KR ๊ทธ๋ฃน์—์„œ ๋ฌด๋ ค โ€˜๋ง๊ธ€ ์ž˜์“ฐ๊ธฐโ€™๋ผ๋Š” ํŒŒ๊ฒฉ์ ์ธ ์กฐ๊ฑด์œผ๋กœ ์šด์˜์ง„๊ณผ์˜ ์ €๋… ์‹์‚ฌ๋ฅผ ๋Œ€์ ‘ํ•œ๋‹ค๋Š” ๊ธ€์„ ์ฝ๊ฒŒ ๋˜์—ˆ๋‹ค.

์ด์ œ์™€์„œ 2016๋…„ ์ด์•ผ๊ธฐ

2016๋…„์€ ๋‚ด ์ธ์ƒ์—์„œ ๊ฐ€์žฅ ๋ฐ”๋นด๋˜.. ์•„๋‹ˆ ๋”ฑํžˆ ๋ฐ”๋นด๋˜ ๊ฑด ์•„๋‹ˆ์ง€๋งŒ ๋งŽ์€ ์ผ์„ ํ–ˆ๋˜ ํ•œ ํ•ด์˜€๋‹ค. ๊ณ ๋“ฑํ•™๊ต 3๋…„๊ฐ„์˜ ์ข…์ฐฉ์ ์„ ์ •ํ•  ์ˆ˜ ์žˆ๋Š” ํฐ ๊ณ„๊ธฐ๋ฅผ ๋งˆ๋ จํ•ด์ค€ ํ•ด์ด๊ธฐ๋„ ํ•ด์„œ ๋งŽ์ด ๋Šฆ์—ˆ์ง€๋งŒ ์ง€๊ธˆ์ด๋ผ๋„ ์ •๋ฆฌ๋ฅผ ํ•ด๋‘์ง€ ์•Š์œผ๋ฉด ์•„์‰ฌ์šด ํ•ด์ธ ๊ฒƒ ๊ฐ™๋‹ค.

Recurrent Neural Network

์„ธ์ƒ์˜ ๋งŽ์€ ๋ฐ์ดํ„ฐ๋Š” ์–ด๋–ค 'sequence'๋ฅผ ์ด๋ฃจ๊ณ  ์žˆ์–ด์š”. ์˜ˆ๋ฅผ ๋“ค์ž๋ฉด ์ด ๊ธ€์„ ์ฝ๊ณ  ์žˆ๋Š” ์—ฌ๋Ÿฌ๋ถ„์ด ์ œ๊ฐ€ ์ ์€ ๋‹จ์–ด ๋‹จ์–ด๋ฅผ ์ˆœ์ฐจ์ ์œผ๋กœ ์ด์–ด์„œ ๋น„๋กœ์„œ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ์ ์ด ์žˆ๊ฒ ์ฃ . ์ด๋Ÿฐ ๋ฐ์ดํ„ฐ๋ฅผ Sequence data๋ผ๊ณ  ๋งํ•ด์š”.

Convolutional Neural Network

Convolutional Neural Network์˜ Conv layer์™€ ๊ฐœ๋… ์ดํ•ดํ•˜๊ธฐ

Neural Network ๋ฐ˜์ฃฝํ•˜๊ธฐ

์ธ๊ณต์‹ ๊ฒฝ๋ง(์—ฐ๊ฒฐ์ฃผ์˜ ์‹œ์Šคํ…œ์ด๋ผ๊ณ ๋„ ๋ถˆ๋ฆฐ๋‹ค.)์€ ์ธ๊ฐ„์˜ ๋‡Œ๊ฐ€ ๋ฌธ์ œ๋ฅผ ํ‘ธ๋Š” ๋ฐฉ๋ฒ•์— ๋น—๋Œ€์–ด ์„œ๋กœ ์—ฐ๊ฒฐ๋œ ์ˆ˜ ๋งŽ์€ ์ธ๊ณต ๋‰ด๋Ÿฐ(ํผ์…‰ํŠธ๋ก )๋“ค๋กœ ๊ตฐ์ง‘์„ ์ด๋ค„ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ณ ์ž ํ•˜๋Š” ์ปดํ“จํ„ฐ์  ์ ‘๊ทผ์ด๋‹ค. ๊ฐ๊ฐ์˜ ์œ ๋‹›(ํผ์…‰ํŠธ๋ก )์ด ์ด๋ฃจ๋Š” ํ˜•ํƒœ๋Š” ํ–‰๋ ฌ๊ณผ ๋น„์Šทํ•˜๊ฒŒ ํ•ด์„ํ•  ์ˆ˜ ์žˆ๋‹ค.

Softmax ๋ถ„๋ฅ˜๊ธฐ์™€ Neural Network๋กœ MNIST ๋ฌธ์ œ ํ’€๊ธฐ

๋” ๊นŠ๊ณ  ๋„“๊ณ  ๋˜‘๋˜‘ํ•˜๊ณ  ์˜ค๋ฒ„ํ”ผํŒ…๋˜์ง€ ์•Š๋Š” ์‹ ๊ฒฝ๋ง ์„ค๊ณ„ํ•˜๊ธฐ

๋”ฅ๋Ÿฌ๋‹๊ณผ XOR ๋ฌธ์ œ

๋”ฅ๋Ÿฌ๋‹์˜ ๋“ฑ์žฅ ๋ฐฐ๊ฒฝ๊ณผ XOR ๋ฌธ์ œ

Windows์—์„œ Tensorboard์“ฐ๊ธฐ

```python import numpy as np import tensorflow as tf

๋‹คํ•ญ๋ณ€์ˆ˜์˜ ๋ถ„๋ฅ˜

ํ…์„œํ”Œ๋กœ์šฐ๋กœ ๋‹คํ•ญ๋ณ€์ˆ˜ ๋ถ„๋ฅ˜ํ•ด๋ณด๊ธฐ

๋จธ์‹ ๋Ÿฌ๋‹ ํŒ๊ณผ ์‘์šฉ

ํ…์„œํ”Œ๋กœ์šฐ ๋จธ์‹ ๋Ÿฌ๋‹ ํŒ๊ณผ ์‘์šฉ

Tensorflow ๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€

ํ…์„œํ”Œ๋กœ์šฐ๋กœ ๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€ ๊ตฌํ˜„ํ•˜๊ธฐ

ํ•œ๊ตญ์–ด ์›Œ๋“œํด๋ผ์šฐ๋“œ ๊ตฌ๋ฆ„

ํ•œ๊ตญ์–ด ํ…์ŠคํŠธ๋กœ ์‰ฝ๊ฒŒ ์›Œ๋“œํด๋ผ์šฐ๋“œ ๊ทธ๋ฆฌ๊ธฐ

[๋ฒˆ์—ญ] Tensorflow๋กœ 369๊ฒŒ์ž„ํ•˜๊ธฐ

๋ฉด์ ‘๊ด€ : ํ™˜์˜ํ•ฉ๋‹ˆ๋‹ค. ์ปคํ”ผ๋‚˜ ํ•„์š”ํ•œ ๊ฒƒ ์žˆ์œผ์‹ ๊ฐ€์š”? ์ข€ ์‰ฌ๊ณ  ์‹ถ์œผ์„ธ์š”?

Tensorflow ๋‹ค๋ณ€์ˆ˜ ์„ ํ˜• ํšŒ๊ท€

ํ…์„œํ”Œ๋กœ์šฐ๋กœ ๋‹ค๋ณ€์ˆ˜ ์„ ํ˜•ํšŒ๊ท€ ๊ตฌํ˜„ํ•ด๋ณด๊ธฐ

Tensorflow Linear Regression

ํ…์„œํ”Œ๋กœ์šฐ๋กœ ์„ ํ˜•ํšŒ๊ท€ ๊ตฌํ˜„ํ•ด๋ณด๊ธฐ

์˜์‚ฌ๊ฒฐ์ • ๋‚˜๋ฌด์™€ ๋žœ๋ค ํฌ๋ ˆ์ŠคํŠธ

Supervised Learning(๊ต์‚ฌํ•™์Šต)์˜ ๋ชจ๋ธ ์ค‘ ํ•˜๋‚˜๋กœ, ๋‹ค์–‘ํ•œ ์˜์‚ฌ๊ฒฐ์ • ๊ฒฝ๋กœ(decision path)์™€ ๊ฒฐ๊ณผ๋ฅผ ๋‚˜ํƒ€๋‚ด๋Š” ๋‚˜๋ฌด ๊ตฌ์กฐ๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค.

๋ฐ์ดํ„ฐ ๋ถˆ๋Ÿฌ์˜ค๊ณ  ๋‚˜๋ˆ„๊ธฐ

Pandas๋Š” ๊ตฌ์กฐํ™”๋œ ๋ฐ์ดํ„ฐ๋ฅผ ์‰ฝ๊ณ  ๋น ๋ฅด๊ฒŒ ๊ฐ€๊ณตํ•  ์ˆ˜ ์žˆ๋Š” ํ’๋ถ€ํ•œ ์ž๋ฃŒ ๊ตฌ์กฐ์™€ ํ•จ์ˆ˜๋ฅผ ์ œ๊ณตํ•˜๋Š” ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ด๋‹ค. Pandas๋ฅผ ์ด์šฉํ•˜๋ฉด R์–ธ์–ด์ฒ˜๋Ÿผ DataFrame์ด๋ผ๋Š” ํ–‰๊ณผ ์—ด์„ ๊ฐ€์ง„ 2์ฐจ์› ํ‘œ ๋ชจ์–‘์˜ ์ž๋ฃŒ๊ตฌ์กฐ๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, NumPy์˜ ๊ณ ์„ฑ๋Šฅ ๋ฐฐ์—ด ๊ณ„์‚ฐ ๊ธฐ๋Šฅ๊ณผ ์Šคํ”„๋ ˆ๋“œ ์‹œํŠธ, SQL๊ณผ ๊ฐ™์€ RDBMS์˜ ์œ ์—ฐํ•œ ๋ฐ์ดํ„ฐ ์กฐ์ž‘ ๊ธฐ๋Šฅ์„ ์‚ฌ์šฉํ•  ์ˆ˜๋„ ์žˆ๋‹ค.

๋ฐ์ดํ„ฐ๋ฅผ ๊ณต๋ถ€ํ•˜๋ฉด์„œ.

๋ฐ์ดํ„ฐ๋ฅผ ๊ณต๋ถ€ํ•˜๋ฉฐ ์ƒ๊ฐํ–ˆ๋˜ ์งค๋ง‰์งค๋ง‰ํ•œ ๋‚ด์šฉ๋“ค ์ •๋ฆฌ!

๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€(Logistic Regression)

๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€๋ž€ ๋…๋ฆฝ ๋ณ€์ˆ˜์˜ ์„ ํ˜• ๊ฒฐํ•ฉ์„ ์ด์šฉํ•˜์—ฌ ์‚ฌ๊ฑด์˜ ๋ฐœ์ƒ ๊ฐ€๋Šฅ์„ฑ์„ ์˜ˆ์ธกํ•˜๋Š”๋ฐ ์‚ฌ์šฉ๋˜๋Š” ํ†ต๊ณ„ ๊ธฐ๋ฒ•์ด๋‹ค.
๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€์˜ ๋ชฉ์ ์€ ์ผ๋ฐ˜ ํšŒ๊ท€ ๋ถ„์„์˜ ๋ชฉํ‘œ์™€ ๋™์ผํ•˜๊ฒŒ ์ข…์† ๋ณ€์ˆ˜์™€ ๋…๋ฆฝ ๋ณ€์ˆ˜๊ฐ„์˜ ๊ด€๊ณ„๋ฅผ ๊ตฌ์ฒด์  ํ•จ์ˆ˜๋กœ ๋‚˜ํƒ€๋‚ด ํ–ฅํ›„ ์˜ˆ์ธก ๋ชจ๋ธ์— ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์ด๋‹ค. ์ด๋Š” ๋…๋ฆฝ ๋ณ€์ˆ˜์˜ ์„ ํ˜• ๊ฒฐํ•ฉ์œผ๋กœ ์ข…์† ๋ณ€์ˆ˜๋ฅผ ์„ค๋ช…ํ•œ๋‹ค๋Š” ๊ด€์ ์—์„œ ์„ ํ˜• ํšŒ๊ท€ ๋ถ„์„๊ณผ ๋น„์Šทํ•˜๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€๋Š” ์„ ํ˜• ํšŒ๊ท€ ๋ถ„์„๊ณผ ๋‹ฌ๋ฆฌ ์ข…์† ๋ณ€์ˆ˜๊ฐ€ ๋ฒ”์ฃผํ˜• ๋ฐ์ดํ„ฐ๋ฅผ ๋Œ€์ƒ์œผ๋กœ ํ•˜๋ฉฐ ์ž…๋ ฅ ๋ฐ์ดํ„ฐ๊ฐ€ ์ฃผ์–ด์กŒ์„ ๋•Œ ํ•ด๋‹น ๋ฐ์ดํ„ฐ์˜ ๊ฒฐ๊ณผ๊ฐ€ ํŠน์ • ๋ถ„๋ฅ˜๋กœ ๋‚˜๋‰˜๊ธฐ ๋•Œ๋ฌธ์— ์ผ์ข…์˜ ๋ถ„๋ฅ˜(Classification) ๊ธฐ๋ฒ•์œผ๋กœ๋„ ๋ณผ ์ˆ˜ ์žˆ๋‹ค. ๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€๋Š” ์ฃผ๋กœ ์ข…์†๋ณ€์ˆ˜๊ฐ€ ์ดํ•ญํ˜•์ธ ๋ฌธ์ œ๋ฅผ ์ง€์นญํ•  ๋•Œ ์“ฐ์ธ๋‹ค. ๋‘ ๊ฐœ ์ด์ƒ์˜ ๋ฒ”์ฃผ๋ฅผ ๋‹ค๋ฃจ๋Š” ๊ฒฝ์šฐ ๋‹คํ•ญ ๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€(multinomial logistic regression)์ด๋ผ๊ณ  ํ•˜๋ฉฐ ๋ณต์ˆ˜์˜ ๋ฒ”์ฃผ์ด๋ฉฐ ์ˆœ์„œ๊ฐ€ ์กด์žฌํ•˜๋ฉด ์„œ์ˆ˜ ๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€(ordinal logistic regression)์ด๋ผ๊ณ  ํ•œ๋‹ค.