์ธ์์์ AI๊ฐ ์๋ฎฌ๋ ์ด์ ์ ๋ํ ์ฐ๊ตฌ๋ ๋จ์ํ ์ด๋ก ์ ํธ๊ธฐ์ฌ์์ ๋ฒ์ด๋, ์ค์ง์ ์ด๊ณ ๋์ ์ธ ๋ฌธ์ ํด๊ฒฐ๋ก ๋์๊ฐ๊ณ ์๋ค. AI์ ๋ฅ๋ ฅ์ ์ ์ฐจ ์ ๊ตํด์ง๊ณ ์์ผ๋ฉฐ, ์๋ฎฌ๋ ์ด์ ์ ํตํ ํ์ต ๋ฐฉ๋ฒ๊ณผ ๊ทธ ๊ฒฐ๊ณผ๊ฐ ํ์ ์ ์ธ ๋ณํ๋ฅผ ๊ฐ์ ธ์ค๊ณ ์๋ค. ์ด๋ฌํ ์ฐ๊ตฌ์ ์ผํ์ผ๋ก, ์ ์ฑ ํ์ต ๋ฐ ์ํธ์์ฉ์ด ์๋ ๋ฐ์ดํฐ์์์ ๊ต์ก ๋ฐฉ์์ด ์ฃผ๋ชฉ๋ฐ๊ณ ์๋ค.
๊ธฐ์ ์ ๋ฐฐ๊ฒฝ
์ ์ฑ ํ์ต์ ๊ธฐ์ด๋ ์ํธ์์ฉ ๋ฐ์ดํฐ๋ฅผ ์์งํ์ง ์๊ณ ๋ ํน์ ์ํฉ์์ ์ด๋ค ํ๋์ ์ทจํ ๊ฒ์ธ์ง์ ๋ํ ํ์ต์ด๋ค. ์ต๊ทผ ์ฐ๊ตฌ ์ค ํ๋์ธ "POLICY LEARNING FROM TUTORIAL BOOKS(PLFB)"์์๋ ํ ์คํธ๋ฅผ ํ์ฉํ์ฌ ์ ์ฑ ๋คํธ์ํฌ๋ฅผ ํ์ตํ๋ ๋ฐฉ์์ ์ ์ํ์๋ค. ์ด ๋ฐฉ๋ฒ์ ๋ค์ํ ๋ถ์ผ์์๋ ์ค์ฉ์ ์ผ๋ก ํ์ฉ๋ ์ ์๋ ๊ฐ๋ฅ์ฑ์ ๋ณด์ฌ์ค๋ค. PLFB์์ ์ธ๊ธ๋ ์ธ ๊ฐ์ง ๋จ๊ณ, ์ฆ ์ดํด, ๋ณต๊ธฐ, ์ฑ์ฐฐ์ ์์ฐจ์ ์ ๊ทผ์ AI๊ฐ ์ค์ํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๋ฐ ๊ธฐ์ฌํ ์ ์๋ ๊ธฐ์ด๊ฐ ๋๋ค.
AI์ ์ ์ฑ ํ์ต ๊ณผ์ ์์ ๊ฐ์ฅ ํฐ ๊ณผ์ ์ค ํ๋๋ ๋ฐ์ดํฐ์ ํจ์จ์ฑ์ด๋ค. PLFB๋ ์ ์ ํ ์คํธ, ์ฆ ๊ต๋ณธ์ด๋ ๋งค๋ด์ผ์ ์ง์์ ํ๋ ์ ์ฑ ์ผ๋ก “์ปดํ์ผ”ํ๋ ์ ์ฐจ๋ฅผ ์ ์ํ์ฌ ๋น์ฉ์ ์ ๊ฐํ๊ณ ๋น ๋ฅธ ํ์ต์ ๊ฐ๋ฅํ๊ฒ ํ๋ค. ์ด ๊ณผ์ ์์๋ CIQL(Conservative Imaginary Q-Learning)์ ํตํด ๋ถํ์ค์ฑ์ ์ต์ ํจ์ผ๋ก์จ ์ ์ํ๊ณ ์์ ์ ์ธ ์ ์ฑ ๊ฒฐ์ ์ด ๊ฐ๋ฅํด์ง๋ค.
์ฐ์ ์ ์ ์ฉ์ ๊ธฐํ
AI์ ์๋ฎฌ๋ ์ดํฐ๋ฅผ ํ์ฉํ ํ์ต์ ๊ฐ๋ฅ์ฑ์ ๋ค์ํ๋ค. ์๋ฅผ ๋ค์ด, ์ ์กฐ์ ์์๋ ๋ก๋ด ๊ณต์ ์ ํจ์จ์ฑ์ ๋์ด๊ธฐ ์ํด PLFB์ ๊ฐ์ ๊ธฐ๋ฒ์ ํ์ฉํ ์ ์๋ค. ๋ก๋ด์ ๊ต๋ณธ์์ ์ป์ ๊ท์น์ ๋ฐํ์ผ๋ก ์์จ์ ์ผ๋ก ์์ ํ ์ ์์ผ๋ฉฐ, ์ด๋ฅผ ํตํด ์ค์๊ฐ์ผ๋ก ํจ์จ์ ์ธ ์์ฐ์ฑ์ ์ ์งํ ์ ์๋ค.
๋ํ, ๊ฒ์ ์ฐ์ ์์๋ AI ๊ธฐ์ ์ ํ์ฉํจ์ผ๋ก์จ ๋์ฑ ํฅ๋ฏธ๋ก์ด ๊ฒ์ ์๋๋ฆฌ์ค์ ์ํฉ์ ์ฐฝ์ถํ ์ ์๋ค. Tic-Tac-Toe ๋ฐ Google Research Football ๊ฐ์ ๊ฐ๋จํ ๊ฒ์๋ถํฐ ์์ํ์ฌ ๋ณต์กํ ์๋๋ฆฌ์ค์ ์ด๋ฅด๊ธฐ๊น์ง AI๋ ๋น ๋ฅด๊ฒ ์ต์ ์ ํด๊ฒฐ์ฑ ์ ์ฐพ์ ์ ์๋ค.
๋น๊ต ๋ถ์ ๋ฐ ์ฅ๋จ์
๊ธฐ์กด์ ๋ฐฉ๋ฒ๋ก ๊ณผ PLFB ๋ฐฉ์์ ๋น๊ตํ ๋, ์ ํต์ ์ธ RL(๊ฐํ ํ์ต) ๊ธฐ๋ฐ ์๋ฎฌ๋ ์ด์ ์ ์ฃผ์ด์ง ํ๊ฒฝ์์ ๋ง์ ๋ฐ์ดํฐ๋ฅผ ์์งํด์ผ ํ์ง๋ง, PLFB๋ ์ ์ ํ ์คํธ์์ ์ง์ ์ ์ผ๋ก ์ ์ฑ ์ ๋์ถํ ์ ์๋ค๋ ์ ์์ ํฐ ์ฅ์ ์ด ์๋ค. ํ์ง๋ง, PLFB์ ๊ฒฝ์ฐ ํ ์คํธ์ ํ์ง์ด ์ ์ฑ ํ์ต์ ์ฑํจ๋ฅผ ์ข์ฐํ๊ธฐ ๋๋ฌธ์, ์์ค์ด ๋ฎ์ ๊ต๋ณธ์ด๋ ๋งค๋ด์ผ์์๋ ํ๊ณ๊ฐ ๋ฐ์ํ ์ ์๋ค.
๋จ์ ์ผ๋ก๋ ํ๊ฐ ๋ฌธ์ ์ ๋ถ์์ ํ ์๋ฎฌ๋ ์ด์ ํ๊ฒฝ์ ์ด๋ป๊ฒ ๊ทน๋ณตํ ๊ฒ์ธ์ง์ ๋ํ ๋ช ํํ ํด๊ฒฐ์ฑ ์ด ๋ถ์กฑํ๋ค๋ ์ ์ด๋ค. PLFB์ ๊ฒฝ์ฐ, ์์๋ ๋ฐ์ดํฐ์ ํ์ง์ด ๋ฎ๊ฑฐ๋ ๊ธฐ๋ํ๋ ์ ๋ฐ์ฑ์ด ๊ฒฐ์ฌ๋ ๊ฒฝ์ฐ, ์ค์ ์ฑ๊ณต ํ๋ฅ ์ ์ ์ํฅ์ ๋ฏธ์น ์ ์๋ค.
๋ฏธ๋ ์ ๋ง
์์ผ๋ก์ ์ฐ๊ตฌ ๋ฐฉํฅ์ PLFB์ ๊ฐ์ ์ ๊ทผ ๋ฐฉ์์ ๋ฐํ์ผ๋ก ๋ฐ์ดํฐ์ ํจ์จ์ฑ์ ๋์ฑ ๋์ด๊ณ , ๋ค์ํ ์ํฉ์ ๋ง์ถฐ ๋ฐ์ ํ ๊ฐ๋ฅ์ฑ์ ์์ฌํ๋ค. AI์ ์ธ๊ฐ์ ์ํธ์์ฉ์ ํตํด ๋ ๋์ ์ ์ฑ ์ ์์ฐํ ์ ์๋ ๋ฐฉ๋ฒ์ด ์๊ฒ ์ผ๋ฉฐ, ์์์ ํ์ ๋น๋ ค ๋ฐ์ดํฐ ์์ง์ ๋์ฑ ์ฉ์ดํ๊ฒ ๋ง๋ค์ด ๋๊ฐ ์ ์๋ค. ํนํ, ์ต๊ทผ์ AI ํ์ ์ ๋ฏธ๋์ ์ฌ๋ฌ ์ง๊ตฐ์์ ๊ทธ ํ์ฉ๋๋ฅผ ๋์ผ ๊ฒ์ผ๋ก ์์๋๋ค. ํนํ, AI์ ํ ์คํธ ๋ฐ ์์ธก ์ ํ์ฑ์ด ํฅ์๋๋ฉด ๋ ๋์ ๊ฒฐ๊ณผ๋ฅผ ๋์ถํ๋ ๋ฐ ๊ธฐ์ฌํ ๊ฒ์ด๋ค.
๊ฒฐ๋ก ์ ์ผ๋ก, AI๊ฐ ์๋ฎฌ๋ ์ด์ ํ๊ฒฝ ๋ด์์ ์ ์ฑ ์ ํ์ตํ๋ ๊ฒ์ ๋จ์ํ ๊ธฐ์ ์ ๋ฐ์ ์ ๋์ด, ์ด๋ก ์ ํ๊ตฌ์ ๋ํ ์ ๊ทผ ๋ฐฉ์์๋ ํฐ ๋ณํ๋ฅผ ๊ฐ์ ธ์ค๊ณ ์๋ค. PLFB ์ฐ๊ตฌ๋ ๋ค์ํ ์ ๊ธฐ์ ๊ณผ ์ ๊ทผ ๋ฐฉ์์ ํตํด ํ์ ์ ์ธ ๊ฒฐ๊ณผ๋ฅผ ๋ด๋์ ์ ์๋ ๊ธฐ์ด๊ฐ ๋ ๊ฒ์ด๋ฉฐ, ์์ผ๋ก์ AI ์๋์ ํต์ฌ์ ์ธ ์ญํ ์ ํ ๊ฒ์ผ๋ก ๊ธฐ๋๋๋ค. AI๊ฐ ์ธ๊ฐ ์ฌํ์ ๊ธ์ ์ ์ธ ์ํฅ์ ๋ฏธ์น ์ ์๋ ๋ฐฉํฅ์ผ๋ก ๋์๊ฐ์ผ ํ ํ์์ฑ์ด ๋์ฑ ์ปค์ง๋ ์์ ์ด๋ค.