AI 해부교실

고1 눈높이로 ChatGPT가 어떻게 만들어졌는지 96장의 애니메이션과 직접 해보기로 배워요. 토큰, 임베딩, 어텐션, 학습, RLHF까지.

1. 1장 다음 단어 맞히기 게임 ChatGPT는 질문을 듣고 대답 전체를 한 번에 떠올리는 걸까요?
2. 2장 한 단어씩 써 내려가는 AI ChatGPT의 답은 왜 타자를 치듯 한 조각씩 나타날까요?
3. 3장 AI 70년 타임라인 AI는 ChatGPT와 함께 갑자기 나타났을까요?
4. 4장 규칙으로 vs 데이터로 스팸 문자를 걸러내는 프로그램, 어떻게 만들 수 있을까요?
5. 5장 우리가 조립할 설계도 ChatGPT라는 기계를 열면 안에 뭐가 들어 있을까요?
6. 6장 모든 것은 숫자다 컴퓨터는 사진, 노래, 글자를 어떻게 기억할까요?
7. 7장 벡터: 숫자들의 줄 친구와 내 음식 취향이 얼마나 비슷한지, 숫자로 나타낼 수 있을까요?
8. 8장 가까우면 닮았다 취향이 비슷한 친구를 숫자로 찾을 수 있을까요?
9. 9장 내적: 얼마나 같은 방향? 두 화살표가 얼마나 같은 쪽을 가리키는지, 숫자 하나로 나타낼 수 있을까요?
10. 10장 행렬: 벡터 묶음 벡터 여러 개를 한꺼번에 다루는 방법이 있을까요?
11. 11장 행렬 곱 = 공간 변환 행렬을 벡터에 곱하면 무슨 일이 일어날까요?
12. 12장 함수는 입력→출력 기계 AI 모델도 결국 하나의 '함수'라는데, 무슨 뜻일까요?
13. 13장 확률 분포 '아마 비가 올 거야'를 숫자로 말하면 어떻게 될까요?
14. 14장 점수를 확률로: 소프트맥스 모델이 매긴 점수는 음수도 되고 합도 제각각이에요. 이걸 어떻게 확률로 바꿀까요?
15. 15장 크기 맞추기: 정규화 100점 만점 시험과 20점 만점 시험, 누가 더 잘한 걸까요?
16. 16장 뉴런 하나 새로 생긴 떡볶이집, 맛집인지 아닌지 AI는 어떻게 판단할까요?
17. 17장 꺾어야 산다: 활성화 함수 떡볶이는 적당히 매운 게 최고인데, 뉴런도 그걸 알아챌 수 있을까요?
18. 18장 층을 쌓으면 뉴런 하나로 못 푸는 문제, 뉴런을 여러 개 모으면 풀 수 있을까요?
19. 19장 순전파 신경망에 숫자를 넣으면, 안에서는 무슨 일이 벌어질까요?
20. 20장 얼마나 틀렸나: 손실 AI가 틀렸다는 건 알겠는데, '얼마나' 틀렸는지는 어떻게 잴까요?
21. 21장 경사하강법 손실을 줄이려면 손잡이를 어느 쪽으로, 얼마나 돌려야 할까요?
22. 22장 보폭 정하기: 학습률 산을 내려갈 때 한 걸음을 얼마나 크게 디뎌야 할까요?
23. 23장 역전파: 책임 나누기 손잡이가 수십억 개인데, 틀렸을 때 어느 손잡이를 얼마나 고쳐야 할까요?
24. 24장 문제집 나눠 풀기 문제가 수백만 개인 문제집, 한 문제씩 고칠까요, 다 풀고 한 번에 고칠까요?
25. 25장 기출만 외운 학생 연습 문제는 다 맞히는데 시험만 보면 틀리는 AI, 왜 그럴까요?
26. 26장 직접 해보기: 손글씨 숫자 내가 손가락으로 쓴 숫자를 신경망이 정말 알아볼 수 있을까요?
27. 27장 Part 2 보스전 지금까지 배운 걸 다 모으면, 신경망을 처음부터 학습시킬 수 있을까요?
28. 28장 컴퓨터 속 글자 한글은 11,172자나 되는데, 컴퓨터는 그 번호를 하나하나 외워서 붙였을까요?
29. 29장 토큰: AI의 글자 단위 ChatGPT는 글을 한 글자씩 읽을까요, 한 단어씩 읽을까요?
30. 30장 자주 붙는 조각 합치기 토큰 목록 20만 개, 누가 하나하나 정했을까요?
31. 31장 한국어는 토큰이 많다? 같은 말을 해도 한국어로 하면 AI 요금이 더 나온다는데, 정말일까요?
32. 32장 번호표의 한계 토큰마다 번호가 있는데, 그 번호를 그냥 모델에 넣으면 안 될까요?
33. 33장 임베딩: 의미의 좌표 '강아지'와 '고양이'가 닮았다는 걸, 숫자로 어떻게 나타낼까요?
34. 34장 주변 단어가 의미를 알려준다 아무도 뜻을 가르쳐 주지 않았는데, AI는 '커피'와 '녹차'가 비슷하다는 걸 어떻게 알까요?
35. 35장 임베딩 우주 탐험 단어 지도에서 '강아지' 옆엔 누가 살고, '배'는 어디쯤 있을까요?
36. 36장 순서는 어떻게 알까 '10시 11분'과 '11시 10분'은 조각이 똑같은데, AI는 둘이 다르다는 걸 어떻게 알까요?
37. 37장 언어 모델 = 문장의 확률 AI는 어떤 문장이 '자연스럽다'는 걸 어떻게 알까요?
38. 38장 앞 몇 단어만 보기 옛날 AI는 '다음 단어의 확률'을 어떻게 알아냈을까요?
39. 39장 신경망 언어 모델 한 번도 본 적 없는 문장인데, AI는 어떻게 다음 단어를 짐작할까요?
40. 40장 RNN: 쪽지 릴레이 문장 길이는 제각각인데, AI는 앞 내용을 어떻게 기억하며 읽을까요?
41. 41장 RNN의 한계 쪽지 릴레이가 그렇게 좋다면, 왜 ChatGPT는 RNN을 안 쓸까요?
42. 42장 번역기의 구조 순서도 길이도 다른 두 언어를, AI는 어떻게 번역할까요?
43. 43장 어텐션의 탄생 번역하다가 원문을 다시 쳐다볼 수 있다면, AI 번역은 얼마나 좋아질까요?
44. 44장 Attention Is All You Need ChatGPT의 뼈대가 된 논문은 왜 '어텐션만 있으면 된다'고 했을까요?
45. 45장 단어들이 서로를 쳐다본다 '배'는 먹는 배일까, 타는 배일까? AI는 어떻게 구별할까요?
46. 46장 Query · Key · Value 단어는 문장 속에서 누구를 볼지 어떻게 정할까요?
47. 47장 관련도 점수 '간다'의 질문과 '학교에'의 라벨이 얼마나 잘 맞는지, 숫자 하나로 잴 수 있을까요?
48. 48장 나누고 소프트맥스 관련도 점수를 그대로 소프트맥스하면 안 될까요? 왜 굳이 한 번 나눌까요?
49. 49장 섞어서 새 의미 만들기 쳐다볼 비율을 알았어요. 그럼 그 비율로 무엇을, 어떻게 가져올까요?
50. 50장 한 번에 계산하기 단어가 1,000개면 47~49장의 계산을 1,000번 따로 해야 할까요?
51. 51장 미래를 훔쳐보지 마 다음 단어를 맞혀야 하는데, 그 단어를 미리 볼 수 있다면 공부가 될까요?
52. 52장 여러 눈으로 보기 '간다'는 누가 가는지도, 어디로 가는지도 알아야 해요. 한 번 쳐다보는 걸로 충분할까요?
53. 53장 진짜 GPT 머릿속 들여다보기 진짜 GPT의 헤드들은 정말로 무언가를 '쳐다보고' 있을까요?
54. 54장 트랜스포머 블록 설계도 5장 설계도 한가운데의 '트랜스포머 블록', 열어 보면 안에 뭐가 들어 있을까요?
55. 55장 생각하는 층 어텐션으로 단어끼리 정보를 나눴어요. 그다음, 각 단어는 무엇을 할까요?
56. 56장 정보 고속도로 층을 96개나 지나면, 처음 문장의 정보는 다 지워지지 않을까요?
57. 57장 흔들림 잡기 결과를 계속 더하면, 96층쯤엔 숫자가 엄청 커지지 않을까요?
58. 58장 블록을 쌓으면 블록 하나로도 돌아가는데, 왜 96개나 쌓을까요?
59. 59장 인코더 vs 디코더 ChatGPT의 'GPT'와 구글의 'BERT', 둘 다 트랜스포머인데 뭐가 다를까요?
60. 60장 벡터에서 단어로 96층을 지나 나온 건 숫자 12,288개짜리 벡터. 이걸 어떻게 '간다'라는 단어로 바꿀까요?
61. 61장 처음부터 끝까지 따라가기 ChatGPT가 단어 하나를 쓰는 동안, 안에서는 정확히 무슨 일이 일어날까요?
62. 62장 Part 6 보스전: 설계도 완성 부품을 다 모았어요. 올바른 순서로 조립해서 GPT를 완성할 수 있을까요?
63. 63장 교과서는 인터넷 ChatGPT는 도대체 무슨 책으로 공부했을까요?
64. 64장 정답지 없는 공부 인터넷 글에는 정답지가 없는데, GPT는 뭘 보고 채점했을까요?
65. 65장 놀람의 크기 정답에 52%를 건 모델은 얼마나 틀린 걸까요? 틀린 정도를 숫자 하나로 잴 수 있을까요?
66. 66장 훈련 루프 한 바퀴 GPT는 수천억 개의 문제를 어떤 순서로 공부할까요?
67. 67장 똑똑한 내리막 기울기만 보고 내려가는 공은 왜 길을 잃을까요?
68. 68장 왜 GPU일까? AI 회사들은 왜 컴퓨터 대신 '그래픽카드'를 잔뜩 살까요?
69. 69장 GPT-1 → 2 → 3 GPT-1에서 GPT-3까지, 2년 동안 얼마나 커졌을까요?
70. 70장 클수록 똑똑해진다 모델을 10배 키우면 얼마나 좋아질까요? 미리 알 수 있을까요?
71. 71장 예시만 보여줘도 배운다 숫자를 하나도 안 고쳤는데, 모델이 새 일을 배울 수 있을까요?
72. 72장 똑똑하지만 말을 안 듣는 모델 인터넷 글을 엄청나게 읽은 모델에게 질문하면, 바로 대답해 줄까요?
73. 73장 모범답안 따라 하기 말을 안 듣는 모델에게 '대답하는 법'은 어떻게 가르칠까요?
74. 74장 사람이 순위 매기기 모범 답안을 직접 쓰는 것보다 훨씬 쉬운 방법이 있을까요?
75. 75장 AI 채점관 사람 대신 답에 점수를 매겨 주는 AI가 있다면 어떨까요?
76. 76장 칭찬으로 다듬기 '좋은 대답'을 말로 다 설명할 수 없다면, 어떻게 가르칠까요?
77. 77장 대화는 사실 긴 문서 ChatGPT는 내가 한 말과 자기가 한 말을 어떻게 구별할까요?
78. 78장 2022년 11월 30일 ChatGPT는 어떻게 닷새 만에 100만 명을 모았을까요?
79. 79장 안전한 AI 만들기 AI는 어떤 부탁을 거절해야 할까요? 너무 많이 거절하면요?
80. 80장 고르는 방법 그냥 확률이 제일 높은 말만 고르면 되지 않나요?
81. 81장 창의력 다이얼 AI의 '창의력'을 숫자 하나로 조절할 수 있을까요?
82. 82장 후보 줄이기 룰렛에 '피자' 칸이 있으면, 언젠가는 정말 '피자'가 뽑히지 않을까요?
83. 83장 AI의 기억 한계 ChatGPT와 오래 이야기하다 보면, 처음에 한 말을 잊어버릴 때가 있어요. 왜 그럴까요?
84. 84장 그럴듯한 거짓말 AI가 자신 있게 말하면 다 사실일까요?
85. 85장 구조를 알면 보이는 프롬프트 같은 걸 물어도, 묻는 방법에 따라 답이 달라지는 건 왜일까요?
86. 86장 눈을 가진 AI 글자만 읽던 AI가 어떻게 사진을 보고 설명할까요?
87. 87장 생각하고 답하기 AI에게 어려운 문제를 내면 '생각 중…'이 뜨는데, 그동안 뭘 하는 걸까요?
88. 88장 찾아보고 답하기 우리 학교 축제 날짜처럼 AI가 배운 적 없는 건 어떻게 물어볼까요?
89. 89장 손발이 생긴 AI 글만 쓰는 AI가 어떻게 계산기를 두드리고 검색까지 할까요?
90. 90장 내 폰 속 AI 거대한 AI가 어떻게 인터넷도 없이 내 폰 안에서 돌아갈까요?
91. 91장 AI와 우리 AI가 그린 그림의 주인은 누구일까요? AI 시대에 나는 무엇을 준비해야 할까요?
92. 92장 미니 GPT 설계하기 ChatGPT를 아주 작게 줄이면, 내 손으로 직접 만들 수 있을까요?
93. 93장 내 토크나이저 만들기 내 데이터에 꼭 맞는 토큰은 어떻게 정할까요?
94. 94장 브라우저에서 훈련하기 모델은 진짜로 어떻게 배울까요? 내 폰 안에서 직접 지켜봐요.
95. 95장 생성해 보기 내가 훈련시킨 모델은 어떤 글을 쓸까요?
96. 96장 졸업식 96장 동안 조립한 ChatGPT, 처음부터 끝까지 한 번에 따라가 볼까요?