AI 해부교실 · Part 9 대답이 만들어지는 순간

81장 창의력 다이얼

Q. AI의 '창의력'을 숫자 하나로 조절할 수 있을까요?

  1. 14장에서 점수 3, 2, 1, −1을 소프트맥스에 넣었더니 '간다'가 65.7%였죠. 여기에 다이얼을 하나 달아 볼게요.
  2. 이 다이얼이 온도(temperature)예요. 점수를 온도로 나눈 다음 소프트맥스에 넣어요. 온도가 1이면 그대로예요.
  3. 온도를 0.5로 내리면 점수가 6, 4, 2, −2가 돼요. 차이가 두 배로 벌어져서 '간다'가 86.7%, 확 뾰족해져요.
  4. 온도를 2로 올리면 점수는 1.5, 1, 0.5, −0.5. 차이가 줄어서 분포가 평평해지고, 피자도 6.4%가 돼요.
  5. 끝까지 돌리면? 온도가 0에 가까우면 1등만 남아 그리디(80장)가 되고, 아주 높으면 모든 후보가 비슷해져요.
  6. 장난감 모델로 문장을 써 보면, 온도 0.2에선 같은 말을 맴돌고, 1에선 자연스럽고, 2에선 엉뚱해져요.
  7. 정확해야 하는 답엔 낮은 온도, 새 아이디어엔 높은 온도가 어울려요. 온도는 지식은 그대로 두고 확률만 다시 나눠요.

한 장 요약