20230316 RNN

수업에서 처음 RNN 구현 과제를 했을 때 신기했던 건 얘가 아무 말이나 끝없이 할 수 있다는 거였다. 인풋이 들어오면 확률적으로 다음에 올만한 글자를 뱉고, 그걸 다시 인풋으로 해서 또 다음에 올만한 글자를 뱉고, 그걸 언제까지고 계속 할 수 있다. 처음에는 결과가 말 같지 않아 보이지만, 학습이 쌓이면 데이터에서 반복되는 패턴을 익혀서 말처럼 보이기 시작한다. 이 모델이 끝없이 아무 말을 내뱉으면서 조금씩 내가 알아볼 수 있는 말을 하기 시작하는 것을 보노라면 인간도 실은 이런 식인 걸까 생각을 하게 된다. 그러니까 인간은 굉장히 복잡한 블랙박스 모델인 건데, 여기에 인풋을 넣으면 뭐든 아웃풋이 나온다. 이제 인풋을 계속 넣으면서, 그리고 그 결과로 나오는 아웃풋도 또 이 모델의 인풋이 되면서, 모델은 조금씩 계속 바뀌어 나가고, 그에 따른 아웃풋도 바뀌어 나가고, 그게 결국은 밖으로 보이는 사람의 성장인 건가 하는 생각이 든다. 말하자면 그냥 인간은 아무 말 머신인 것이다. 새로운 인풋에 적극적일 수도, 아닐 수도 있다. 지금의 '나' 모델로 나는 아무 고민없이 언제까지나 '나'가 할 법한 말과 행동과 생각들을 계속 할 수 있다. 물론 그 아웃풋들은 다시 인풋이 되어 지금의 '나' 모델을 약간씩 변화시키기도 할 테지만, 바뀐 모델은 결과적으로 약간 다른 아웃풋을 낳아 마치 '나'가 변한 것처럼 보이기도 할 테지만, 그걸 성장이라 할 수 있을까. 이런 생각을 하다 보면 조금 우울해지기도 하는 게, 내가 보고 듣고 겪고 감각해온 모든 게 나의 인풋이고, 내가 말하고 쓰고 생각하고 해왔던 모든 것도 다시 나의 인풋이 되었고, 그 모든 게 지금의 나를 만들었다 싶어지는 것이다. 내 모든 행동은 내 이전의 결과들이고, 내 앞으로의 행동도 지금까지 쌓여 온 나로부터 나온다. 내가 너무 무겁다. 폴짝 다른 사람이 될 수가 없다. 

 

When I first did the RNN implementation assignment in a course, what was amazing was that it could say anything endlessly. When an input comes in, it spits out a letter that is probabilistically next, and then uses that as an input again to spit out another letter that is likely to come next, and it can continue doing that forever. At first, the results don't make sense, but as it learns, it starts to recognize recurring patterns in the data and starts to make sense. Watching this model spit out endlessly and slowly start to say something I can recognize, I wonder if humans are actually like this. So to speak, humans are a very complex black box model, and if you put inputs into it, you get outputs. Now, as the inputs continue to be added, and the resulting outputs also become the inputs to this model, the model continues to change little by little, and the outputs accordingly change, and I wonder if that is the growth of the person we see on the outside. In other words, humans are just talking machines. They may or may not be open to new inputs. With the current 'I' model, people can continue to say, do, and think things that 'I' would say, without thinking about it, forever. Of course, those outputs will become inputs again and change the current 'I' model slightly, and the changed model will produce slightly different outputs, making it look like 'I' has changed, but can that be called growth? When I think about this, I feel a little depressed, everything I have seen, heard, experienced, and sensed is my input, and everything I have said, written, thought, and done has become my input again, and all of it has made me who I am. All my actions are the results of my past, and all my future actions also come from me accumulated so far. I am too heavy. I cannot become someone else as lightly as jumping.