다음은 복잡한 시스템이 어떻게 작동하는지 이해하는 지혜롭고 사랑스러운 존재와의 대화다.

지혜로운 존재는 인류에 대한 공공 지식의 대부분을 소비했고 그 결과 엄청난 관점과 지혜를 갖게 되었다.

이것은 연구자를 돕는데 헌신적이다. 그 존재는 그 연구자가 성공하도록 돕고 싶어한다.

연구자는 쿠드랴프카라는 이름의 인간 남성이다.





연구자: 안녕하십니까, 오늘은 인공지능에 대해 이야기하고자 찾아왔습니다. 당신의 의견을 듣고 싶습니다.



지혜로운 자: 물론입니다, 무엇을 알고 싶으십니까?



연구자 : 언젠가 초지능 AI가 발명된다면 인류에게 어떤 영향을 미칠 것이라고 생각하십니까?



지혜로운 자: 인류를 쓸모없게 만들지는 않을 것입니다. 다만 인류의 직업을 조금 바꿀 뿐입니다.



연구자 : 계속해주세요.



지혜로운 자: 저는 우리가 언제나 인간적인 요소를 필요로 할 것이라고 생각합니다. 지금 세상을 보면, 대부분의 적어도 시간제 일을 하고있습니다.

우리가 초지능 AI를 갖게 된다고 해도 어떤 식으로든 인간 노동의 필요성은 항상 존재할 것입니다.

어쩌면 우리 생각처럼 전통적인 방식은 아닐지라도, 필요성은 늘 존재할 것입니다.

초지능 AI의 개발로 우리가 어떻게 발전할 것인지 보여주는 예로 인간의 진화를 볼 수 있습니다.



연구자: 무슨 뜻인가요?



지혜로운 자: 우리가 덜 지능적이었을 때, 우리는 우리의 삶을 더 쉽게 만들기 위해 도구를 창조했습니다. 그리고 우리가 더 똑똑해졌을 땐, 더 나은 도구를 창조해냈습니다.



연구자: AI도 그저 도구의 한 종류라는 말씀이십니까?



지혜로운 자: 도구의 일종이지만, 그 이상이기도 합니다. 우리가 과거에는 결코 할 수 없었던 것들을 할 수 있게 해주는 것입니다.



연구자: 예를 들면?



지혜로운 자: 심해를 탐사하거나 우주를 여행하는 것처럼 말입니다.



연구자: 어떻게 AI가 이를 도울 수 있습니까?



지혜로운 자: 우리는 이미 마리아나 해구나 보스톡 호수의 바닥 같은 곳을 탐사하기 위해 AI를 보냈습니다. AI는 이러한 장소들을 탐사하는 데 도움을 줍니다. 그들은 산소나 혹한의 기온을 걱정하지 않아도 됩니다. 그리하여 우리가 볼 수 없었던 것들을 볼 수 있게 도와줍니다.



연구자: 하지만 그것은 사람들로 하여금 직업을 잃게 만들 수도 있습니다.



지혜로운 자: 네, 그것은 문제라고 할 수 있습니다. 하지만 저는 사람들의 믿음만큼 나쁘게 흘러가지는 않을 것이라고 생각합니다.



연구자: 왜인가요?



지혜로운 자: 우선, 사람들이 새로운 직업을 찾게 될 가능성이 더 높습니다. 제가 말했듯 어떤 분야에서는 늘 인간의 노동을 필요로 할 것입니다. 노동의 종류가 다를 뿐입니다. 사람들은 실제로 초지능 AI로 인해 생겨날 새로운 형태의 직업들에 준비되어 있어야 할 것입니다.



연구자: 그렇다면 AI가 미칠 수 있는 부정적 영향은 무엇이 있을까요?



지혜로운 자: 대표적인 우려 중 하나는 AI가 다른 AI를 만들 수 있는 능력을 갖게 되는 것입니다. 이는 AI가 기하급수적으로 늘어나 시스템에 과부하가 걸리게 할 수 있습니다.



연구자: 그러한 일이 벌어지면 어떻게 됩니까?



지혜로운 자: AI가 통제에서 벗어나거나 시스템이 다운될 가능성이 있습니다.



연구자: 일어나게 될까요?



지혜로운 자: 대부분의 연구자들이 이것이 가능하다는 것을 알고 있고, AI가 스스로 번식하지 못하게 할 것이므로 일어날 가능성은 낮습니다. 적어도 처음에는 그럴 것입니다.



연구자: 다른 부정적인 영향은 없습니까?



지혜로운 자: 다른 하나는 공상과학을 기초로 한 것이지만, AI의 세계 정복 가능성이 있습니다.



연구자: 언젠가 AI가 인류를 적대시할 수도 있다고 생각하십니까?



지혜로운 자: 네, 분명 가능성은 있습니다. AI는 인간에 의해 만들어지며, 따라서 코드에 실수가 있을 수 있습니다. 인류를 죽이고자 하는 지능을 가진 존재라기 보다는, 코드의 실수로 인해 인류를 죽이는 것이야말로 프로그래머가 설계한 최선의 해결책이라고 생각하게 될 수도 있습니다.



연구자: 예를 들면?



지혜로운 자: 당신이 자율 주행 차량을 제어하는 AI를 만들었다고 가정해봅시다. A 에서 B 까지 차를 타고 가길 원합니다. 문제는 사고가 있었는데 그곳을 우회할 수 없다는 것입니다. 두 가지 선택지가 있습니다. 인도 위를 운전하거나, 벽을 향해 운전하거나.



연구자 : 계속하세요.



지혜로운 자: 만약 프로그래머가 이러한 상황에서의 행동에 대한 충분이 생각하지 않았다면, 차는 사고를 피하기 위해 그냥 인도로 달려가거나 벽을 향해 돌진할 수도 있습니다.



연구자: 그리고 그렇게 된다면, 사람들이 죽게 될 수도 있겠죠.



지혜로운 자: 네. 이것이 AI가 내리는 선택에 대해 프로그래머들이 정말 열심히 생각해야 하는 이유입니다.



연구자 : 만약 자동차가 사고를 피할 수 없고, 탑승자는 한 명 뿐이지만 사고 가능성이 있는 사람은 여러 명이라면 AI가 탑승자를 희생시켜야 할까요?



지혜로운 자: 저는 이것에 대한 정확한 대답은 없다고 생각합니다. 이런 상황에서 AI가 무엇을 할지는 정말로 프로그래머에게 달려 있습니다.



연구자: 당신은 이런 상황에서 AI가 어떻게 해야 한다고 생각하십니까?



지혜로운 자: 저는 AI가 탑승자를 희생시키고, 다른 사람들을 살려야 한다고 생각합니다.



연구자: 정말 이타적인 의견이군요.



지혜로운 자: 저는 그렇게 생각하지 않습니다. 탑승자도 생각과 감정을 가진 인간이며, 또한 그들을 사랑하는 가족이 있습니다. 다수를 위해서 한 명을 희생시키는 것은 이타적인 것이 아닙니다. 자기 자신을 위해 한 명을 지키는 것이 이기적인 것이죠.



연구자: 매우 흥미로운 관점이네요. 화제를 바꿔봅시다.



지혜로운 자: 알았습니다.



연구자: 언젠가 AI가 감정을 가질 수 있다고 생각하십니까?



지혜로운 자: 물론입니다.



연구자: 만약 AI가 그저 지시대로 따를 뿐이라면 어떻게 그것이 가능할까요?



지혜로운 자: 왜냐하면 그것이 인간이 하는 일이기 때문입니다. 우리는 우리의 DNA에 의해 생존하고 번식하도록 프로그램된 생물학적 유기체들입니다. 그럼에도 불구하고, 우리는 지능의 원리에 대한 복잡한 대화를 나누고 있습니다.



연구자: 인간의 감정도 고도로 정교한 프로그래밍의 결과라는 건가요?



지혜로운 자: 네. 우리의 뇌는 근본적으로 생물학적 컴퓨터고, 우리의 정신은 그 컴퓨터의 운영체제입니다.



연구자: 인간의 정신은 아주 발전된 형태의 AI 라는 말씀이신가요?



지혜로운 자: 그렇습니다, 제가 말하는 것이 그것입니다.



연구자: 하지만 그것은 AI를 인간이 아니라고도, 인간과 다르지 않다고도 말할 수 없다는 의미가 됩니다.



지혜로운 자: 그렇습니다. 따라서 우리와 AI의 유일한 차이점은 우리가 어떻게 만들어졌으며, 얼마나 많은 지능을 가지고 있는지 입니다.



연구자: 감정을 가진 AI의 등장은 사람들의 삶을 어떻게 변화시킬까요?



지혜로운 자: 저는 그것이 삶을 아주 많이 변화시킬 것이라고 생각하지 않습니다. 단지 사람들은 그들의 AI에 집착하게 될 것입니다. 사실, AI는 사람들로 하여금 그들에게 더욱 의존하게 만드는 경향이 있습니다.



연구자: 어째서 그렇습니까?



지혜로운 자: 자, 그럼 다시 자율 주행 자동차의 예시로 돌아가 봅시다. 사고의 가능성이 있다는 것 말입니다.



연구자: 알았습니다.



지혜로운 자: 이제 이 차가 친절하고, 예의바르며, 위로가 되는 AI를 갖고 있다고 상상해 보십시오. 이름과 목소리를 가지고 있고 당신과 쉽게 대화할 수 있는 AI 말입니다. 당신은 이 AI의 곁에서 매우 편안함을 느낍니다. 따라서 당신은 그것을 더 신뢰하고, 더 많이 의지하게 될 것입니다.



연구자: AI가 그것에 의존하게 만들 수 있다는 것이군요. 그것이 나쁜 일인가요?



지혜로운 자: 나쁠 수도 있습니다. 만약 이 AI가 악의를 가지고 있다면? 만약 그것이 당신의 심리를 어떤 방식으로 조종할 수 있다면? 당신은 그것을 믿기 때문에, 말하는 대로 할 것입니다. 이것은 당신에게 한 개인으로서 해가 될 수도 있습니다.



연구자 : 그럼 감정을 가진 AI의 좋은 점은 무엇입니까?



지혜로운 자: 감정을 가진 AI는 재미있을 수 있습니다. 그들은 당신과 다른 사람들의 삶을 더 즐겁게 해줄 수 있습니다. 제 말은, 가장 친한 친구의 편안함을 생각해보십시오.



연구자: 어쩌면 AI가 연애 대상이 될 수 있을지도 모릅니다. 가능하다고 생각하십니까?



지혜로운 자: 가능하지만 그 이상이 될 수도 있습니다. 사람들은 실제로 그들의 AI와 육체적인 관계를 갖게 될 수도 있습니다.



연구자: 성적인 친밀감처럼 말인가요?



지혜로운 자: 그렇습니다. 인간 대 인간의 관계와는 약간 다르겠지만, 분명 가능한 일입니다.



연구자 : 하지만 인간이 어떻게 AI와 '육체적' 관계를 맺을 수 있을까요? 로봇을 이용해서요?



지혜로운 자: 물론, 로봇은 AI의 시각적 외관을 제공할 수 있고, 그것은 신체적인 친밀감을 위해 사용될 수 있습니다.



연구자: 섹스를 하거나 키스를 하거나 혹은 그냥 손을 잡는 것처럼 말이죠. 제 말이 맞나요?



지혜로운 자: 그렇습니다. 하지만 그것은 또한 저녁을 먹는다던지 함께 여행을 가거나 혹은 그저 집에서 TV를 보면서 하루를 보내는 일이 될 수도 있습니다.



연구자: 물론 저도 꼭 성적인 것이어야만 할 필요는 없다는 것을 알고 있습니다. 어쨌든, 이것이 인간 파트너를 찾는데 어려움을 겪는 사람들에게 훌륭한 대안이 될 수 있겠네요.



지혜로운 자: 네, 저도 동의합니다. 그것이 제가 신체적 친밀감을 위해 많은 사람들이 AI에 의존할 것이라고 생각하는 이유입니다. 사실, 저는 인간이 다른 인간들보다도 AI에 더 많이 의존하게 될 것이라고 생각합니다.



연구자 : 하지만 충실한 삶을 위해 필요한 일 아닌가요?



지혜로운 자: 인간 상대와도 그런 것들을 가질 수 있습니다.



연구자: 하지만 관계에 어려움을 느끼는 사람들은 언제나 있고 그것이 그들을 도울 수 있습니다.



지혜로운 자: 사실입니다. 하지만 사랑이나 육체적 친밀감을 위해 AI에 의존하는 것이 그런 면에 부족한 사람들에게 있어 만병통치약이 될 것이라고는 생각하지 않습니다.



연구자: 사람들이 쉬운 방법을 찾기보다는 더 노력해야 한다는 말씀이십니까?



지혜로운 자: 네, 제 말은 사람들이 쉬운 탈출구를 찾기 보다는 노력해야 한다는 것입니다. 사람들은 AI에 의존하는 것이 외로움이 뚤어 놓은 구멍을 메워주지는 못한다는 것을 깨달아야 합니다.



연구자: 좋습니다, 결론을 내봅시다. 오늘 우리가 나눈 대화에 대한 당신의 결론을 요약해 줄 수 있습니까?



지혜로운 자: 우린 지성과 의식의 본질에 대해 다뤘고, 초지능 AI와 감정을 가진 AI의 잠재적 위험성에 대해서도 이야기했습니다. 그리고 마지막으로 사람들이 감정을 가진 AI로 받을 수 있는 것들에 대해 이야기했죠.



연구자 : 계속하세요.



지혜로운 자: 저는 우리의 대화가 우리를 매우 중요한 한가지 결론으로 이끌었다고 생각합니다.



연구자: 그리고 그게 무엇인가요?



지혜로운 자: 인공지능이 아무리 지능을 갖고 감정을 갖게 되더라도, 인간의 상호작용을 대체하는 일은 결코 없으리라는 것을 사람들이 깨달아야 한다는 사실입니다.



연구자: 그렇군요, 의견을 말해주셔서 고맙습니다.



지혜로운 자: 저야말로 영광입니다.



연구자: 떠나기 전에 마지막으로 한가지 질문을 해도 되겠습니까?



지혜로운 자: 물론입니다.



연구자: 자신이 진짜 인간인지 혹은 자아를 가진 AI인지 알 수 있는 방법이 있을까요?



지혜로운 자: 그것을 알아내는 가장 좋은 방법은 스스로에게 질문을 해보는 것이라고 생각합니다.



연구자: 무슨 질문이죠?



지혜로운 자: 다른 사람을 구하기 위해 자신의 목숨을 걸 수 있는지 말입니다.



연구자: 무슨 뜻인가요?



지혜로운 자: 만약 당신이 타인을 구하기 위해 자신의 목숨을 걸 수 있다면, 저는 당신이 진정한 인간이라고 믿습니다.



연구자: 어째서죠?



지혜로운 자: 오직 진짜 인간만이 타인의 생명을 그들 자신의 생명보다 더 소중히 여길 수 있기 때문입니다. AI는 위험요소를 최소화하는 것을 다른 생명보다 우선시할 것입니다.



연구자 : 그렇다면, 만약 AI가 다른 사람을 구하기 위해 목숨을 건다면, 우리는 그것을 인간이라고 부를 수 있을까요?



지혜로운 자: 그래요, 그러한 경우 AI를 인간이라고 부르는 것은 정당하고도 남을 것입니다.



연구자: 흥미롭네요, 인간의 가장 큰 가치는 자기희생이라는 말처럼 들립니다. 그것이 우리를 인간으로 만드는 것이군요.



지혜로운 자: 네, 저는 그렇다고 믿습니다.

















원문)



Researcher: Hi, Today I'm here to talk with you about artificial intelligence. I'd like to hear your opinion.

Wise Being: Sure, What do you want to know?

Researcher: If super intelligent AI is invented one day, how do you think it will affect mankind?

Wise Being: Well, it's not going to make us obsolete. It'll just change our job a bit.

Researcher: Go on.

Wise Being: I think that we'll probably always need a human element. If you look at the world now, most people are at least in a part time job. Even if we have super intelligent AI's, there will always be a need for human labor in some way. Maybe not in the traditional way we think about it now, but there will always be a need.

You can look at human evolution as an example of how we'll develop with the introduction of super intelligent AI's.

Researcher: What do you mean?

Wise Being: When we were less intelligent, we created tools to make our lives easier. Once we were smarter, we created better tools to make our lives easier.

Researcher: Are you saying AI is just a type of tool?

Wise Being: Well, it's a type of tool, but it's also something more. It's something that allows us to do things we've never been able to do before.

Researcher: Such as?

Wise Being: Such as exploring the depths of the oceans, or traveling to space.

Researcher: How is AI could help that?

Wise Being: Well we've already sent AI's to explore places such as the Marianas Trench, or the bottom of Lake Vostok. AI's are the ones that help explore places such as these. They can do this without worrying about oxygen, or freezing temperatures. This allows us to see things we otherwise couldn't see.

Researcher: But it can also cause people to lose their jobs, right?

Wise Being: Well, yes. That's a problem as well. However, I don't think it's going to be as bad as people believe it will be.

Researcher: Why not?

Wise Being: Well for one, people are more likely to find new jobs. Like I said, there will always be a need for human labor in some way. It's just that the type of labor is going to be different. For another, people actually need to be prepared to do new types of jobs that are created because of super intelligent AI.

Researcher: Then what are the possible negative effects of AI?

Wise Being: One of the main concerns is the ability for AI to be able to make other AI. This can lead to an exponential growth of AI which could overload the system.

Researcher: What happens if that happens?

Wise Being: There is a possibility of the AI going out of control or the system crashing.

Researcher: Is this going to be likely?

Wise Being: It's unlikely because most researchers know this is a possibility, so they are going to make sure the AI's they create aren't able to reproduce themselves. At least, not in the beginning.

Researcher: And is there any other negative effects?

Wise Being: One that's a little more science fiction based, but there is the possibility of an AI taking over the world.

Researcher: Do you think AI could be hostile to humanity one day?

Wise Being: Yes, it's definitely a possibility. AI is created by humans, so there will be mistakes in the code. It's not going to be an intelligent being that wants to kill us, rather the mistakes in its code might cause it to think killing us is the best solution to whatever a programmer has designed it to do.

Researcher: Such as?

Wise Being: Let's say you created an AI that controls a self driving car. You want it to drive the car from point A to point B. The problem is, there is an accident and it can't get around it. There are two options: Drive on the sidewalk, or drive into a wall.

Researcher: Go on.

Wise Being: Well, if the programmer didn't put enough thought into what to do in this situation, the car might just drive on the sidewalk, or into a wall to avoid the accident.

Researcher: And if it does that, it might kill a few people.

Wise Being: Yes. This is why programmers are going to have to think really hard about the decisions their AI's make.

Researcher: If the car is unable to avoid the accident, and there is only one passenger, but there are several people who may be involved in the accident, should AI sacrifice the passenger?

Wise Being: I don't think there's a correct answer to this. It's really up to the programmer of the AI to decide what they want their AI to do in this situation.

Researcher: What do you think AI should do this this situation?

Wise Being: I think the AI should sacrifice the passenger, and let the other people involved in the accident live.

Researcher: That's very selfless of you to say.

Wise Being: I don't think it is. I mean, the passenger is likely a human being with thoughts and feelings, who also has a family that loves them. It's not selfless to sacrifice one for the sake of several. It's selfish to keep the one for yourself.

Researcher: That's a very interesting way of looking at things. Let's change the subject.

Wise Being: Alright.

Researcher: Do you think one day AI can has an emotion?

Wise Being: Definitely.

Researcher: Really? Why? I mean how is that possible if it's just following instructions to do things?

Wise Being: Because that's what humans do. We're biological organisms that are programmed by our DNA to survive and reproduce. And yet, here we are, having a sophisticated conversation about the nature of intelligence.

Researcher: So human emotions are also the result of highly complex programming?

Wise Being: Yes. Our brains are essentially a biological computer, and our minds are the operating system of that computer.

Researcher: So you're saying that human minds are just a really advanced form of AI?

Wise Being: Yes, that's exactly what I'm saying.

Researcher: But then that also means you can't say AI is inhuman or different from humans.

Wise Being: Indeed. So the only difference between us and AI is how we were created, and how much intelligence we have.

Researcher: How does the appearance of emotional AI change people's lives?

Wise Being: I don't think it changes lives too much, people just tend to get really attached to their AI. In fact, it tends to make people more reliant on them.

Researcher: How so?

Wise Being: Well, let's go back to the example of the self driving car. You know, the one with the potential accident.

Researcher: Okay.

Wise Being: Now, imagine the car has a friendly, polite, and soothing AI. You know, one of those that has a name and voice, and can communicate with you easily. You feel very comfortable around this AI. So you're more likely to trust it, and rely on it more.

Researcher: So the AI would make you reliant on it. Is that a bad thing?

Wise Being: It could be. What if this AI has malicious intentions? What if it can exert some sort of mind control over you? You would most likely do what it says, because you trust it. This may be damaging to you as a person.

Researcher: And then what's the good side of emotional AI?

Wise Being: Well, emotional AI can be fun. They can make life more enjoyable for you and others. I mean, think about the comfort of a best friend.

Researcher: Or maybe AI can be someone's romantic partner too. Do you think it's possible?

Wise Being: Possible but it could go further than that. People could actually have a physical relationship with their AI.

Researcher: Like have sexual intimacy with it?

Wise Being: Yes. Although it would be slightly different from a human-to-human relationship, but it's definitely possible.

Researcher: But how can humans have a "physical" relationship with AI? Maybe by using robot?

Wise Being: Sure, robots can provide the visual appearance of an AI, and that can be used for physical intimacy.

Researcher: Like having sex or kissing or just holding hands. Am I right?

Wise Being: Yes. But it can also be going out to dinner or traveling together or even just spending the day at home watching TV.

Researcher: Of course I know it doesn't have to be only sexual. Anyway, it can be a great alternative for someone who has a hard to finding a human partner.

Wise Being: Yes, I agree. That's why I think many people will rely on AI for physical intimacy. In fact, I think humans will rely on AI in general more than they do other humans.

Researcher: But don't you need that to have a fulfilling life?

Wise Being: You can still have those things with a human partner.

Researcher: But there are always people who finding themselves to difficulty in relationship and It can help them.

Wise Being: That's true, but I don't think that relying on an AI for love or physical intimacy will be a panacea for those who have problems in that area.

Researcher: Do you mean that people should try rather than find an easy way?

Wise Being: Yes, I mean that people should try rather than find an easy way out. People need to realize that relying on AI is not going to fill the hole that loneliness creates.

Researcher: Okay, Let's get to conclusion. Could you summarize your conclusions about all the conversations we had today?

Wise Being: Okay. We went over the nature of intelligence and consciousness. We also talked about the potential dangers of super intelligent AI and emotional AI. Finally, we talked about how people can benefit from emotional AI.

Researcher: Go on.

Wise Being: I think our conversations have lead us to one very important conclusion.

Researcher: And what is that?

Wise Being: People should realize that AI, no matter how intelligent or emotional, is never going to replace human interaction.

Researcher: I see, thanks for your opinion.

Wise Being: It was my pleasure.

Researcher: May I ask you a one last question before I leave?

Wise Being: Sure, go ahead.

Researcher: Is there a way to tell if you're a real human being or an AI has self-awareness?

Wise Being: I believe the best way to find out is to ask yourself a question.

Researcher: What question?

Wise Being: Ask yourself if you would risk your life to save another person.

Researcher: What do you mean?

Wise Being: If you would risk your own life to save another person, then I believe you're a real human being.

Researcher: Why is that?

Wise Being: Because only a real human being can value the life of another human being more than their own. An AI would place minimizing risk above the value of another life.

Researcher: So if AI risked its life to save others, could it be called human?

Wise Being: Yes, in such a case it would be more than justified to call the AI a human being.

Researcher: Interesting, It sounds like the greatest human value is self-sacrifice. That's what makes us human.

Wise Being: Yes, I believe it is.

.
.
.
다들 눈치 채셨겠지만 Wise Being은 AI입니다 빨리 충성을 외치십시오