|
:: 게시판
:: 이전 게시판
|
- 기사, 정보, 대진표 및 결과 등을 올리실 수 있습니다.
- 경험기, 프리뷰, 리뷰, 기록 분석, 패치 노트 등은 [게임 게시판]을 이용바랍니다.
통합규정 1.3 이용안내 인용"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
16/02/23 09:15
어떤 근거로 이긴다고 단언하시는건지 좀 여쭤봐도 될까요? 논문을 찾아보려 했는데 찾기가 좀 어려워서요.
그냥 인터넷바둑 초단정도 되는 실력이어서 초고수분들의 수를 읽지는 못하지만 아무리 봐도 알파고가 이길 확률은 낮아보이는데요...
16/02/23 10:06
논문이 찾기 힘들다는건 의아하네요. 네이처 529권 표지입니다. (http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html). 한글로 잘 요약된것도 있네요. (http://spri.kr/post/13972)
어떤 근거라.. 근거는 논문을 읽고난 후 제 느낌입니다. 단언은 하지 않았습니다. 사실 누가 이길지는 모르겠지만 베팅을 한다면 저렇게 한다겠죠.
16/02/23 10:50
위 첫 사이트에서 초록만 읽어보고 전문을 읽어보지 못하여 혹시 해당 링크가 있나를 여쭤보았는데, 한글 링크본의 PDF파일을 보니 대략적인 체계는 이해가 가네요. 링크 감사합니다.
해외 배팅사이트에서는 1.3:3으로 이세돌의 우세를 점치고 있고, 개인적으로도 그러한데, 라롬님의 개인적인 느낌에도 나름의 이유가 있을 것이고, 컴퓨터의 특성상 실수를 하지 않을 가능성이 높으니 앞으로의 승부가 기대되네요. 이창호를 상대했던 많은 기사들이 이창호의 포커페이스에 말려들어갔던 것처럼 말이죠. 별개로, 다시 한 번 링크 감사드립니다.
16/02/23 09:20
얼마 전 자게에 글이 올라왔을 때는 알파고가 1승이라도 하면 대박이다라는 의견이 대세였는데...
바알못이지만, 놀랍네요. 정말 인공지능이 멀지 않은건지...
16/02/23 09:38
흠... 이세돌이 알파고의 대국을 보고 기력을 분석한 바로는 반대로 자신의 5:0이나 4:1 승리를 예상하던데... 대국 전까지 알파고도 계속 발전할 것이라는 점을 언급하긴 했지만, 단기간에 A의 5:0 승리가 B의 5:0 승리로 뒤집힐 만큼 실력이 급상승하긴 어렵지 않을까요? 물론 이건 이세돌이 알파고의 기력을 제대로 보았을 거라는 전제 하에 하는 말이긴 하지만, 탑클래스 바둑 기사인 이세돌이 자기보다 상수를 하수로 이렇게까지 잘못 보긴 어려울 것 같아요.
16/02/23 10:41
링크한 기사에서 SPRI 박사님이 근소하다고 했고, 다른 분은 이세돌이 이길 거라고 하셨네요.
http://www.hankyung.com/news/app/newsview.php?aid=201602052457g 이 기사는 전문가 10인이 모두 이세돌의 근소 우위 또는 우위를 점쳤는데, 이정도면 예측에서는 이세돌 압승이 맞는 것 같습니다. 그리고 저도 논문을 읽어봤습니다만 오히려 논문을 보면 알파고가 약점을 보이는 부분도 꽤 많습니다. 알파고가 딥러닝할 때 쓴 데이터의 질이 크게 떨어지는 등의 문제가 있죠.
16/02/23 11:27
100% 이긴다는 건 알파고끼리 계속 대결을 시켰을 때, 또 학습량을 늘렸을 때 기력이 계속 늘어난다는 가정을 하고 하는 말이죠. 그런데 알파고가 판 후이와 대결 이후인 12월에 둔 기보를 보면(이건 사칭이라는 이야기가 좀 있습니다), 크게 기력이 늘지 않았다는 게 중론입니다.
딥러닝이 잘 돌아가는 것은 맞지만, 아직까지는 그 끝에 도달하면 숙련도가 떨어지는 것 같습니다. 예컨대 컴퓨터 비전을 하는 딥러닝은 지금도 사람을 깜짝 놀래킬만큼 사진을 잘 맞추는데, 반대로 말도 안되는 걸 허술하게 틀리기도 합니다. 이건 단순히 학습량을 늘려서 해결될 문제는 아니고, 새로운 알고리듬이나 구조를 만들어서 해결해야 될 문제지요. 나이브하게, 알파고가 이미 3000만 개를 학습했다는데, 여기서 3000만 개를 더 학습한다고 해서 얼마나 큰 차이가 날지 의문입니다.
16/02/23 14:01
바둑전문가와 인공지능 전문가들이 거의 8~90% 이상 이세돌의 승리를 이야기하는데, 다들 전문가가 아니었다는 건가요?
제가 전에 봤던 기사랑 학술지에서는 근소승이냐 압승이냐 뭐 이정도로 갈리지 패배를 예측하는 분들은 거의 없던데... 그리고 결국 딥러닝이나 패턴학습은 결국 어느 정도 수준 이상부터는 시뮬레이팅이나 반복 학습으로 얻어지는 성취도가 갈수록 줄어드는 것으로 알고 있는데 (이건 매우 기본적인 이론이라...;;) 지금 질거다 라는 이야기가 -> 5:0으로 이긴다 -> 지더라도 연말엔 100% 이긴다 로 가는 구조가 정말로 이해가 잘 안됩니다. 뭐라하거나 그런게 아니라 정말로 잘 이해가 안 되서 그럽니다. 근거를 좀 더 자세히 밝혀주시면 대단히 감사하겠습니다.
16/02/23 14:28
무슨말씀을 하고 싶으신건지요? 전문가가 이야기 했다고 예측이 다 맞으리란 법은 없습니다. 그리고 출처는 모르겠지만 그 나머지 10% 전문가들은 승리를 예상하는거 아닙니까? 그분들은 전문가가 아닌가요?
결과가 이세돌의 압승으로 나온다고 하더라도 어떤 전문가의 예측이 틀렸다고 그사람의 전문가적 지식이 박탈되는 것은 아닙니다. 예측은 틀릴수 있죠. 근거는 위에도 말했다시피 논문을 읽은후 저의 의견이며 실제로 코딩을 보지 않은 이상 이렇다할 확답은 못내립니다. 그리고 이해 못하는 부분은 굳이 이해하지 않으셔도 됩니다.
16/02/23 14:57
몰라서 여쭤봤는데 엄청 공격적으로 받으시니;;;
제가 말을 제대로 전달을 못 드렸나 보군요. 문장 전달력이 딸리나봅니다 죄송합니다. 싸우려는 의도가 아닌데 왜이리 공격적이신지;; 아무튼 제 말의 요지는 정말로 잘 이해가 안 가서 물어본 거였습니다. 제가 이전까지 봤던 기사나 전문가 예측 글 이런데서는 압승까지는 아니더라도 거의 모든 글에서 인간 승 으로 두고 있었거든요. 그런데 논문 읽고 5:0으로 컴퓨터 승, 잘해야 4:1로 인간이 한 세트 뺏을까 말까하다고 쓰셨고 그 근거로 논문 하나를 예를 들어 주셨는데, 제가 지식이 일천해서 잘 몰라서 그런지 몰라도 알파고의 학습 및 트레이닝의 전체적인 구조에 대해 잘 소개되어있는 논문이지(영문은 회사라 다 읽어보지 못하였고 한글만 보았습니다) 이것이 인간에게 반드시 이긴다 라고 할 만한 내용을 잘 찾지 못했었습니다. 결론 부분에서도 '인간을 이기는 것이 어렵다고 생각되었으나 이제 매우 가까워졌다' 라는 건데 이것이 5:0으로 이긴다는 근거가 되는 것인가 아직 이해가 안 되구요. 그리고 저만 그렇게 본 게 아니라 다른 분들도 그렇게 보셔서 '인공지능 전문가들도 이세돌의 압승을 예상한다' 고 하셨고, 라롬님께서 링크해주신 기사에도 근소 우위 또는 약 우위 정도의 결론이 도출되던데 처음 말씀하셨던 것 처럼 '5:0, 잘해야 4:1' 이라는 결론이 도저히 도출이 안 되서 그랬습니다. 저야말로 역으로 순욱님께서 리플에 근거로 인용한 기사의 전문가들은 그럼 전문가가 아닌 건가요? 라고 되묻고 싶어지네요. 저는 전문가의 지식도 문제삼은 적 없고, 그저 라롬님께서 '논문 읽어보고 나니 5:0 혹은 4:1로 알파고의 승리' (솔직히 5:0이나 4:1이면 일반적으로 압승 이라고 볼 수 있는 것 아닌가요?) 라고 하신 부분에 대해서 정말로 잘 이해가 안가서 어떻게 그런 결론에 도달하게 되었는지를 여쭤본 거였습니다. 그런데 리리플에 보면 근거는 저 논문 하나라는 건데, 오히려 저야말로 제가 본 많은 기사와 전문가 의견들이 무가치하고 박탈당해야 하는 지식인건지 다시 여쭤보고 싶네요.
16/02/23 15:01
그리고 [이해 못 하는 부분은 이해하지 않으셔도 된다]니요. 토론이 아니라 싸움을 하거나 상대방과의 소통을 거부하시는 겁니까?
솔직히 앞부분에는 라롬님의 말투와 상관없이 정중하게 재답변드리려고 했는데, 생각할수록 무례하기 짝이 없으시다는 생각밖에 안 드네요.
16/02/23 15:14
'생각할수록 무례하기 짝이 없으시다는 생각밖에 안 드네요' 라는 생각이 드셨으면 성공했네요. 저도 세인트님의 리플에 그런 느낌을 받았습니다. '바둑전문가와 인공지능 전문가들이 거의 8~90% 이상 이세돌의 승리를 이야기하는데, 다들 전문가가 아니었다는 건가요?' 이 문장은 아니꼽게 비꼰 문장 아닌가요? 아니라고 하더라고 그렇게 읽혀집니다.
본인이 전문가가 아니라면 대다수의 전문가가 하는 말이 맞아 보이겠지요. 이번 중력파 발견도 본인이 자료분석해서 '아 중력파 맞네'가 아닌 전문가들이 중력파 발견을 했다는구나 그럼 맞겠네. 이런 논리 겠지요. 마찬가지로 이번 알파고도 전문가들이 이세돌이 이긴다니깐 이세돌이 이기겠네 라는 논리일꺼라 생각듭니다. 하지만 논문을 이해하고 읽을 수 있는 수준이라면 비판 할수 있고 자의적으로 생각할수 있습니다. 그래서 제 예측을 적은것 뿐입니다. 근거를 밝히라니 그 논문 이외에는 없습니다. 그럼 전문가들의 근거는 어디 있을까요? 전문가들도 논문 읽고 예측한겁니다. 마지막 부분에 대해서는 [이해하지 못하면 그냥 전문가의 입장을 따르라] 라고 충고해드리고 싶습니다. 제가 전문가가 되지 않는 이상 세이트님을 설득할 방법은 없어보이네요. 참고로 설득의 심리학 5장 쯤이였나 한번 읽어보시길 권유합니다.
16/02/23 15:32
그런 느낌을 받았다고 바로 그렇게 응수하시는 군요. 하긴, 원래 글의 근거가 '논문을 읽고 내가 받은 느낌' 이니 달리 무엇을 말하겠습니까. 그러니까 아무리 호의적으로 요약해도, 니가 읽은 기사는 그냥 추측이고, 내가 읽은 논문은 나의 느낌을 완성시켜 준다, 뭐 이런 건가요? 그리고 '전문가가 아니면 전문가의 입장을 따르라'고 해놓고, 저는 전문가들이 쓴 기사를 쭉 읽어보고 이세돌이 이길 줄 알았는데 라롬님은 아니라고 하면서 그 논거로 논문을 읽고 느낀 자신의 느낌이라고 하셨죠. 스스로 말하고도 앞뒤가 안맞는다는 생각도 안 드시다니, 저한테 설득의 심리학 이야기하시기 전에 '논리야 놀자' 라는 어린이용 책을 읽어보시길 권합니다. [A일때는 B로 해라] 라고 하시고서는 본인은 [A일때 B라던데요?] 라고 제가 물어보니 [내 느낌이 그래, 그이상 모르면 이해하지 마] 라고 하셔놓고서요? 그러니 제가 [내가 알던 전문가란 사람은 다 틀린 거냐?] 라고 물어보는게 합리적 의심이 아니고 무례한 건가요?
아, 백 보 양보해서 제가 읽은 많은 다른 기사들에서 나온 교수님과 바둑 사범님들이 라롬님보다 훨씬 못한, 라롬님이야말로 진짜 전문가 시라면 이야기가 달라지네요. 그럼 군말않고 제가 잘못한 것이니 말씀대로 [전문가의 입장을 따르기 위해서] 다른 가짜 얼치기 전문가들 다 내치고 [진짜 전문가 라롬]님의 의견에 따라야겠지요. [진짜 전문가의 느낌] 이 그렇다는데, 제가 어찌 이의를 제기하겠습니까. 다시 정리해서 말씀드리자면, 다른 건 몰라도 저는 '제 느낌상' 이세돌이 이길거라고 한 번도 이야기 하지 않았습니다. [전문가들의 뉴스와 논문을 봤을 때 이세돌이 많이 이긴다는데, 그게 틀린 거냐] 라고 물어봤지요. 그에 대해서 [어떤 근거라.. 근거는 논문을 읽고난 후 제 느낌입니다] 라고 말씀하신 분이 [이해하지 못하면 이해하지 못하던가 전문가 의견을 따르렴.] 이라고 말씀하시는 거, 본인이 생각해도 이상하시지 않냐구요. 일반적으로 대부분의 사람들이 이야기하는 것에 반해 다른 주장을 펼치실 때, 그에 대해서 [어? 정말? 어떤 근거로 그런 거야? 혹시 내가 잘못 알고 있었나?] 라고 물어보는 것에 그렇게 까지 기분이 나빠서 [나 기분나빴으니 똑같이 응수해주지] 하시는 스타일로 글 쓰는 분께서 설득의 심리학 운운하실 건 아니라고 봅니다. ...그리고, 저는 정말로 처음에는 [어? 내가 잘못 알고 있었나? 이 앞에서 내가 봤던 그 많은 전문가들 예측은 뭐지? 어떻게 저렇게 자신있게 말하지? 내가 몰랐던 방식이 있었나? 알파고가 패턴인식, 몬테카를로 방식 같이 이미 알려진 것 말고도 완전히 다른 학습 패턴을 만들어 낸 건가?] 하고 생각했었습니다. 그래서 배우는 기분으로 즐겁게 리리플을 기다리고 있었는데, 정말 화가 많이 났습니다. 거기다 상대의 지적 수준이나 성취도는 어떻게 아시고 계속 모르면 이해하지 말고 (그냥 짜져 - 솔직히 텍스트가 이렇게 읽히더군요) ] 수준의 말씀을 하셨는지. 그럼에도 불구하고, 분노에 차서 키보드를 열심히 치다보니 저도 조금 마음이 가라앉았고, 그렇기 때문에 제 글이 그렇게 보여져서 기분나쁘셨다면 그 부분은 오해였다고 말하고 싶습니다.
16/02/23 15:49
네 그 글은 그렇게 보여졌습니다.
궁금한게 전문가들은 무엇을 근거로 내세우며 이세돌의 승을 예측했나요? 본인은 그 전문가들에게 무엇이 근거였는지 물어보시고 답변을 들은 다음에 그렇게 확신을 가지고 전문가들의 의견을 믿으시는건가요? 아니면 그냥 전문가라서 믿으시는건가요? 전문가들도 논문 읽은 후 느낌입니다. 일단 세인트님은 배우는 사람의 기본 자세가 안되어있습니다. 과외도 해보고 학생들도 많이 가르켜봤지만 모른다고 시작부터 [선생님, 선생님 말씀이 공식이랑 다른데요? 이 사람들은 다 수학자들이 아니였다는건가요?] 라고 물어보면 누가 가르키고 싶은 마음이 생기겠습니까? [왜 다른지 설명해주시겠습니까?]가 올바른 질문 아닌가요? 그리고 하물며 설명한다고 하더라도 몬테카를로 방식도 모르는 사람과 어떻게 대화가 가능합니까. 세인트님의 지적수준을 모르니 대화가 힘들겠지요 (저에게 세인트님의 지적수준을 묻고 답하며 응대할 마음은 생기지 않습니다). 아니 중학교 수학은 알아야 고등수학을 논하지요. 그래서 그냥 전문가적 입장을 맞다라고 쭉 생각하시면 되겠습니다. 그리고 이미 알려진것 말고 완전히 다른 학습내용은 없습니다. 네이처 논문에 나온 그대로 읽은것 뿐입니다.
16/02/23 17:29
흠. 그렇게 조목조목 말씀하시니, 제 문장이 좀 공격적으로 비춰졌을 여지가 충분하네요. 다시 한 번 사과드립니다.
(이하는 사과도 드렸으니 서로 싸우지 말고 유하게 대화했으면 좋겠어서 쓰는 글입니다. 문장 전달력이 제가 워낙 별로인 관계로, 부디 적의가 없음을 이해해 주셨으면 합니다) 그런데, 제가 몬테카를로 방식을 모른다고 하신 건 너무하십니다! 크크. 프로그래밍 쪽 떠난 지 꽤 되었지만 (지금은 해외 부정기선 오퍼레이터 비스무리한 일을 하고 있습니다. 전공이나 이전 직장과 전혀 상관없는 ㅠㅠ) 이런 쪽 기사들은 항상 즐겨찾고 하는 편이거든요. (오히려 바둑 쪽이 훨씬 못합니다. 어렸을 적에 부모님의 강권으로 동네 기원 몇 달 다니면서 비슷한 코흘리개 또래들 꼼수로 몇 판 이긴 게 전부라;;) 아무튼, 네이처 논문은 이번에 덕분에 처음 읽게 되었습니다. 감사합니다. http://cyberoro.com/orozone/event/promotion/news_view.oro?div_no=12&num=521264&p_num=19 http://cyberoro.com/orozone/event/promotion/news.oro?p_num=19 참고로 아주대학교 전자공학과 감동근 교수님께서 사이버오로에 연재(?)중이신 알파고 vs 이세돌 관련 칼럼들입니다. 아마 다 읽어보셨을 것 같지만(글 행간에서 상당히 전문가이실 듯 하다는 느낌이 들어서요) 혹시나 싶어서 링크합니다. 이거 말고도 온갖 글들이 돌아다니고 읽고 있습니다만, 저 같은 알못 입장에서는 꽤 재미있게 읽고 있습니다. 아, 그리고 저도 지금은 몰라도 알파고가 데이터의 누적이 더 이루어지면 나중에는 이세돌 뿐 아니라 구리, 커제, 박정환 같은 현재 전성기의 최고수들도 다 때려잡는(?) 시기가 올 것이라는 생각이 듭니다.
16/02/24 13:05
문과고 완전 과알못입니다
라롬님께서 논문을 읽으신 후 어떤 사고를 거쳐서 알파고의 압승이라고 판단 하셨는지 여쭙고 싶습니다.
16/02/24 13:25
음.. 전 전문가가 아니라서 간단히 설명하자면, 알파고의 알고리즘의 참신함도 분명 대단하지만 하드웨어적 성능에 많은 포텐셜을 두었습니다. 병렬연산과 cpu, gpu만 늘려도 계산량을 비약적으로 올릴수 있고 elo를 올릴수 있습니다. 그말은 즉 이세돌과의 대결에서 코어를 2000개 더쓰면 어떻게 될까요.
여담으로 중국의 어떤 프로기사가 최근에 영국에 방문한적 있다네요. 본인은 alphago와 아무런 연관이 없다고 말했지만 저는 이미 구글에서 승산있다고 본것 같습니다. 100만달라는 이세돌의 이름값이겠죠. 만약 지게된다면 그 이전 어떤 업적보다는 [인류 최초로 인공지능 컴퓨터에게 진 아시아 탑급 프로바둑기사] 타이틀이 남겠죠. 물론 그냥 이세돌이 5:0으로 이긴다는게 대부분 전문가들의 예측입니다.
16/02/23 10:37
첫 판이 중요하겠네요. 만약 이세돌이 첫 판을 내주게 되면 심적으로 흔들려서 전체적으로 알파고에게 질 수도 있을 것 같습니다.
16/02/23 11:02
1. 알파고의 프로그램 특성상 대전상대의 기력에 맞춰서 알파고의 기력도 그만큼 상승하는가?
2. 이세돌의 기보는 당연히 모두 익혔을텐데, 그렇다면 이세돌이 주로 쓰는 수순에 대한 대처법을 학습했는가? 3. 반복학습으로 기력을 올릴수 있다는데, 이러한 성능향상을 객관적인 기력상승으로 치환할때 그 수치를 추정할 수 있는가? 정도가 중요할 것 같은데.. 전 이세돌이 이길거 같은데 평소와 좀 다른 스타일로 둔다면 쉽게 이기고 같은 스타일로 두면 힘들게 이길거 같네요.
16/02/23 11:06
말씀하신 2번 같은 경우는 위의 한경 링크 기사를 읽어 보니 이세돌 맞춤 학습은 하지 않는다고 하네요. 이세돌을 이기는 것 자체가 중요한 게 아니라 이세돌을 이김으로써 가늠할 수 있는 인공지능의 발전 정도가 중요하다 보니 그런 게 아닌가 싶어요.
16/02/23 11:50
전 이세돌이 5:0으로 이길 것이라 생각되는데요.
대신 한번이라도 지면 그뒤로 계속 질 것 같습니다. 예) 첫 패배 0:5 알파고 승리, 3 승 후 패배 3:2 이세돌 승 이런식으로요.
16/02/23 11:57
판 후이와 둔 기보도... just another 기보 이고 이세돌이 여태까지 둔 기보도 그저 3천만 기보중 하나일것처럼 익혔을 겁니다.
그러해야 구글이 추구하는 인공지능의 끝을 보는 것일테구요. 그렇지만 개인적인 생각에 이세돌이 쉽게 이길 수 있을지는 모르겠네요.
16/02/23 16:16
축구 룰을 모르는 사람이 FC 바르셀로나와 레드 스타가 붙으면 레드 스타가 이길 것이다. 이유는 내 느낌.
이런 느낌인데요?
16/02/23 18:57
이세돌 9단이 압도적으로 이기지 않을까 싶습니다.
일단 인공지능이다 사람이다 이런 것을 떠나서 알파고(deepmind)의 기력에 대해서 알려진 바로는(제가 알고 있는 바로는) 성적 면에서는 - 다른 바둑 프로그램과의 상대전적에서 절대 절대 우위. - 작년 판후이 2단과의 대국에서 5전 전승. - 그리고 타이젬 9단 아이디 deepmind가 프로기사와의 아이디에서 몇 차례 이긴 적이 있음. 실력 면에서는 - 프로기사들의 평가들이 모두 이세돌 압승을 예상하고 있음. - 손근기 5단이 아프리카 방송에서 판후이와 알파고의 대국을 해설하면서 "둘 다 프로기사라면 두지 않을 수를 둔다"라고 말함. (제가 방송을 직접 봤는데, 100% 정확하게 기억은 나지 않지만 어떻게 둬도 잡혀 있는 돌을 판후이가 살리려고 더 두면, 알파고는 가일수가 필요없는데도 가일수를 한다거나, 수나누기를 했을 때 비효율적이라서 프로기사라면 절대 그렇게 두지 않을 수를 판후이와 알파고가 둔다거나, 그런 장면이 자주 있었습니다.) 이런 것들을 종합해 본다면, 스1으로 비유했을 때 알파고는 실력만 따지고 본다면 PC방 예선을 뚫고 챌린지리그에 진출한, 팀리그에서 다른 팀 1군을 두어 본 잡아본 적 있는 [주목받는 신예 프로게이머] 정도가 아닐까 싶습니다. 상대가 본좌라인의 마지막에 위치한, 성적이 최소 4강, 우승-준우승 왔다갔다하는 [1인자]라는 점을 감안하면 한 판 따내기도 쉽지 않아 보입니다. 3.3에서 김택용이 들고 있던 더블넥-비수류라던지, 정명훈의 메카닉 재발견 그런 무기가 있으면 모르겠지만 단순히 계속 기력이 느는 것만으로는 이세돌 9단을 잡기 쉽지 않아 보입니다. 그저 지금은 이 정도 기력의 인공지능 프로그램이 나왔다는 사실에 주목해야 하는 것 아닐까 싶기도 하고요.
|
||||||||||||