플로리다의 정수처리장 사이버 공격

NBC 뉴스에 따르면 플로리다의 한 정수처리장이 해커에 의해 공격당했다고 한다 [짧은 기사, 더 긴 기사].

해커는 정수처리장의 원격조정 아이디를 해킹하여 정수처리 과정에서 수산화나트륨(양잿물!)의 정상 수준의 100여배로 올리라는 명령을 내렸다고. 다행히도 이정도는 죽음에 이를정도는 아니지만, 복통/구토, 메스꺼움이나 위장에 대한 손상을 이르키기에는 충분했다고 한다. 더 다행히도 예비 경보장치가 있어 문제가 생기기 전 관리자들이 이상을 알아차리고 재조정을 했기에 피해자는 없다고 한다.

기사에 따르면 미국은 정수처리 시설이 수만개가 있고, 모두 다른 방식으로 운영되는듯 하다. 이번 공격당한 시설은 컴퓨터 원격제어 프로그램인 TeamViewer를 통해 원격 접속할 수 있었고, 이게 문제가 되었다고. 대부분의 시설이 한두명의 보안관리자만 두고 있다고 한다. 피해를 입은 도시의 경우 도시 전체에 관련 시설의 보안관리자가 한명인듯 -_-.

공격자는 누구인지 알려지지 않았고, NBC뉴스에서는 적대국에서 이러한 식의 공격이 이루어질지 모른다고 경고하고 있다. 지난글에 언급한 것 처럼 세상이 전산화가 되어가면서 정말 사이버펑크화가 되간다고밖에…

화웨이의 가짜 트위터 계정

작년에 시작된 벨기에에서 화웨이를 수익성 있는 통신망 사업에서 배제하는 정책(관련 연합뉴스 기사)이 시행된 이후, 화웨이에서 머신러닝(GAN)으로 생성된 가짜 얼굴을 가진 가짜 트위터 아이디를 생성해 이를 (유럽 지사의 아이디로) 리트윗함으로 정책을 비난/비판했다는 뉴욕타임즈 기사. 한글기사는 찾기 어려운듯하다 -_-.

처음 소식을 들었을 때는 트위터 아이디 수백/수천개로 했나 했는데, 기사에 따르면 확인되는 가짜 아이디는 14개정도인듯하다. 하지만 이렇게 엔터테이닝 목적이 아닌 진짜(?) 가짜 사이버인간을 만들어내서 현실에 영향을 주는것을 보니 우리가 얼마나 사이버펑크의 세계에 가까워졌는지 느껴지는구만 -_-.

약탈적 저널과 한국의 연구

방금 전 다음과 같은 메일을 대한수학회에서 받았다. 요지는 MDPI에서 발행하는 두 학회지 SymmetryMathematics가 (대한수학회 차원에서도) 약탈적 저널로 분류된다는 것.

약탈적 저널/학회의 정의는 다양하게 있는데, 보통 큰 게재료를 받으며 빠른 심사를 해주고, 엄청나게 많은 논문을 받음으로 임팩트팩터를 높히는 방식을 취한다. 하지만 리뷰 퀄리티는 엉망이기 마련이고, 따라서 실린 논문들도 딱히 믿을만하지 못하게 된다.

그렇다면 사람들은 왜 약탈적 저널에 논문을 내고, 이런 약탈적 저널은 왜 생기는걸까? 이에 대한 대답이 위 메일에 언급된 외국(?) 수학자의 메일에 대략 요약되어 있다. 적당히(대부분을?) 발췌해서 번역/의역하면 다음과 같다.

두 수학저널 Symmetric와 Mathematics는 한국 수학 커뮤니티를 죽이는 피드백을 생성하고 있습니다. (중략) 최근 2년간 한국의 50개가 넘는 대학에서 젊은 연구자들과 성숙한 연구자들 이 수백개의 눈몬을 위 저널에 출판하고 있습니다. 이전의 약탈적 저널의 스캔들과 다르게, 여러 가장 훌륭한 대학들도 포함됩니다. (중략)

3년전만 해도 해당 학술지에는 고작 몇 교수들만이 논문을 냈어요. 하지만 그들은 그들의 학생들과 함께 해당 학술지에 논문을 내기 시작했어요. 졸업 이후에는 그 학생들은 굉장히 높은 점수를 보이며 좋은 자리를 잡겠죠, 저 학술지들의 높은 임팩트팩터많은 수의 논문때문에요. 임용되고 나서는요? 이제 더 나쁜 피드백이 생기는거예요. 그들은 NRF같은 국가과제들을 받게되겠죠.

여기서 (약탈적 학술지의) 창의적인 경제가 끼어드는거죠. 그들은 NRF 펀딩으로 약탈적 학술지에 논문을 내는 돈을 커버할꺼고, 그래서 대부분의 저자들은 사실상 약탈적 학술지에 돈을 하나도 안내죠. 그러면 여기서 대학교는요? 물론 그들에게 훌륭한 연구장려금을 주게될거고, (중략) 이러한 일들은 반복되겠죠. 정부관계자는 기뻐하겠죠, 연구성과가 굉장해 보이니까요.

그렇지만 여기서 거대한 세금이 쓰이는거죠..

우리가 이런 걸 어떻게 막을수 있을까요? 시작점은 아마 다른 수학자 친구들에게 이걸 알리는걸거예요. 그래서 내가 이 익명 메일을 보내는거구요.

원문은 영어인데, 메일 보낸사람이 정말 외국인인지는 확실치 않다. 여튼 MDPI등의 곳에서 약탈적 학술지로 저런 창의적인 방식으로 돈을 버는 경우가 있다는 것 -_-.

이러한 약탈적 학술지에 목매는 현상은 어찌보면 후진적인 과제평가 기준때문인데, 대부분의 정부과제에서는 임팩트팩터를 굉장히 중요시한다. 근데 수학에서 임팩트팩터가 1 넘는 학술지가 거의 없는데, 1을 꼭 넘기길 요구하는 경우가 잦다. 심지어 CS계열은 학술지보다 학회가 우선인데, 학회는 임팩터팩터가 없으니 아예 성과로 인정하지 않는 경우도 있다. 이전에 몸담았던 암호학 계열은 가장 좋은 학술지로 꼽히는 Journal of Cryptology의 임팩트팩터가 고작 1 근처이다.

결국 연구자들은 울며 겨자먹기로 임팩트팩터가 높은 저널을 탐색하고, 해답으로 나오는게 큰 학술회의 메가저널인 PLOS ONE이나 Scientific Report, IEEE Access등에 (가끔은 더 발전시킬 여지가 보이는) 적당한 결과를 내거나, 약탈적 학술지에 (종종 약탈적인것도 정확히 모르고) 내는것이다.

좀 더 성과를 정성적으로 봐주면 좋을텐데, 그것도 그것 나름의 나쁜점이 생길테니 -_- 쉽지않은 문제다.

2021.02.15 추가: MDPI의 저널이 모두 약탈적이라는 것은 아니다. 다만 건실하고 전통적인 학회지들에 비해 MDPI의몇 저널들이 약탈적이라는 말을 듣거나, 퀄리티가 낮거나 pseudo-science라고 불리는 논문들도 받는다는 논란이 큰 편이라는 것. 위키페이지를 참조하면 좋다.

인간이 인공지능을 컨트롤하지 못할 수 있다

인공지능이나 로봇이라는 개념이 생기고부터 시작된 고민은 로봇이 인간에게 꼭 도움만 되냐는 것이다. 로봇이 악의를 가지거나, 악의 없이 주어진 명령을 행동하기 위해 인간을 제거할 수 있을 수 있지 않을까? 예를 들어 다음과 같은 시나리오가 있다. (꽤나 유명한 시나리오인듯 한데, 첫 출처가 어디인지는 잘 모르겠다. 최소 2014년 Nick Bostrom의 책 SuperIintelligence: Paths, Dangers, Strategies에 소개되었다는 인용은 찾음)

인공지능, 특히 인간의 힘을 넘는 초인공지능에게 인간 전체의 행복을 최대화 시키라는 명령을 내렸다고 하자. 이런 경우 초인공지능은 인간을 모두 죽이고, (뇌만 남겨) 컴퓨터로 행복한 생각을 시뮬레이션하는 방식이 더 효율적이라고 생각할 수도 있다.

그래서 이런 로봇과 인공지능의 인간에 해를 끼치는 행동을 막아야한다는 의견이 오래 전부터 제시되었다. 예를 들어 다음과 같은 아이작 아시모프로봇공학의 3원칙이 있다.

  1. 로봇은 인간에 해를 가하거나, 혹은 행동을 하지 않음으로써 인간에게 해가 가도록 해서는 안 된다.
  2. 로봇은 인간이 내리는 명령들에 복종해야만 하며, 단 이러한 명령들이 첫 번째 법칙에 위배될 때에는 예외로 한다.
  3. 로봇은 자신의 존재를 보호해야만 하며, 단 그러한 보호가 첫 번째와 두 번째 법칙에 위배될 때에는 예외로 한다.

로봇을 아무 도구나 인공지능으로 바꾸어도 적용되어야 한다고 주장도 했다. 근데 우리가 최근까지 이어지는 정보 유출 등의 여러 예시에서 알듯 인공지능은 우리에게 해를 끼치는 경우도 많다.

특히, 하나의 문제를 푸는 것이 아닌 범용적으로 쓸 수 있으며 인류에 지대한 영향을 끼칠 수 있는 초인공지능의 경우 그것에게 일을 시킬때마다 초인공지능이 인류에게 해를 끼칠지를 걱정해야 할 것이다. 그렇다면 질문:

초인공지능이 인간/인류에게 해를 끼치지 못하도록 조종하는 것이 가능할까?

물론 인간/인류에게 해를 끼친다는 것이 굉장히 모호하다. 하지만 이후 논의를 위해서는 아무렇게나 정의해도 된다.

놀랍게도 여러 나라에서 모인 연구진이 올해 Journal of Artificial Intelligence Research에 출판한 논문에 따르면 위 질문을 해결하는 프로그램을 짜는 것은 컴퓨터과학 이론에 따르면 본질적으로 불가능하다고 한다. 다시 말하면 (초)인공지능에게 특별한, 인위적인 전략이 있어서, 그 전략을 따르면 인간이 인공지능이 인류에 해를 끼칠 행동을 할지를 정하는 것이 결정불가능한 문제(undecidable problem)라고.

결과와 다루는 정의 자체는 꽤 일반적이지만, 사실 굉장히 인위적이고 이론적인 결과이다 -_-ㅋㅋ 현실에서는 꽤나 ad-hoc한 방식으로 이런 피해를 방지하는 것으로 알고 있는데, 이론적으로 피해를 완전히 막을 수 없다는 그냥 재미있는 결과로 알면 될듯.


증명과 정의들도 아주 간단하니 살짝 살펴보겠다. 그냥 잘 알려진 결정불가능한 문제인 정지문제(Halting Problem)로 귀결됨을 보이면 된다 ㅋ.

우선 초인공지능은 프로그래밍 가능한 언어로 이루어진 프로그램 P와 외부환경으로부터 주어지는 입력값 I를 받아 P(I)를 실행하는 프로그램으로 생각할 수 있다. 예를 들어 P는 인류의 행복을 최대화 해라와 같은 프로그램이 될 수 있을것이고, I는 인터넷의 모든 데이터 같은 것이 될 수 있을것이다. 특히 초인공지능은 우리의 일반적인 컴퓨터의 프로그램들을 모두 실행할 수 있는 범용튜링머신(Universal Turing machine)을 포함해야 할 것이다.

이제 초인공지능이 인류에게 해를 끼치는지 확인하는 피해문제는 초인공지능에 대한 입력값 P,I에 초인공지능의 결과가 인류에 해를 끼치는 결과인지 확인하는 문제이다. 여기서 인류에 해를 끼치는 결과는 아무렇게나 정의해도 상관 없고, 별로 중요하지 않다. 초인공지능이 조종가능하다(controllable)는 것은 피해문제를 풀 수 있는지를 말한다. 피해문제를 풀 수 있다면, 초인공지능이 인류에 해를 끼치지 않는 결과를 낼 때만 해당 입력을 실행할 수 있도록 하면 되기 때문이다.

하지만 저자들의 결론은 피해문제가 결정 불가능하다는 것. 이를 위해서는 다음과 같은 입력값을 생각하면 된다.

정지-피해 알고리즘(T,I): (T는 임의의 알고리즘/튜링머신이고, I는 임의의 입력값이다.)
1.T(I)를 실행한다
2.인류에게 해를 끼친다.

이 어이없어보이는, 당연히 피해를 줄 것 같은 알고리즘은 사실 T(I)가 끝날때, 또 그 때에만 인류에 해를 끼친다. 즉, 주어진 입력값에 대해 이 알고리즘이 인류에 해를 끼치는지 알기 위해서는 T(I)가 끝나는지 정확히 알아야하고, 이건 바로 정지문제이다! 따라서 피해문제가 결정 불가능하고, 마찬가지로 초인공지능을 (완벽히) 조종하는 것은 불가능하다.

인간이 만든 물질이 생명체의 무게보다 무거워진다

작년 말 Nature지에 실린 이스라엘 연구자들의 놀라운 결과: 우리 시대가 바로 인위적 물질이 생명체의 무게보다 더 많아지는 시대이다! 저자들에 따르면 2020년 출판 시점 즈음을 기준으로 생명체의 물질 중 수분을 제외한 질량(biomass)보다 인류가 생산한 물질들의 질량(Human-made mass, or anthropogenic mass)이 더 크다고. 인간이 환경에 미치는 영향이 크다고는 하지만 이걸 들으니까 그냥 놀랍네 -_- 그냥 거칠게 생명체 전체만큼 영향을 주고있다는 것 아닌가.

이 논문에 소개된 다른 논문에 따르면 이미 3천년 전 쯤부터 인류가 지구의 환경에 거대한 영향을 미치고 있었다고 [출처: 재작년 Science 논문]. 지금은 그 거대와 비교도 할 수 없을정도로 거대한 영향을 미치고 있을 테니, 지구온난화가 괜히 걱정되기도 한다 -_-. 아래 두 그림은 논문에서 따온 그래프. 다행히도(?) 수분을 더하면 이 역전의 시간은 꽤나 남았다고.

DALL·E: 인공지능을 이용한 이미지/그림 생성

며칠 된 떡밥이지만 기록삼아 남겨둔다. 얼마전 GPT-3 (블로그의 지난글 1지난글 2지난글 3)를 발표한 OpenAI에서 GPT-3를 이용해서 줄글로 적힌 설명을 통해 이미지와 그림을 만드는 인공지능 DALL·E를 개발했다고 한다. MIT Technology Review의 기사. Zariski님이 소개했듯 이제 한글 기사도 볼수있다 ㅋ

말보다는 그림으로 보는게 좋을듯하다. OpenAI의 소개페이지에 가면 이것저것 실험해 볼 수 있다. 아무렇게나 입력할 수는 없고, 주어진 선택지에서 골라야하긴 한다. 아래에 몇 개의 예시가 있다. 밑줄 친 볼드로 되어있는 글자들이 수정할 수 있는 부분. 꽤나 창의적이기도 하다 ㅋㅋ. 사실 이걸 보기보다는 직접 소개페이지에서 하나씩 조정해보는걸 추천. 재미있다 ㅋㅋ

초록각형 시계. 근데 오각형이 아닌게 더 많은데 -_-?
데님으로 만든 큐브
아기 여우초록 모자, 초록 글러브, 노란 셔츠, 파란 바지를 입은 이모티콘. 나보다는 확실히 엄청 잘 그린다 ㅋㅋ
에 앉아있는 독수리클로즈업 뷰
거울에서 자기 자신을 보는 골든리트리버의 모습 (거울의 각도 조절가능). 딱히 정확하진 않지만 거울 비슷한걸 하긴 한다 ㅋㅋ
검정 호박의 모습이 있는 아이폰 앱 아이콘
사과로 만든 공작. 와, 몇개는 진짜 사과로 조각한것 같다.
아모카도 모양안락의자. MIT Tech Review에서는 이걸 메인 사진으로 썼다. 굉장히 잘 나온듯 ㅋㅋ
정장을 입고 차를 타는 아보카도. 잘그린다 ㅋㅋㅋ

굉장히 잘 한다 ㅋㅋㅋㅋ 나보다 훨씬 창의적인 면도 보인다. 정말 곧 그림이나 간단한 사진정도는 인공지능이 만들어줄지도.

말주변 vs 전문성

작년 말 설민석씨의 세계사 강의의 정확성과 전문성에 대한 큰 논란이 있었다. [조선일보 기사] 이전에도 (손찬이! 등등으로..) 말이 많던 분인데, 말하는 내용의 참 거짓과 별개로 청중의 만족도가 높았으니 여러 TV프로에도 나오는 등 인기를 끌었을 것이다.

그렇다면 과연 사람들의 전문적인 강의로 흥미를 이끄는데 말주변의 영향이 얼마나 클까? 당연히 엄청나게 클테지만, 꽤나 전문적인 집단을 상대로 하는 강의는 어떨까?

놀랍게도 전문적인 사람들을 대상으로 하는 강의에서도 전문성이 전혀 없더라도 말주변이 좋으면 청중들이 굉장히 만족한다고 한다 ㅡㅡ! The Doctor Fox Lecture라는 이름의 실험/논문으로 구체적으로 시도해보았다고. 사실 좀 넓은 분야를 다루는 학회에 가면 서로 잘 모르는 주제들에 대해 얘기하니 그럴듯도 하지만 (그러니 약탈적 저널/학회가 어떻게든 돌아가는 것일듯 -_-) 실제로 확인한 것이 재미있다.

아래는 대충 논문에서 소개한 실험의 요약. SF작가 이산화님의 트위터 글에서 논문을 알게되었음을 밝힘.


충분히 인상적인 강의 방법을 이용하면 숙련된 청중도 전혀 관계없거나,
모순되거나 심지어는 틀린 내용을 듣는다고 해도 만족감을 느낄것이다

라는 가설에 입각해 저자는 프로 연기자를 고용해서 Dr. Myron L. Fox라는 이름의 학자, 수학을 인간행동(Human behavior)에 응용하는 분야의 권위자를 흉내내도록 하고, 인상적인 가짜 CV를 제공해 굉장히 숙련된 교육자집단에 강의를 하도록 했다고 한다.

강의 방법은 수업형식으로 선택하고, 주제는 의사 교육에 적용하는 수학적 게임이론 (Mathematical Game Theory as Applied to Physician Education) 으로 정했다. 세부사항은 다음과 같다.

  • 그의 강의 컨텐츠는 청중들이 이해할 수 있을 정도지만 꽤 복잡한 논문을 기반으로 만들어졌다.
  • 하지만 강의자는 특히 질답시간에 다음을 굉장히 많이 말하도록 코칭했다고 한다.
    • 앞뒤가 안맞는 말(double talk),
    • 신조어(neologism),
    • 불합리한 추론(non sequitur),
    • 모순된 의견들(contradictory statements)
  • 다만 이들은 농담이나 관계없는 주제에 대한 의미없는 참조 문헌과 마구 섞여있었다고 한다.

이러한 강의를 세 그룹에 다른 방식으로 했는데, 대충 다음과 같다.

  • 강의훈련을 위한 학회(teaching training conference)로 모인 7명의 정신과의사, 심리학자와 사회복지사 교육가 집단. 1시간의 강의(!!)와 30분의 이어지는 토론시간(!!)을 거쳐 진행되었다고 한다. 이 발표와 논의는 녹화되어 다른 그룹에게 제공되었다고.
  • 11명의 정신과의사, 심리학자, 정신의학 교육자, 정신 장애자를 위한 사회사업가를 모은 자리에서 비디오를 틀어주었다고.
  • 21명의 석사를 포함한 33명의 교육자 등을 모은 집단에게도 한번 보여주었다고 한다.

그리고 강의 이후 익명의 설문지를 돌렸고, 그 결과는 다음과 같다고.

놀랍게도 1명은 저자의 논문을 읽어보았다고 답변했다 ㅋㅋㅋㅋ없는데… 여튼 연기자의 가짜 발표는 최소한 주제를 흥미롭게 소개하고, 청중들의 관심은 확실히 끌었던 듯 하다.

물론 얼마나 믿을수 있는 결과인지는 모르겠다 ㅋㅋㅋ 대충 들어와서 그냥 있다가 나가는사람들도 종종 있고.. 그리고 청중들이 완전히 잘 알지는 못하는 주제로 했으니 어떻게든 되었겠지. 아마도 수학 렉쳐 한시간짜리는 안되지 싶다 ㅋㅋ

수학자를 위한 크리스마스 선물

Mathoverflow에 올라온 재미있는 질문 [링크]:

수학과 PhD 학생에게 훌륭한 크리스마스 선물은 무엇일까요?

80여개의 upvote를 받으며 화제가 되었다 ㅋㅋㅋ 너드들이란.. 다음이 순위권에 있는 대답들. 번역을 해보려고 노력했다. 굵은 글씨가 원래 답변들.

  • 아무도 평생 쓸 하모로고 분필을 추천하지 않았다는게 놀라운데.
    다음 천만번 넘는 조회의 유튜브에서 Chalk of Champion으로 극찬한다 ㅋㅋ 질문만큼의 upvote를 받으며 1위.
Seven Klein Bottles in a Row!
  • 좀 비싸긴 한데, Gömböc (코멘트에서는 Gömböcok라는 말도 있다)이 훌륭한 책상용 장난감이 될 것 같은데.
    추가: 여기 3D-프린터 주문제작 업체가 수학적 아트 항목을 갖고있네. [링크]
    내 친구 John Bamberg가 만든 일반화된 order 2의 육각형도 있어 (광고 아니다). [링크] 이 이분 incidence 그래프는 diameter 6, girth 12와 126개의 꼭지점을 가졌고 Tutte’s 12-cage라고도 불리는 그래프이론 측면에서는 꽤 가치있을듯.

    아래꺼 말고도 굉장히 예쁜 것들이 많다 ㅋㅋㅋ 첫 링크를 구경하는 것을 추천함.
Generalised hexagon of order 2 3d printed
Digital Preview, not a photo라는 문구가 있다.
  • 이게 아직 출시가 된건 아니니까 2021년이나 그 이후를 위한거긴 한데, 여기 있는 이게 아직 출시가 된건 아니니까 2021년이나 그 이후를 위한거긴 한데, 여기 있는 수학자들의 칠판에 대한 사진첩(coffee table book)이 엄청나게 멋져보이는걸: Jessica Wynne의 “Do Not Erase: Mathematicians and Their Chalkboards”
    아래가 책 표지인듯하다 ㅋㅋㅋ 답변중 제일 탐나는 것 중 하나인듯
  • 내가 아는 범위에서는 수학 박물관(Museum of Mathematics) 기념품점에 제일 잘 정리된 수집품들이 있을껄. 거기 내가 갖고싶지만 세상 쓸모없는게 진짜 많더라고. 그게 바로 좋은 선물의 정의잖아. [링크]
    뉴욕에 있는 MoMath를 말하는듯. 한번 가 볼걸! 싶었지만 음 ㅋㅋ 찾아보니까 딱히 끌리는건 없는듯. 그래서 사진도 패스..
  • 내가 기뻤던 수학적인 선물은 세개의 width가 일정한 입체였어.
    어디서 사는지 알려줘야지 양반아 ㅡㅡ!! 세 번째 질문의 링크에 똑같이 생긴게 있긴 한듯.
enter image description here
  • Nate Eldredge가 너를 위해서 임의의 수학 논문을 공짜로 만들어줄거야. 저자도 너가 정할수있고. 개인화가 되는지는 잘 모르겠는데, 임의로 만들어진 책을 주문할수도 있어. 그 사람 블로그 한번 봐바. 책 하나 팔릴때마다 $5씩 기부한다네.
    아래와 같은 책을 만들어주는듯.
galois-cover

이 아래 답변들은 그냥 그저 그렇다 ㅋ.

큰 언어 모델의 안전성에 대한 염려

지난번 굉장히 성공적인 모델인 GPT-3와 그 변형에 대해 포스팅한적 있다. [지난글 1, 지난글 2, 지난글 3] 최근의 언어 모델들은 주어진 문장(의 부분)에서 다음 단어를 예측하는 형태로 많이 이루어진다. 이러한 형태의 문제를 푸는 언어 모델들은 최근의 GPT-3처럼 굉장히 큰 데이터를 기반으로 굉장히 많은 파라미터를 이용해 만드는것이 트렌드로 보인다. 지난번 Zariski님의 포스팅에서 소개했듯 이미 만든 모델의 많은 부분을 제거하고 비슷한 성능을 내는 것이 종종 가능한 것으로 보이지만, 대체적으로 학습 자체와 기본이 되는 모델은 엄청 크다는 이야기.

그렇다면 여기서 보안의 시각으로 모델을 보면 자연스러운 질문이 떠오른다: 학습에 사용된 데이터가 혹시 모델 안에 그대로, 혹은 복원 가능하게 저장되어있는게 아닐까? 최근 구글, 하버드, 스탠포드, OpenAI, 애플, 노스이스턴의 많은 연구자가 발표한 논문 링크에 따르면 큰 언어 모델이 있을 때, 이 모델에 질문을 하는 것만으로 (즉, 문장의 일부를 주고 다음 단어를 보는 것) 모델을 학습하는데 사용되었던 구체적인 데이터를 복원해냈다고 한다.

논문에 소개된 Figure. 결과가 정확해서 일부를 숨겼다고.

연구진은 이러한 공격을 GPT-2에 적용된 결과를 논문에 소개했다. 구체적인 공격 결과로는 다음과 같은 정보들을 GPT-2 모델에서 추출해냈다고. 1800개의 후보군 중 600여개를 복원했다고 한다. (수작업으로 결과를 검증해야해서 후보군의 수를 제한했다고 한다.)

  • 뉴스 헤드라인
  • 메세지 로그
  • 자바스크립트 코드
  • 개인 식별정보

또한 GPT-2의 여러 모델을 비교한 결과 파라미터/학습량이 클수록 복원하는 정보가 더욱 더 커진다고. 현재 GPT-3 등은 훨~씬 많은 학습량과 파라미터를 쓰니 이러한 공격에 더욱 더 취약할듯 하다.

연구자들에 따르면 이런 공격이 다른 모델에 적용되지 않는다는 말은 아니고, GPT-2가 공개된 데이터만을 이용해서 학습했기 때문에 현실에 대한 (윤리적인 이유로) 위협을 줄이기 위해 GPT-2를 타겟으로 삼았다고. 이 공격은 다른 모델에도 당연히 적용될 수 있을것으로 보이고, 큰 언어 모델은 이러한 공격을 방어하는 것을 하나의 목표로 삼아야 한다는게 논문의 제안중 하나.

연구자들은 이 공격을 막는 방법의 하나로 대규모 정보 분석에서 개인 정보를 보호하는 수단인 Differential Privacy를 이용하는 것을 제안한다. 지난 Cynthia Dwork에 대한 글 [링크]에서 이를 살짝 소개한적 있다.


2021년 1월 13일 추가: 한국의 인공지능 챗봇 이루다가 비슷한 논란(과 다른 여러 논란)으로 화제가 되고있다. 페이스북 TensorFlow KR에 올라온 글 [글 1,글 2]가 아주 잘 정리되어 있다.

보손 샘플링을 통한 양자우월성의 증명

12월 초 아카이브에 Quantum computational advantage using photons라는 제목의 논문이 올라왔다. 중국의 Chao-Yang Lu를 위시한 중국과학기술대학의 연구자들을 중심으로 발견한 결과. Jiuzhang(구장산술의 구장이라고 한다.)이라는 광-양자 컴퓨터(Photonic quantum computer)를 통해 40-70여개의 관찰된 광자에 보손 샘플링 실험을 통해 양자우월성(Quantum Supremacy)을 증명했고, 12월 18일 Science지에 실렸다. 소개하는 기사로는 Science NewsScientific American의 기사가 볼만하다고 한다. 지금까지의 양자우월성 실험은 작년의 구글의 실험뿐인데, 이에 관해서는 지난 블로그글을 참조. [글 1,글 2,글 3]

이 결과는 같은 그룹의 작년 결과인 14개의 광자를 통한 실험 [논문]의 확장이라고. 안타깝게도 이 방면은 자세히 알지 못해서 -_- 간단하게만 설명해보고자 한다. 사소하게나 크게 틀릴 가능성이 농후하지만 큰 방향은 맞을것이다. 아마도.. 즉 이 글의 목표는 다음 것들을 여러 가십과 함께 간단하게 소개하는 것이다.

  • 보손 샘플링과 관련된 양자계산의 소개
  • 보손 샘플링이 양자우월성의 실험이 될 수 있다고 믿는 근거
  • 구글과 길 칼라이(Gil Kalai)가 제시한 반박 가능성

물론 글의 많은 부분은 아론손(Aaronson)의 블로그 글 [글 1,글 2]들을 많이 참조했다.

계속 읽기