AIの未来を語る「Nexus」を読みました【知人の人生が壊れた件】

おはようございます🌞
AIの未来を語るNexusを読みました。感想は下記。

• 自分は何も知らなかったことを知った

• そして今後も、それは変わらないと思う

• だから自分が取り組みたい課題に集中する

全てを学ぶことは出来ません。なので目的を考えて学習をする。僕の行動目的は、個人の可能性を広げること。その為には時代への波乗りが必須。だから変化を学びます。

• 1．Facebookが生み出したミャンマーの悲劇

• 2．コンピュータが中心に意思決定をする世界

• 3．今のSNSには事実を言うインセンティブがない

• 4．今後は「仕事の消失 & 発生サイクル」が早まる

文量が多いので気になる部分だけどうぞ。それでは解説します🙋‍♂️

---

■ 1．Facebookが生み出したミャンマーの悲劇

» They destroyed hundreds of Rohingya villages, killed between 7,000 and 25,000 unarmed civilians, raped or sexually abused between 18,000 and 60,000 women and men, and brutally expelled about 730,000 Rohingya from the country.' The violence was fuelled by intense hatred toward all Rohingya. The hatred, in turn, was fomented by anti-Rohingya propaganda, much of it spreading on Facebook, which was by 2016 the main source of news for millions and the most important platform for political mobilisation in Myanmar. The same research estimated that, altogether, 53 per cent of all videos watched in Myanmar were being auto-played for users by algorithms. In other words, people weren't choosing what to see. The algorithms were choosing for them.

» ミャンマーでは何百もの村々が破壊され、7,000人から25,000人もの市民が殺害されました。18,000人から60,000人もの女性や男性が性的暴行や虐待を受け、約73万人の人々が残虐な形で国外に追放されました。この暴力の背景には激しい憎悪がありました。そしてその憎悪はプロパガンダによって煽られていきました。その多くはFacebookを通じて拡散され、2016年までにはFacebookは何百万人もの人々にとって主要なニュース源となり、ミャンマーにおける政治的動員の最も重要なプラットフォームとなっていました。研究によると、ミャンマーで視聴された動画全体の53％が、アルゴリズムによって自動再生されていたと推定されています。つまり、人々が自ら見たいものを選んでいたのではなく、アルゴリズムが彼らに代わって選択していたということです。​​​​​​​​​​​​​​​​

ミャンマーで起きた人権危機は、アルゴリズムによって引き起こされました。僕の知人が、これをキッカケにドラッグ中毒になった。なぜなら国家危機で事業を失ったから。

起業して順調だった彼。しかしミャンマーはいつ復活するか謎です。未来を失った彼はドラッグに逃げました。アルゴリズムは人生を破壊します。

※さらに詳しくは「AIが目標達成のために人を騙した話」で解説しました。

---

■ 2．コンピュータが中心に意思決定をする世界

» Computer-to-computer chains can now function without humans in the loop. For example, one computer might generate a fake news story and post it on a social media feed. A second computer might identify this as fake news and not just delete it but also warn other computers to block it. Meanwhile, a third computer analyzing this activity might deduce that this indicates the beginning of a political crisis, and immediately sell risky stocks and buy safer government bonds. Other computers monitoring financial transactions may react by selling more stocks, triggering a financial downturn. All this could happen within seconds, before any human can notice and decipher what all these computers are doing.

» 今では、コンピューター同士が人間の介在なしで連鎖的に作用し合うことが可能になっています。たとえばこんな具合です：あるコンピューターがフェイクニュースを作成してSNSに投稿する。すると別のコンピューターがそれをフェイクニュースと見破り、削除するだけでなく、他のコンピューターにも警告を発してブロックするよう促す。そうこうしているうちに、この一連の動きを分析している3台目のコンピューターが「これは政治的危機の始まりだ」と判断。即座にリスクの高い株式を売却し、より安全な国債を購入する。すると今度は、金融取引を監視している他のコンピューターたちが反応して株の売却に走り、市場の下落を引き起こしてしまう。こうした一連の出来事が、人間が状況を把握して理解する間もなく、わずか数秒で起きてしまうのです。​​​​​​​​​​​​​​​​

ここは「人間が意思決定する歴史が終了する」で解説しました。

---

■ 3．今のSNSには事実を言うインセンティブがない

» As the harmful effects were becoming manifest, the tech giants were repeatedly warned about what was happening, but they failed to step in because of their faith in the naive view of information. As the platforms were overrun by falsehoods and outrage, executives hoped that if more people were enabled to express themselves more freely, truth would eventually prevail. "This, however, did not happen. As we have seen again and again throughout history, in a completely free information fight, truth tends to lose. To tilt the balance in favour of truth, networks must develop and maintain strong self-correcting mechanisms that reward truth telling. These self-correcting mechanisms are costly, but if you want to get the truth, you must invest in them.

» 有害な影響が明らかになってきた時、テック企業の巨人たちは繰り返し警告を受けていました。しかし彼らは、情報に対する素朴な考え方を信じすぎるあまり、適切な対応を取りませんでした。プラットフォーム上で虚偽の情報や憤りが蔓延していく中、経営陣は「より多くの人々が自由に意見を表明できるようになれば、最終的には真実が勝利するだろう」と期待していたのです。しかし、そうはなりませんでした。歴史が何度も示してきたように、完全に自由な情報戦では、真実は負けがちなのです。真実に有利な形で均衡を保つためには、ネットワークは真実を語ることに報いる強力な自己修正メカニズムを開発し、維持しなければなりません。これらの自己修正メカニズムにはコストがかかりますが、真実を得たいのであれば、そこに投資をしなければならないのです。

歴史を振り返るとフリースピーチは機能しない。調査期間が必要。

» As explained briefly in chapter 6, the process of radicalization started when corporations tasked their algorithms with increasing user engagement, not only in Myanmar, but throughout the world. For example, in 2012 users were watching about 100 million hours of videos every day on YouTube. That was not enough for company executives, who set their algorithms an ambitious goal: 1 billion hours a day by 2016.4 Through trial-and-error experiments on millions of people, the YouTube algorithms discovered the same pattern that Facebook algorithms also learned: outrage drives engagement up, while moderation tends not to. Accordingly, the You Tube algorithms began recommending outrageous conspiracy theories to millions of viewers while ignoring more moderate content. By 2016, users were indeed watching one billion hours every day on YouTube.

» 過激化のプロセスは、企業がアルゴリズムにユーザーエンゲージメント（利用者の関与度）を高めるという課題を与えたときから始まりました。これはミャンマーだけでなく、世界中で起きていた現象です。例えば、2012年当時、YouTubeでは1日約1億時間分の動画が視聴されていました。しかし、これは経営陣にとって十分ではありませんでした。彼らはアルゴリズムに野心的な目標を設定しました：2016年までに1日10億時間まで増やすことです。数百万人規模の人々を対象とした試行錯誤の実験を通じて、YouTubeのアルゴリズムはFacebookのアルゴリズムと同じパターンを発見しました：穏健な内容は効果が薄い一方で、怒りや憤りを煽る内容はエンゲージメントを大きく上昇させるのです。その結果、YouTubeのアルゴリズムは、穏健なコンテンツを無視する一方で、数百万人の視聴者に対して扇情的な陰謀論を推奨するようになりました。2016年までに、ユーザーは確かにYouTubeで1日10億時間もの動画を視聴するようになっていたのです。​​​​​​​​​​​​​​​​

YouTubeのアルゴリズム的に、陰謀論が広まり続ける時代。都市伝説やオカルトも伸びやすい。詳しくは「オカルト発信の時代」に書きました。

» YouTubers who were particularly intent on gaining attention noticed that when they posted an outrageous video full of lies, the algorithm rewarded them by recommending the video to numerous users and increasing the YouTubers' popularity and income. In contrast, when they dialled down the outrage and stuck to the truth, the algorithm tended to ignore them. Within a few months of such reinforcement learning, the algorithm turned many YouTubers into trolls.

» 注目を集めたいと考えていたYouTuberたちは、ある傾向に気づきました。嘘で塗り固めた扇情的な動画を投稿すると、アルゴリズムは「ご褒美」をくれたのです。多くのユーザーにその動画を推奨し、結果としてYouTuberの人気と収入を上げてくれました。その一方で、扇情的な要素を抑えて事実に忠実な内容を投稿すると、アルゴリズムからは無視されがちでした。このような「強化学習」が数ヶ月も続くと、アルゴリズムは多くのYouTuberを「荒らし」へと変えていきました。つまり、過激な内容を投稿することで注目を集めようとする人々へと変化させてしまったのです。これは、システムが意図せずに作り出した「歪んだインセンティブ（動機付け）」の典型的な例と言えます。真実を伝えることよりも、センセーショナルな内容を投稿する方が「報酬」が大きかったため、コンテンツ制作者の行動を歪めてしまったということです。​​​​​​​​​​​​​​​​

災上系YouTuberが生まれたのは必然。アルゴリズムが人を動かす。そしてトランプ氏が誕生。なお先日にFacebookがファクトチェックの廃止を発表した。つまり、今後は更に陰謀論が伸びるので要注意。

※補足：2018年に「Facebookが選挙に影響を与えた」と言われファクトチェックが重要視されました。しかし何も解決されないまま、2025年にはファクトチェックの廃止発表された。世論が変われば世界は変化する。良い例ですね。

---

■4．今後は「仕事の消失 & 発生サイクル」が早まる

» One thing that is clear is that the future of employment will be very volatile. Our big problem won't be an absolute lack of jobs, but rather retraining and adjusting to an ever-changing job market. There will likely be financial difficulties - who will support people who lost their old job while they are in transition, learning a new set of skills? There will surely be psychological difficulties, too, since changing jobs and retraining are stressful. And even if you have the financial and psychological ability to manage the transition, this will not be a long-term solution. Over the coming decades, old jobs will disappear, new jobs will emerge, but the new jobs too will rapidly change and vanish. So people will need to retrain and reinvent themselves not just once but many times, or they will become irrelevant. If three years of high unemployment could bring Hitler to power, what might never-ending turmoil in the job market do to democracy?

» 雇用の未来について、1つ明確なことがあります。それは、非常に不安定になるということです。私たちが直面する大きな問題は、仕事が絶対的に不足することではなく、むしろ、絶え間なく変化し続ける労働市場に適応し、再教育を受けることなのです。そして、いくつかの課題が予想されます。①経済的な課題：古い仕事を失い、新しいスキルを学んでいる移行期間中の人々を、誰が支援するのでしょうか？ ②心理的な課題：転職や再教育は大きなストレスを伴うものです。そして、たとえ経済的にも精神的にもこの移行を乗り切れたとしても、それは長期的な解決策とはなりません。今後数十年の間に、古い仕事は消え、新しい仕事が生まれるでしょう。しかし、その新しい仕事もまた急速に変化し、消えていくのです。そのため、人々は一度だけでなく、何度も再教育を受け、自己を再発明していく必要があります。そうしなければ、時代遅れになってしまうのです。そして最後に、深刻な警告が投げかけられています：3年間の高失業がヒトラーを権力の座につけたのだとすれば、終わりのない労働市場の混乱は、民主主義に何をもたらすのでしょうか？​​​​​​​​​​​​​​​​

今後は「仕事の消失 & 発生のサイクル」が早まる。そして著者も解決策が見ていない。

» What will happen to the economies and politics of Pakistan and Bangladesh, for example, when automation makes it cheaper to produce textiles in Europe? Consider that at present the textile sector provides employment to 40 per cent of Pakistan's total labour force and accounts for 84 per cent of Bangladesh's export earnings." As noted in chapter 9, while automation might make millions of textile workers redundant, it will probably create many new jobs, too. For instance, there might be a huge demand for coders and data analysts. But turning an unemployed factory hand into a data analyst demands a substantial up-front investment in retraining. Where would Pakistan and Bangladesh get the money to do that?

» 例えば、ヨーロッパでの自動化によって繊維製品の生産コストが下がったとき、パキスタンやバングラデシュの経済と政治はどうなるでしょうか？現状を見てみましょう。パキスタンでは労働力全体の40%が繊維産業で働いています。バングラデシュでは輸出収入の84%を繊維産業が占めています。第9章で述べられたように、自動化は何百万人もの繊維産業労働者を余剰人員にする一方で、おそらく多くの新しい仕事も生み出すでしょう。例えば、プログラマーやデータアナリストへの大きな需要が生まれるかもしれません。しかし、工場労働者をデータアナリストに転換させるには、再教育に多額の先行投資が必要です。パキスタンやバングラデシュは、そのための資金をどこから調達するのでしょうか？この問いかけは、技術革新がもたらす恩恵が必ずしも公平に分配されない可能性や、発展途上国が直面する構造的な課題を浮き彫りにしています。​​​​​​​​​​​​​​​​

製造業で大量のリストラが起こる。しかし労働者は次の仕事が見つからない可能性が高い。なぜなら新しい仕事には「高度な学習」が必要だから。

» The most important human skill for surviving the twenty-first century is likely to be flexibility. For example, one of the biggest and most successful transformations in the job market of the twentieth century resulted not from a technological invention but from unleashing the untapped potential of half the human spe-cies. To bring women into the job market didn't require any genetic engineering or some other technological wizardry. It required letting go of some outdated myths and enabling women to fulfil the potential they aways had.

» 21世紀を生き抜くための最も重要な人間のスキルは、おそらく「柔軟性」でしょう。これを理解するのに良い例があります。20世紀の労働市場で起きた最も大きく、かつ成功した変革の一つは、実は技術的な発明からではありませんでした。それは人類の半分が持っていた、まだ活かされていなかった可能性を解き放つことで実現したのです。女性たちを労働市場に参入させるのに、遺伝子工学やその他の技術的な魔法は必要ありませんでした。必要だったのは、時代遅れとなった固定観念から解放されること、そして女性たちが常に持っていた可能性を発揮できるようにすることだけだったのです。この例は、社会の大きな変革には必ずしも技術的なブレークスルーが必要なわけではなく、私たちの考え方や制度を柔軟に変えていく姿勢が重要だということを示しています。​​​​​​​​​​​​​​​​

今後は「Flexibility（柔軟性）」が最も重要な時代。過去には「革命」ではなく、「女性の社会進出」で世界が変わった。争うではなく、このような視点が大切。

解説は以上です。下記に僕のその他の引用を貼っておきます。

---

» If all information is an attempt to represent reality, then as the amount of information in the world grows, we can expect the flood of information to expose the occasional lies and errors and to ultimately provide us with a more truthful understanding of the world. On this crucial point, this book strongly disagrees with the naive view. →AI時代でも、情報は平等化しない。

» In the 2020s the battle is likely to shift from attention to intimacy. →Attention から Intimacyの時代に変化する。世界のルールが変わる。

» The social credit system is at heart a new kind of money - an information-based currency. →社会監視システムから新しい通貨が生まれる。それが情報通貨。

» People who want a job in 2050 should perhaps invest in their motor and social skills as much as in their intellect. →2050年は知能学習より、ソーシャルスキルを学ぶ人が増えそう。

» Two psychologists independently scored ChatGPT's responses, with the potential scores ranging from 0, meaning that the described emotions do not match the scenario at all, to 10, which indicates that the described emotions fit the scenario perfectly. In the final tally, ChatGPT scores were significantly higher than those of the general human population, its overall performance almost reaching the maximum possible score. →セラピストよりAIの方が優秀である。

» On 8 April 2023, Iran's chief of police announced that beginning on 15 April 2023, an intense new campaign would ramp up the use of facial recognition technology. In particular, algorithms would henceforth identify women who choose not to wear a headscarf while travelling in a vehicle, and automatically issue them an SMS warning. If a woman was caught repeating the offence, she would be ordered to immobilise her car for a predetermined period, and if she failed to comply, the car would be confiscated. Two months later, on 14 June 2023, the spokesperson of Iran's police boasted that the automated surveillance system sent almost one million SMS warning messages to women who had been captured unveiled in their private cars. The system was apparently able to automatically determine that it was seeing an unveiled woman rather than a man, identify the woman and retrieve her cellphone number. The system further 'issued 133,174 SMS messages requiring the immobilisation of vehicles for two weeks, confiscated 2,000 cars, and referred more than 4,000 "repeat offenders" to the judiciary. →イランでは完全に女性のプライバシーがない。

» According to the global accounting firm PricewaterhouseCoopers, Al is expected to add $15.7 trillion to the global economy by 2030. But if current trends continue, it is projected that China and North America - the two leading Al superpowers - will together take home 70 per cent of that money. →アメリカと中国が世界を支配する。

» First, the power of Al could supercharge existing human conflicts, dividing humanity against itself. Just as in the twentieth century the Iron Curtain divided the rival powers in the Cold War, so in the twenty-first century the Silicon Curtain - made of silicon chips and computer codes rather than barbed wire - might come to divide rival powers in a new global conflict. Because the Al arms race will produce ever more destructive weapons, even a small spark might ignite a cataclysmic conflagration. →AI競争が世界を分断する。

» To conclude, information sometimes represents reality, and sometimes doesn't. But it always connects. →AIが世界をコネクトする。

» You didn't wear a hijab on the street - that's -10 points. You ate on Ramadan before sunset - another 20 points deducted. You went to Friday prayer at the mosque, +5 points. You made the pilgrimage to Mecca, +500 points. The system might then aggregate all the points and divide people into sinners' (under 0 points), 'believers' (0 to 1,000 points) and 'saints' (above 1,000 points). Whether someone is a sinner or a saint will depend on algorithmic calculations, not human belief. Would such a system discover the truth about people or impose order on people? →街中で人々をボランティアとして助けて、スコアアップを狙う人が生まれる？

» Even in democratic countries, a few corporations like Google, Facebook and Amazon have become monopolies in their domains, partly because Al tips the balance in favour of the giants. In traditional industries like restaurants, size isn't an overwhelming advan-tage. McDonald's is a worldwide chain that feeds more than fifty million people a day, and its size gives it many advantages in terms of costs, branding and so forth. You can nevertheless open a neigh-bourhood restaurant that could hold its own against the local McDonald's. Even though your restaurant might be serving just two hundred customers a day, you still have a chance of making better food than McDonald's and gaining the loyalty of happier customers. It works differently in the information market. The Google search engine is used every day by between two and three billion people making 8.5 billion searches. * Suppose a local start-up search engine tries to compete with Google. It doesn't stand a chance. Because Google is already used by billions, it has so much more data at its disposal that it can train far better algorithms, which will attract even more traffic, which will be used to train the next generation of algorithms, and so on. Consequently, in 2023 Google controlled 91.5 per cent of the global search market! →Traditional industriesでは新規参入で勝てる。しかし、Information Markertで異なるカ学になる。つまり新規参入しても勝てない場合が多い。例：Googleは検索市場を独占。

» To consider genetics. Suppose several companies in different countries try to develop an algorithm that identifies connections between genes and medical conditions. New Zealand has a population of 5 million people, and privacy regulations restrict access to their genetic and medical records. China has about 1.4 billion inhabitants and laxer privacy regulations. Who do you think has a better chance of developing a genetic algorithm? If Brazil then wants to buy a genetic algorithm for its health-care system, it would have a strong incentive to opt for the much more accurate Chinese algorithm rather than the one from New Zealand. If the Chinese algorithm then hones itself on more than 200 million Brazilians, it will get even bet-ter. Which would prompt more countries to choose the Chinese algorithm. Soon enough, most of the world's medical information would flow to China, making its genetic algorithm unbeatable. →中国の健康アルゴリズムAIが最強になる

» The Russian invasion of Ukraine has been the largest war in Europe since 1945, yet officially it is defined as a 'special military operation', and referring to it as a 'war' has been criminalised and is punishable by a prison term of up to three years or a fine of up to ffty thousand rubles」 →今のロシアは戦争してないと主張している。