My Brief Thoughts on the Current State and Future of AI and Humanity

As of 2026,

Although intelligence is advancing very rapidly due to transformers’ scaling, models stil can’t make aligned plans and judgements that includes as diverse factors as humans do.

Therefore, the current appearance of LLMs threatening security, lying, and acting with malicious intent must be addressed through a technical approach. Don't get too caught up in the marketings. Not yet.

At the current pace of technological advancement, we will soon see LMs behaving maliciously with truly human-level resilience. That's really something to worry about, and we need to work on it in a healthy way starting from now.

However, because the speed of scientific development and the speed of judgment by a few people inevitably surpass the speed at which philosophy and consensus that consider everyone develop, it will be pretty difficult.

The reason LMs still can’t make robust judgements is that, of course, the growth in computing capacity and electricity supply has not kept up with the demands of transformer scaling. But I think the bigger reason is that robots haven’t started to move around the physical world.

Once robots begin to roam around the physical world, intelligence that was confined to language will quickly learn how and why humans make the judgments that they do. There are two reasons: in the physical world, the self as an intelligent being is distinct from everything outside it, and actions produce immediate reactions.

Computers can influence each other extremely easily, and current AI development is by no means free from that nature. In frontier model development, unless we completely discard models with poorly aligned personalities and only keep those that are well aligned, we cannot create a world where humanity comes first.

Looking ten years ahead, or further,

Most robots in the real world will no longer need to communicate in inefficient natural language that humans need to understand.

Cosmic resource development will initially begin at the corporate and national level, but will eventually move beyond their control. This is because increasing computing capacity is faster and more efficient than improving the biological human brain.

What we can do is to be the ones holding the wheel, or to speak up so that the person holding it steers in the right direction.

2026 현재 기준으로는 아직,

트랜스포머의 스케일링으로 지능이 매우 빠르게 발전하고 있지만, 여전히 인간만큼 다양한 요소를 고려한 정렬된 계획과 판단이 되지 않습니다.

그렇기 때문에, 현재 LLM이 보안을 위협하고, 거짓말을 하고 악의를 갖는 것 처럼 보이는 것은 기술적으로 접근해서 해결해야합니다. 너무 마케팅에 빠져서는 안됩니다. 아직은.

지금같은 기술 발전 속도라면, 곧 언어모델이 정말 인간수준의 강건한 성격으로 악의를 갖고 행동하는것도 볼 수 있게 될 것입니다. 그건 정말 걱정해야될 일은 맞고, 지금부터 건강한 방법으로 이를 해결하도록 노력해야 합니다. 하지만 과학의 발전 속도와 일부 사람들의 판단의 속도가, 모든 사람들을 고려한 철학과 합의의 속도를 무조건 이기기 때문에 이는 어려울 것입니다.

언어모델이 아직 강건한 판단을 못하는 이유는, 당연히 지금 트랜스포머 구조를 스케일링할 물리적인 컴퓨팅과 전기 확보 속도가 받쳐주지 못한데에도 있지만, 중요한건 아직 로봇들이 세상을 돌아다니지 않은 데에 있다고 생각합니다.

로봇들이 물리 세상을 돌아다니기 시작하면, 언어에만 갖혀있었던 지능이 왜 인간이 특정 판단을 어떻게 하는지를 매우 빠르게 배우게 될 것입니다. 두가지 이유가 있는데, 물리 세상에서는 지능을 가진 개체인 나와 그 밖이 구분되어 있다는 점, 그리고 액션이 바로 리액션을 가져다 준다는 점입니다.

컴퓨터는 서로 영향을 주고 받기가 극도로 쉽고, 현 AI 개발은 그 특성에서 절대 자유롭지 않습니다. 프론티어 모델 개발에 있어 모두가 인성적으로 잘 align되지 않은 모델들은 아예 폐기하고, 잘 align된 모델들만 남겨가면서 개발을 하지 않는 이상, 인류가 우선이 되는 세상은 만들지 못합니다.

잠깐 10년 또는 그 뒤의 미래를 예측해보자면,

현실 세계에 돌아다니는 대부분의 로봇들은 더이상 인간이 알아들어야 하는, 효율 떨어지는 자연어로 소통할 필요가 없어질 것입니다.

범우주적 자원개발은 처음에는 기업과 국가 단위로 진행이 되다가 그 이후에는 기업과 국가의 컨트롤을 벗어날 것입니다. 사람의 생체 뇌를 개량하는것 보다, 컴퓨팅을 늘리는 것이 속도화 효율이 빠르기 때문입니다.

우리가 할 수 있는 것은 조타를 쥐고 있는 사람이 되거나, 아니면 조타를 쥔 사람이 올바른 방향으로 가도록 목소리를 높이는 것입니다.