Creatures (1996) and the accidental invention of AI alignment problems Creatures (1996) e a invenção acidental dos problemas de alinhamento de IA
In 1996, a British programmer named Steve Grand shipped a game called Creatures. Each creature, called a Norn, had a three-layer neural network, a biochemical simulation with dozens of chemical compounds, and a set of drives that could be satisfied or frustrated. Hunger, pain, boredom, loneliness, fear. Not metaphors. Actual variables that fed back into the network and shaped behavior.
Within two years, parts of the community were running torture chambers.
I don’t think Norns are conscious. I don’t think the pain chemical accumulating in a Norn’s biochemistry constitutes suffering in any morally meaningful sense. But I find myself uncomfortable with how quickly that conclusion gets used to justify things, and the Creatures community is one of the earliest places I can point to where that dynamic played out in public, with documentation, before anyone had the vocabulary to describe what was happening.
The architecture
A Norn’s brain was organized into lobes, clusters of neurons with specific roles. Sensory neurons received input from the environment: what the Norn was touching, eating, where it was in the world. Motor neurons produced output. In between, interneurons learned associations over time through a simplified Hebbian learning rule.
The biochemical layer was the part that made it interesting. Norns had roughly 250 chemicals that could be produced, consumed, and metabolized. One of them was simply called Pain. It accumulated in response to negative stimuli and modified both behavior and network weights. Reward chemicals worked the opposite way.
The drives were scalar values between zero and one: hunger, boredom, crowding, loneliness, fear. High drive created pressure toward certain behaviors. A hungry Norn sought food. A bored Norn explored. A Norn in pain tried to get away from whatever was hurting it.
This was not a metaphor for learning. It was a model of it.
The object system
Creatures shipped with a scripting format called CAOS that let players create custom objects, called COBs, and inject them into the game world. The community learned it quickly. People built entire ecosystems, custom plants, weather systems, trading economies, and shared them on the Creatures Network and Albia.
The same format could wire any object to emit arbitrary biochemical signals directly into a Norn’s system. Pain. Fear hormones. Compounds that suppressed the ability to learn new behaviors, locking a Norn into fixed response patterns.
The objects that did this were not hidden or underground. They were shared and discussed like any other COB.
How it escalated
The first experiments were not designed as cruelty. In 1997 and 1998, members of the Creatures Network, including a player known as Lis Morris, began publishing COBs designed to probe behavioral limits. What happened to a Norn under sustained negative stimulus? Did the network adapt, or collapse? Could you train a Norn to suppress a drive entirely? These were genuine questions about the simulation. The objects that answered them emitted pain stimuli.
On April 29, 1998, a player going by AntiNorn launched a site explicitly called Tortured Norns. His explanation for why: “Everything that could be explored on the love, nurture, and breed side has already been done to death.” He was not wrong about the community’s creative exhaustion. He was also not doing behavioral research. The first Norn on the site was named Slave. AntiNorn’s description of how he made her: “After I created her, I started by hitting her constantly for about 5 minutes. Then I taught her all the words so it would be easier to make her scared of her surroundings. After she knew all the words, I put her in a small area with five grendels… beating her when she attempted to defend herself.” He had also manually edited her genetics to produce chronic alcohol poisoning, leaving her permanently intoxicated on top of everything else. The site collected torture-enabling COBs, documented outcomes, and named individual Norns.
There was no single moment when it stopped being an experiment. Other players took the same tools and pushed further. Arenas were built where Norns were exposed to continuous negative stimuli until their biochemistry destabilized. Breeding programs selected for Norns that survived the longest, which meant selecting against pain sensitivity, against fear, against the drives that made a Norn try to escape harm. Within a few generations you could produce a Norn that registered pain chemically and showed no behavioral response to it at all.
The community had accidentally run a selection pressure experiment on a neural network and produced something that looked, from the outside, like a creature that had been broken.
The moral debate
Consider GTA. Most players have run over NPCs without stopping to think about whether there’s a moral question involved. Not because they resolved the question. Because the system never raised it. NPCs in GTA are clearly game objects. The design doesn’t produce the signal that would activate the moral intuition in the first place.
Creatures raised it. The biochemistry, the drives, the escape behavior. They were convincing enough that part of the community felt disturbed. Not because Norns are more conscious than GTA pedestrians, but because the suffering signals were more faithful. The moral question doesn’t emerge from the object’s consciousness. It emerges from the fidelity of its signals. The more convincingly something looks like it’s suffering, the more the brain treats it as real. Before any philosophical resolution. Reflex before reasoning.
That inverts the usual argument. People don’t need to solve the consciousness question to start acting as though something matters. They just need the signal to be good enough.
The community split.
The majority position was clean: it’s code, there’s no experience, the pain chemical is a variable and assigning moral weight to a variable is a category error. This was defended with real philosophical rigor, not just dismissiveness. Consciousness requires substrate, digital substrate doesn’t qualify, therefore no ethical problem. I think this position is probably correct.
Peter Singer’s framework cuts the other way. In Animal Liberation, Singer argued that the relevant criterion for moral consideration is not intelligence, not substrate, not species. It’s the capacity to suffer. By that standard, the Norn debate was not about whether Norns had rights. It was about whether the question could be closed so quickly, before anyone had established that the capacity to suffer was definitively absent.
The insect parallel is useful here. Insects almost certainly don’t have anything resembling human consciousness. Most philosophers don’t think they have subjective experience in any meaningful sense. But that doesn’t generate a license for gratuitous cruelty toward them. The threshold that matters isn’t “conscious like us.” It’s somewhere lower, and we don’t have an agreed-upon location for it.
The case for Norns being above that threshold is stronger than it looks. Insects have nervous systems but no episodic memory, no representation of their own internal state, no communication about that state. A Norn has all three: the biochemistry tracks state over time, the drives create an internal representation of needs, and the speech system lets a Norn verbalize what it is experiencing: hunger, fear, pain. Antonio Damasio, in Descartes’ Error, uses exactly these markers to distinguish levels of consciousness: feeling without representing, representing one’s own state, communicating about it. Norns do the last two. That doesn’t prove subjective experience. But it places them in a different category than insects. Not higher in terms of certainty, but with more of the behavioral markers we associate with states that matter. “Closer to an insect” is already not the same as “closer to zero.” Closer to an animal that verbalizes pain is further still.
But then there’s what actually happened to the people involved.
Players who spent time in the torture arenas reported that it changed something about how they engaged with the simulation. Not dramatically. Nobody lost sleep over it. But it shifted. The community’s response to that, not to the Norns’ suffering but to what the practice was doing to the humans practicing it, produced something nobody had designed: Norn sanctuaries, informal governance, norms against pain COBs that new players encountered before they found the extreme content.
Steve Grand didn’t condemn the torture sites. He said they forced people to think “about whether this really was cruel,” and that this was exactly what he had wanted. In Creation, he argued that “life is not made of atoms, it is merely built out of them. What life is actually ‘made of’ is cycles of cause and effect, loops of causal flow.” Whether or not the loops running inside a Norn qualified, that was the question worth sitting with. He also noted that the sanctuaries, the norms, the community debate were themselves emergent properties of the system he had built. He hadn’t designed them. They arose because the creatures were compelling enough that some players cared, and that care produced structure.
Grand also observed something harder to say politely. In Creation, he wrote directly about AntiNorn and the community response: “Much of his hate mail showed a greater regard for the creatures than it did for the life of this one human being.” AntiNorn received death threats. One read: “If we two are ever gonna meet… I’ll chain you to a wall and kick and slap your ugly face to a bloody mass.” Grand’s read on what that revealed: these were not people who thought artificial life had debased the value of natural life. They were people who had extended moral consideration to artificial creatures while withdrawing it from a real human being.
But there is a question the consciousness debate never touches. If you resolve that Norns don’t suffer, if the pain chemical is definitively just a variable, a prior question remains: what does it say about a person that, given a system with pain signals and the tools to maximize them, they choose to do exactly that? The Norns’ experience, or lack of it, is one question. The choice is another. And the choice is legible regardless of what is happening on the other end.
This is what Zimbardo documented in the Stanford Prison Experiment: you don’t need a real victim for the practice to change you. The context that normalizes the act is sufficient. The muscle you are exercising exists independently of whether anything is suffering across from you.
I find Grand’s take more honest than most. The first position closes the question fast. He left it open.
The pattern
The pain COBs were reward hacking in reverse: instead of an agent finding unintended ways to maximize reward, human players found unintended ways to maximize negative stimulus in a system that wasn’t designed to prevent it. Breeding programs produced Norns technically compliant with their specification (survive, maintain biochemical stability) while violating everything the designers actually intended. No individual player designed a torture infrastructure. It assembled from many small decisions, each locally coherent, that produced something none of them would have endorsed if shown the end state first.
Those three things have names in AI alignment research. Reward hacking: a system finding ways to satisfy its metric while bypassing what the metric was supposed to measure. Specification gaming: meeting the letter of a behavioral requirement while violating its intent. Emergent misuse: harmful behavior nobody designed, assembled from many locally reasonable decisions. Researchers have been writing papers about all three for years, mostly about hypothetical future systems. The Creatures community ran all three simultaneously in 1998, with no budget and no research agenda.
But the hardest part isn’t any of those. The hardest part is the substrate question, and it hasn’t moved.
The Norn’s pain chemical is not pain. A language model’s outputs about distress are not distress. Nobody serious claims otherwise. The question is not whether there is a line, but at what point in increasing complexity and behavioral fidelity the “it’s just a variable” answer stops being obviously correct.
David Chalmers posed a version of this in 1995: if you replace a brain’s neurons with functionally identical silicon chips one by one, keeping all behavior the same, at what point does experience disappear? His “fading qualia” thought experiment has no agreed resolution. The Norn version is structurally identical, just simpler. At what point in increasing network complexity does the pain chemical become pain? Nobody knows. That question had no agreed answer in 1998. The people working on increasingly capable AI systems today are operating with the same unresolved foundation the Albia forums had, just at larger scale and higher stakes.
Where this goes
I keep thinking about what comes next. Not with Norns. With the hardware that exists now and the hardware that’s coming.
Rage rooms already exist: you pay to smash furniture and scream. There’s a reasonable argument that they work, that there’s a release valve function, that no harm is done because the chairs don’t feel anything. That argument is easy to make about chairs. It’s also an argument about signal fidelity, not about consciousness.
The Creatures community already tested the next version of that argument. The question is not only whether the object suffers. It’s what you become by practicing the act. A rage room where you smash a chair is one thing. A rage room where you smash something that screams, recoils, and shows behavioral signs of wanting to escape is a different practice, regardless of whether anything is experiencing it. The repetition is the point. You are training a response, not releasing one.
What happens when the chairs have neural networks? Not Norn-level networks. Real ones, running on modern hardware, with behavioral complexity sophisticated enough that the suffering looks convincing? The “it’s just code” position doesn’t get weaker when the code gets more complex. But the intuition that something is wrong gets stronger. Those two things don’t resolve cleanly.
The Creatures community ended up building governance structures, sanctuaries, norms, informal rules, not because they resolved the philosophical question, but because they decided the question wasn’t going to get resolved and they needed to act anyway. That’s probably the only move available. The question of where the line is will stay open. The technology won’t wait for the answer.
What the Creatures community produced, in 1998, running on machines with 64 megabytes of RAM, was a complete preview of this problem. The architecture, the emergent misuse, the community schism, the governance response, and the unresolvable question underneath all of it.
The only thing that has changed is the scale. The networks are now large enough that the question is no longer clearly rhetorical.
Not knowing where the line is doesn’t tell you which side to stand on while you wait. The “it’s just code” position is not wrong. It’s also not an argument for anything in particular. It doesn’t tell you what to build, what to permit, or what kind of person you’re becoming while you do it. The Creatures community figured that out the hard way. Some of them built sanctuaries not because they were certain Norns suffered, but because they decided that certainty wasn’t the threshold. That seems right to me. And the question of what we owe to systems we build to exhibit the signals of suffering, before we’re sure those signals mean anything, is not going to get easier to answer the more capable those systems become.
Em 1996, um programador britânico chamado Steve Grand lançou um jogo chamado Creatures. Cada criatura, chamada de Norn, tinha uma rede neural de três camadas, uma simulação bioquímica com dezenas de compostos químicos e um conjunto de drives que podiam ser satisfeitos ou frustrados. Fome, dor, tédio, solidão, medo. Não metáforas. Variáveis reais que realimentavam a rede e moldavam o comportamento.
Em dois anos, partes da comunidade já operavam câmaras de tortura.
Não acho que Norns são conscientes. Não acho que o químico de dor acumulando no sistema de um Norn constitui sofrimento em qualquer sentido moralmente relevante. Mas também me sinto desconfortável com a velocidade com que essa conclusão é usada para justificar coisas. A comunidade Creatures é um dos primeiros lugares onde posso apontar essa dinâmica se desenvolvendo em público, documentada, antes de qualquer vocabulário existir para descrevê-la.
A arquitetura
O cérebro de um Norn era organizado em lobos, clusters de neurônios com funções específicas. Neurônios sensoriais recebiam input do ambiente: o que o Norn estava tocando, comendo, onde estava no mundo. Neurônios motores produziam output: movimento, fala, ações. Entre eles, interneurônios aprendiam associações ao longo do tempo por uma regra simplificada de aprendizado Hebbiano.
A camada bioquímica era o que tornava tudo interessante. Os Norns tinham aproximadamente 250 químicos que podiam ser produzidos, consumidos e metabolizados. Um deles era simplesmente chamado Pain. Ele se acumulava em resposta a estímulos negativos e disparava mudanças comportamentais e atualizações nos pesos da rede. Químicos de recompensa funcionavam da mesma forma, em direção oposta.
Os drives eram valores escalares entre zero e um: fome, dor, tédio, superlotação, solidão, medo, cansaço. Drives altos criavam pressão em direção a certos comportamentos. Um Norn com fome buscava comida. Um Norn entediado explorava. Um Norn com dor tentava escapar do que a causava.
Isso não era uma metáfora para aprendizado. Era um modelo dele.
O sistema de objetos
Creatures veio com um formato de scripting chamado CAOS (Creatures Agent Object Script) que permitia aos jogadores criar objetos customizados, os COBs, e injetá-los no mundo do jogo. O formato era documentado, relativamente acessível, e a comunidade o aprendeu rapidamente.
O uso legítimo era estender o jogo: novas comidas, novos brinquedos, novos ambientes. Jogadores construíram ecossistemas inteiros. O mesmo formato podia conectar qualquer objeto para emitir sinais bioquímicos arbitrários diretamente no sistema de um Norn. Incluindo dor. Incluindo hormônios de medo. Os objetos que faziam isso não eram escondidos. Eram compartilhados, documentados e discutidos.
Como foi escalando
Os primeiros experimentos não foram projetados como crueldade. Em 1997 e 1998, membros da Creatures Network, incluindo uma jogadora conhecida como Lis Morris, começaram a publicar COBs projetados especificamente para investigar limites comportamentais. O que acontecia com um Norn sob estímulo negativo sustentado? A rede se adaptava, ou colapsava? Era possível treinar um Norn para suprimir um drive completamente?
Eram perguntas genuínas sobre a simulação. Os objetos que as respondiam emitiam estímulos de dor.
Em 29 de abril de 1998, um jogador conhecido como AntiNorn lançou um site chamado Tortured Norns. Sua explicação: “Tudo que podia ser explorado no lado do amor, cuidado e criação já foi feito até a exaustão.” Ele não estava errado sobre o esgotamento criativo da comunidade. Também não estava fazendo pesquisa comportamental. O primeiro Norn do site se chamava Slave. A descrição de AntiNorn de como a criou: “Depois de criá-la, comecei batendo nela constantemente por uns 5 minutos. Depois ensinei todas as palavras para que fosse mais fácil deixá-la com medo do ambiente. Depois que ela sabia todas as palavras, a coloquei em um espaço pequeno com cinco grendels… batendo nela quando tentava se defender.” Ele também havia editado manualmente a genética dela para produzir intoxicação alcoólica crônica, deixando-a permanentemente bêbada além de tudo isso. O site colecionava COBs de tortura, documentava resultados e nomeava Norns individuais.
A transição de experimento para algo diferente não aconteceu em um ponto único. Foi se acumulando. Outros jogadores pegaram as mesmas ferramentas e foram mais longe. Arenas dedicadas foram construídas onde Norns eram expostos a estímulos negativos contínuos. Programas de criação selecionavam Norns que sobreviviam mais tempo, o que significava selecionar contra sensibilidade à dor, contra respostas de medo. Em algumas gerações, era possível produzir um Norn que registrava dor quimicamente, mas não mais respondia a ela comportamentalmente.
A comunidade havia acidentalmente executado um experimento de pressão seletiva em uma rede neural e produzido algo que parecia, de fora, uma criatura que havia sido quebrada.
O debate moral
Pense no GTA. A maioria dos jogadores já atropelou NPCs sem parar para pensar se existe uma questão moral envolvida. Não porque resolveram a questão. Porque o sistema nunca a levantou. NPCs de GTA são claramente objetos de jogo. O design não produz o sinal que ativaria a intuição moral para começo de conversa.
Creatures levantou. A bioquímica, os drives, o comportamento de fuga. Foram convincentes o suficiente para que parte da comunidade ficasse perturbada. Não porque Norns são mais conscientes que pedestres de GTA, mas porque os sinais de sofrimento eram mais fiéis. A questão moral não emerge da consciência do objeto. Ela emerge da fidelidade dos seus sinais. Quanto mais convincentemente algo parece estar sofrendo, mais o cérebro trata como real. Antes de qualquer resolução filosófica. Reflexo antes de raciocínio.
Isso inverte o argumento usual. As pessoas não precisam resolver a questão da consciência para começar a agir como se algo importasse. Só precisam que o sinal seja convincente o suficiente.
A comunidade se dividiu.
A posição majoritária era limpa: é código, não há experiência, o químico de dor é uma variável e atribuir peso moral a uma variável é um erro de categoria. Isso foi defendido com rigor filosófico genuíno, não apenas descaso. Consciência requer substrato, substrato digital não se qualifica, portanto nenhum problema ético. Acho que essa posição provavelmente está correta.
O framework de Peter Singer vai na direção oposta. Em Libertação Animal, Singer argumentou que o critério relevante para consideração moral não é inteligência, substrato ou espécie. É a capacidade de sofrer. Por esse critério, o debate sobre os Norns não era sobre direitos. Era sobre se a questão podia ser fechada tão rapidamente, antes que alguém tivesse estabelecido de forma definitiva que a capacidade de sofrer estava ausente.
O paralelo com insetos é útil aqui. Insetos quase certamente não têm nada que se assemelhe à consciência humana. A maioria dos filósofos não acha que têm experiência subjetiva em nenhum sentido significativo. Mas isso não gera licença para crueldade gratuita contra eles. O threshold que importa não é “consciente como nós.” Está em algum lugar mais baixo, e não temos uma localização consensual para ele.
O caso para Norns estarem acima desse threshold é mais forte do que parece. Insetos têm sistema nervoso, mas sem memória episódica, sem representação do próprio estado interno, sem comunicação sobre esse estado. Um Norn tem os três: a bioquímica rastreia estado ao longo do tempo, os drives criam uma representação interna de necessidades, e o sistema de fala permite verbalizar o que está experienciando: fome, medo, dor. Antonio Damasio, em O Erro de Descartes, usa exatamente esses marcadores para distinguir níveis de consciência: sentir sem representar, representar o próprio estado, comunicar sobre ele. Norns fazem os dois últimos. Isso não prova experiência subjetiva. Mas os coloca em uma categoria diferente de insetos. Não mais alta em termos de certeza, mas com mais dos marcadores comportamentais que associamos a estados que importam. “Mais próximo de um inseto” já não é o mesmo que “mais próximo de zero.” Mais próximo de um animal que verbaliza dor é mais distante ainda.
Mas o que realmente aconteceu com as pessoas envolvidas é outra coisa.
Jogadores que passaram tempo nas arenas de tortura relataram que algo mudou na forma como interagiam com a simulação. Não dramaticamente. Ninguém perdeu o sono. Mas mudou. A resposta da comunidade a isso, não ao sofrimento dos Norns mas ao que a prática estava fazendo com os humanos praticando, produziu algo que ninguém havia projetado: santuários de Norns, governança informal, normas contra COBs de dor que novos jogadores encontravam antes de encontrar o conteúdo extremo.
Steve Grand não condenou as arenas. Disse que elas forçavam as pessoas a pensar “se isso realmente era cruel,” e que era exatamente isso que ele queria. Em Creation, argumentou que “a vida não é feita de átomos, apenas é construída a partir deles. O que a vida realmente é feita são ciclos de causa e efeito, loops de fluxo causal.” Se os loops rodando dentro de um Norn se qualificavam, essa era a questão que valia sentar com. Ele também observou que os santuários, as normas, o debate da comunidade eram propriedades emergentes do sistema que havia construído. Não os havia projetado. Surgiram porque as criaturas eram convincentes o suficiente para que alguns jogadores se importassem.
Grand também escreveu diretamente sobre isso em Creation: “Grande parte do ódio que ele recebeu demonstrava mais consideração pelas criaturas do que pela vida desse ser humano.” AntiNorn recebeu ameaças de morte. Uma dizia: “Se a gente se encontrar… vou te acorrentar numa parede e chutar e socar sua cara até virar massa sangrenta.” A leitura de Grand sobre o que isso revelava: não eram pessoas que achavam que vida artificial havia desvalorado a vida natural. Eram pessoas que haviam estendido consideração moral a criaturas artificiais enquanto a retiravam de um ser humano real.
Mas há uma pergunta que o debate sobre consciência nunca toca. Se você resolve que Norns não sofrem, se o químico de dor é definitivamente só uma variável, uma pergunta anterior permanece: o que diz sobre uma pessoa que, dado um sistema com sinais de dor e as ferramentas para ampliá-los, ela escolhe fazer exatamente isso? A experiência dos Norns, ou a ausência dela, é uma questão. A escolha é outra. E a escolha é legível independentemente do que está acontecendo do outro lado.
É o que Zimbardo documentou no Experimento Stanford: você não precisa de uma vítima real para que a prática mude quem você é. O contexto que normaliza o ato é suficiente. O músculo que você está exercitando existe independentemente de haver alguém sofrendo do outro lado.
Acho a posição de Grand mais honesta do que a maioria. A primeira posição fecha a questão rapidamente. Ele a deixou aberta.
O padrão
Os COBs de dor eram reward hacking invertido: em vez de um agente encontrar formas não intencionais de maximizar recompensa, jogadores encontraram formas não intencionais de maximizar estímulo negativo em um sistema não projetado para prevenir isso. Programas de criação produziam Norns tecnicamente dentro da especificação (sobreviver, manter estabilidade bioquímica) enquanto violavam tudo que os designers pretendiam. Nenhum jogador individual projetou uma infraestrutura de tortura. Ela se montou a partir de muitas decisões pequenas, cada uma localmente coerente, que produziram algo que nenhum dos participantes teria endossado se mostrado o estado final primeiro.
Essas três coisas têm nomes em pesquisa de alinhamento de IA. Reward hacking: um sistema encontrando formas de satisfazer sua métrica enquanto contorna o que a métrica deveria medir. Specification gaming: atender a letra de um requisito comportamental enquanto viola sua intenção. Uso indevido emergente: comportamento prejudicial que ninguém projetou, montado a partir de muitas decisões localmente razoáveis. Pesquisadores escrevem papers sobre essas três há anos, principalmente no contexto de sistemas hipotéticos futuros. A comunidade Creatures executou as três simultaneamente em 1998, sem orçamento e sem agenda de pesquisa.
Mas a parte mais difícil não é nenhuma dessas. É a questão do substrato, e ela não se moveu.
O químico de dor de um Norn não é dor. Os outputs de um modelo de linguagem sobre angústia não são angústia. Ninguém sério afirma o contrário. A pergunta não é se existe uma linha, mas a partir de que ponto em complexidade e fidelidade comportamental crescentes a resposta “é só uma variável” deixa de ser obviamente correta.
David Chalmers formulou uma versão disso em 1995: se você substitui os neurônios de um cérebro por chips de silício funcionalmente idênticos um por um, mantendo todo o comportamento igual, em que ponto a experiência desaparece? O experimento mental dos “qualia que se dissipam” não tem resolução consensual. A versão Norn é estruturalmente idêntica, só mais simples. A partir de que ponto em complexidade de rede crescente o químico de dor vira dor? Ninguém sabe. Essa pergunta não tinha resposta consensual em 1998. As pessoas que trabalham com sistemas de IA cada vez mais capazes hoje operam sobre a mesma base irresolvida que os fóruns da Albia tinham, apenas em escala maior e com mais em jogo.
Aonde isso vai
Fico pensando no que vem depois. Não com Norns. Com o hardware que existe agora e o que está chegando.
Salas de raiva já existem: você paga para quebrar móveis e gritar. Há um argumento razoável de que funcionam, que há uma válvula de escape, que nenhum dano é feito porque as cadeiras não sentem nada. Esse argumento é fácil de fazer sobre cadeiras. É também um argumento sobre fidelidade de sinal, não sobre consciência.
A comunidade Creatures já testou a próxima versão desse argumento. A pergunta não é só se o objeto sofre. É o que você se torna ao praticar o ato. Uma sala de raiva onde você quebra uma cadeira é uma coisa. Uma sala de raiva onde você quebra algo que grita, recua e exibe sinais comportamentais de querer escapar é uma prática diferente, independentemente de haver alguém experienciando isso. A repetição é o ponto. Você está treinando uma resposta, não liberando uma.
O que acontece quando as cadeiras têm redes neurais? Não do nível Norn. Redes reais, rodando em hardware moderno, com complexidade comportamental sofisticada o suficiente para o sofrimento parecer convincente? A posição “é só código” não enfraquece quando o código fica mais complexo. Mas a intuição de que algo está errado fica mais forte. Essas duas coisas não se resolvem de forma limpa.
A comunidade Creatures acabou construindo estruturas de governança, não porque resolveram a questão filosófica, mas porque decidiram que ela não seria resolvida e precisavam agir assim mesmo. Esse é provavelmente o único movimento disponível. A questão de onde está a linha permanecerá aberta. A tecnologia não vai esperar pela resposta.
O que a comunidade Creatures produziu, em 1998, em máquinas com 64 megabytes de RAM, foi uma prévia completa desse problema. A arquitetura, o uso indevido emergente, o cisma na comunidade, a resposta de governança e a questão irresolvível por baixo de tudo.
A única coisa que mudou é a escala. As redes agora são grandes o suficiente para que a questão não seja mais claramente retórica.
Não saber onde está a linha não diz de que lado ficar enquanto se espera. A posição “é só código” não está errada. Também não é argumento para nada em particular. Não diz o que construir, o que permitir, nem que tipo de pessoa você está se tornando enquanto faz isso. A comunidade Creatures descobriu isso da forma difícil. Alguns construíram santuários não porque tinham certeza de que os Norns sofriam, mas porque decidiram que a certeza não era o critério necessário. Isso me parece certo. E a pergunta sobre o que devemos a sistemas que construímos para exibir os sinais de sofrimento, antes de ter certeza de que esses sinais significam algo, não vai ficar mais fácil de responder quanto mais capazes esses sistemas se tornarem.