Entropi Informasi dan Fisika: Apa Hubungan Keduanya?

Kata entropi sering muncul dalam pembahasan fisika, terutama ketika membicarakan termodinamika, panas, energi, dan perubahan keadaan suatu sistem. Namun, istilah yang sama juga digunakan dalam ilmu informasi untuk mengukur tingkat ketidakpastian suatu sumber informasi.

Penggunaan istilah yang sama bukan berarti entropi fisika dan entropi informasi merupakan konsep yang sepenuhnya identik. Keduanya memiliki definisi, konteks, dan interpretasi yang berbeda. Meskipun demikian, terdapat hubungan matematis dan konseptual yang sangat menarik di antara keduanya.

Gagasan mengenai entropi dalam fisika berkembang melalui mekanika statistik, terutama melalui pekerjaan Ludwig Boltzmann dan Josiah Willard Gibbs. Sementara itu, Claude Shannon memperkenalkan formulasi matematis entropi informasi dalam teori komunikasi pada abad ke-20. Formula Shannon mempunyai bentuk matematis yang mirip dengan entropi Gibbs dalam mekanika statistik.

Hubungan tersebut kemudian membuka pertanyaan yang lebih luas: apakah informasi mempunyai sifat fisik?

Pertanyaan ini menjadi semakin penting ketika komputer, perangkat digital, dan teknologi informasi berkembang. Informasi tidak hanya berada dalam bentuk abstrak, tetapi harus diwujudkan melalui keadaan fisik seperti muatan listrik, medan magnet, keadaan cahaya, atau konfigurasi sistem kuantum.

Apa Itu Entropi dalam Fisika?

Dalam termodinamika, entropi merupakan besaran yang digunakan untuk menggambarkan keadaan suatu sistem dan perubahan yang terjadi di dalamnya.

Pada tingkat makroskopis, perubahan entropi berhubungan dengan proses termodinamika. Sementara pada mekanika statistik, entropi dapat dipahami melalui kemungkinan susunan mikroskopis yang menghasilkan keadaan makroskopis tertentu.

Salah satu persamaan yang paling terkenal adalah hubungan Boltzmann:

S = k ln W

Dalam persamaan tersebut, S merupakan entropi, k adalah konstanta Boltzmann, dan W berkaitan dengan jumlah keadaan mikroskopis yang kompatibel dengan keadaan makroskopis tertentu.

Persamaan ini memberikan gambaran bahwa keadaan makroskopis yang dapat diwujudkan melalui lebih banyak konfigurasi mikroskopis mempunyai entropi Boltzmann yang lebih besar.

Apa yang Dimaksud dengan Entropi Informasi?

Dalam teori informasi, entropi digunakan untuk mengukur ketidakpastian yang terdapat dalam suatu sumber pesan atau variabel acak.

Claude Shannon memperkenalkan bentuk matematis yang dapat ditulis sebagai:

H(X) = −Σ pᵢ log₂ pᵢ

Di sini, pᵢ menunjukkan probabilitas suatu kemungkinan, sedangkan penggunaan logaritma basis 2 membuat satuan informasi dinyatakan dalam bit.

Semakin tidak pasti hasil yang mungkin terjadi, semakin besar entropi informasinya.

Sebaliknya, jika hasilnya sudah dapat diketahui dengan pasti, entropi informasinya menjadi rendah.

Misalnya, jika sebuah sumber selalu menghasilkan simbol yang sama, hampir tidak ada kejutan ketika simbol tersebut muncul. Tetapi jika sumber dapat menghasilkan banyak simbol dengan probabilitas yang relatif seimbang, ketidakpastian menjadi lebih besar.

Mengapa Disebut Entropi?

Shannon menggunakan konsep matematika yang mempunyai kemiripan dengan entropi dalam mekanika statistik.

Formula Gibbs dalam salah satu bentuknya adalah:

S = −k Σ pᵢ ln pᵢ

Sedangkan entropi Shannon menggunakan bentuk:

H = −Σ pᵢ log pᵢ

Kemiripan struktur matematika tersebut bukan kebetulan yang tidak memiliki sejarah. Shannon mengetahui adanya hubungan antara formulasi entropi dalam fisika statistik dan konsep yang ia gunakan dalam teori informasi.

Namun, kesamaan formula tidak berarti kedua entropi mempunyai arti fisik yang persis sama.

Perbedaan Entropi Fisika dan Entropi Informasi

Perbedaan paling penting terletak pada apa yang diukur.

Entropi termodinamika digunakan untuk menggambarkan keadaan fisik sistem dan perubahan termodinamikanya.

Entropi Shannon digunakan untuk mengukur ketidakpastian atau karakteristik distribusi probabilitas dalam informasi.

Dengan demikian, kita sebaiknya tidak mengatakan secara sederhana bahwa “entropi fisika adalah informasi” atau “entropi informasi adalah panas”.

Pernyataan tersebut terlalu menyederhanakan persoalan.

Hubungan antara keduanya memang sangat kuat dalam mekanika statistik dan termodinamika informasi, tetapi interpretasi fisiknya bergantung pada sistem dan model yang digunakan. Stanford Encyclopedia of Philosophy juga mencatat bahwa hubungan antara konsep informasi dan entropi fisik mempunyai sejumlah persoalan interpretatif dan telah menjadi bahan diskusi ilmiah.

Entropi dan Ketidakpastian

Salah satu cara mudah untuk memahami entropi informasi adalah melalui konsep ketidakpastian.

Bayangkan sebuah koin.

Jika kita mengetahui bahwa koin pasti menunjukkan sisi yang sama setiap kali dilempar, tidak ada ketidakpastian yang berarti.

Tetapi jika koin mempunyai dua kemungkinan hasil dengan probabilitas yang sama, kita tidak dapat mengetahui hasil lemparan berikutnya sebelum terjadi.

Dalam teori informasi, ketidakpastian tersebut dapat direpresentasikan menggunakan entropi Shannon.

Semakin banyak kemungkinan yang relevan dan semakin merata probabilitasnya, semakin besar entropi informasinya.

Contoh Sederhana dengan Koin

Misalkan sebuah koin mempunyai dua kemungkinan hasil:

• kepala: 50%

• ekor: 50%

Entropinya adalah:

H = −(0,5 log₂ 0,5 + 0,5 log₂ 0,5)

Hasilnya adalah:

H = 1 bit

Artinya, satu lemparan koin dengan dua hasil yang sama-sama mungkin mempunyai entropi satu bit.

Sekarang bayangkan sebuah koin yang hampir selalu menghasilkan kepala.

Jika probabilitas kepala sangat mendekati 100%, ketidakpastian hasil menjadi lebih rendah sehingga entropinya juga menurun.

Contoh sederhana ini memperlihatkan bahwa entropi informasi bukan sekadar ukuran “kekacauan”, tetapi lebih tepat dipahami sebagai ukuran tertentu dari ketidakpastian distribusi kemungkinan.

Entropi Tinggi Tidak Selalu Berarti Sistem Fisik Lebih Berantakan

Kesalahpahaman yang sering terjadi adalah menganggap bahwa entropi selalu berarti “kekacauan”.

Dalam pembahasan populer, istilah tersebut memang sering digunakan sebagai gambaran intuitif.

Namun, dalam teori informasi, entropi mempunyai definisi matematis yang lebih spesifik.

Sebuah distribusi probabilitas dapat mempunyai entropi tinggi karena banyak kemungkinan mempunyai peluang yang relatif seimbang.

Jadi, ketika membicarakan entropi informasi, istilah “ketidakpastian” biasanya lebih aman dan lebih tepat daripada sekadar menyebutnya sebagai “kekacauan”.

Boltzmann dan Gagasan Mikroskopis

Ludwig Boltzmann memainkan peran penting dalam perkembangan mekanika statistik.

Ia berusaha menghubungkan perilaku benda pada skala makroskopis dengan gerakan dan distribusi partikel pada tingkat mikroskopis.

Formula S = k ln W menjadi salah satu simbol paling terkenal dari pendekatan statistik terhadap entropi.

Gagasan dasarnya adalah bahwa keadaan makroskopis tertentu dapat berkaitan dengan sejumlah besar kemungkinan keadaan mikroskopis.

Dari sini muncul hubungan antara entropi, probabilitas, dan jumlah kemungkinan konfigurasi.

Gibbs dan Distribusi Probabilitas

Josiah Willard Gibbs kemudian mengembangkan pendekatan mekanika statistik yang menggunakan distribusi probabilitas atas keadaan sistem.

Entropi Gibbs dalam bentuk diskrit dapat ditulis sebagai:

S = −k Σ pᵢ ln pᵢ

Struktur persamaan ini sangat dekat dengan entropi Shannon.

Perbedaan utamanya adalah konteks fisik dan interpretasinya.

Dalam mekanika statistik, probabilitas tersebut dapat menggambarkan distribusi keadaan fisik suatu sistem atau ensemble. Dalam teori informasi, probabilitas digunakan untuk menggambarkan kemungkinan simbol atau pesan.

Claude Shannon dan Revolusi Teori Informasi

Pada tahun 1948, Claude Shannon menerbitkan karya yang menjadi dasar teori informasi modern.

Ia mencari cara matematis untuk mengukur informasi dan memahami batas fundamental komunikasi.

Konsep entropi menjadi salah satu bagian utama teorinya.

Dengan menggunakan probabilitas, Shannon dapat memberikan ukuran matematis mengenai ketidakpastian suatu sumber pesan.

Pendekatan ini kemudian menjadi dasar bagi berbagai perkembangan teknologi komunikasi dan kompresi data.

Mengapa Entropi Informasi Penting bagi Komputer?

Komputer memproses informasi dalam bentuk keadaan fisik.

Data digital dapat direpresentasikan melalui berbagai keadaan, misalnya dua keadaan logis yang sering dinyatakan sebagai 0 dan 1.

Ketika data diproses, keadaan fisik perangkat komputasi juga berubah.

Hal ini menimbulkan pertanyaan mendasar mengenai hubungan antara operasi informasi dan hukum fisika.

Salah satu tokoh penting dalam pembahasan ini adalah Rolf Landauer.

Landauer menekankan bahwa informasi harus mempunyai representasi fisik dan karena itu pengolahan informasi tidak dapat sepenuhnya dipisahkan dari hukum fisika.

Prinsip Landauer

Salah satu gagasan paling terkenal dalam termodinamika informasi adalah prinsip Landauer.

Secara sederhana, prinsip ini menyatakan bahwa penghapusan informasi secara logis tidak reversibel mempunyai batas termodinamika fundamental.

Untuk penghapusan satu bit dalam kondisi ideal tertentu, batas energi yang berkaitan dengan panas adalah:

kT ln 2

dengan k sebagai konstanta Boltzmann dan T sebagai temperatur absolut.

Konsep tersebut tidak berarti bahwa setiap aktivitas komputer selalu menghasilkan panas tepat sebesar nilai tersebut. Batas tersebut berkaitan dengan kondisi ideal dan operasi penghapusan informasi yang logis tidak reversibel.

Mengapa Penghapusan Informasi Berhubungan dengan Panas?

Bayangkan sebuah perangkat memiliki bit yang dapat berada pada dua keadaan.

Jika kita mengetahui bahwa bit tersebut bisa bernilai 0 atau 1, kemudian kita melakukan operasi yang memaksanya menjadi 0 tanpa mempertahankan informasi mengenai keadaan sebelumnya, sejumlah kemungkinan keadaan telah digabungkan menjadi satu keadaan.

Dalam kerangka termodinamika informasi, proses tersebut mempunyai konsekuensi fisik.

Landauer menunjukkan bahwa implementasi fisik dari operasi reset yang logis tidak reversibel mempunyai batas biaya termodinamika.

Informasi Bukan Sesuatu yang Sepenuhnya Abstrak

Dalam kehidupan sehari-hari, kita sering menganggap informasi sebagai sesuatu yang tidak mempunyai bentuk fisik.

Misalnya, sebuah berita atau angka dapat berpindah dari satu orang ke orang lain.

Namun, agar informasi dapat disimpan dan diproses, harus ada media fisik yang merepresentasikannya.

Informasi dapat direpresentasikan melalui keadaan magnetik, muatan listrik, pulsa cahaya, konfigurasi molekul, atau keadaan fisik lainnya.

Karena itu, Landauer menyatakan bahwa informasi bukan sekadar entitas abstrak yang terlepas dari dunia fisik. Informasi harus mempunyai representasi fisik agar dapat digunakan oleh sistem nyata.

Hubungan dengan Hukum Kedua Termodinamika

Hukum kedua termodinamika merupakan bagian penting dalam memahami entropi.

Secara umum, hukum tersebut berkaitan dengan arah proses termodinamika dan perubahan entropi total dalam sistem yang sesuai dengan kondisi yang ditetapkan.

Ketika informasi dimasukkan ke dalam proses fisik, muncul pertanyaan mengenai bagaimana informasi tersebut berhubungan dengan entropi sistem dan lingkungan.

Pembahasan mengenai Maxwell's demon, mesin Szilard, dan prinsip Landauer merupakan contoh bagaimana para ilmuwan mengeksplorasi hubungan antara informasi dan termodinamika.

Maxwell's Demon

Salah satu eksperimen pemikiran terkenal dalam termodinamika adalah Maxwell's demon.

James Clerk Maxwell membayangkan sebuah mekanisme yang dapat membedakan partikel berdasarkan kecepatannya sehingga seolah-olah dapat memisahkan partikel panas dan dingin tanpa biaya energi yang sesuai.

Masalah ini kemudian berkembang menjadi pertanyaan tentang peran informasi dalam proses fisik.

Jika sebuah sistem dapat mengetahui keadaan partikel, apakah informasi tersebut dapat digunakan untuk menghasilkan kerja tanpa konsekuensi termodinamika?

Diskusi mengenai Maxwell's demon kemudian menjadi salah satu jalan penting menuju penelitian tentang hubungan informasi dan fisika.

Mesin Szilard

Leo Szilard memperkenalkan model mesin yang lebih sederhana untuk membahas persoalan tersebut.

Dalam model ini, informasi mengenai posisi sebuah partikel dapat digunakan untuk menghasilkan kerja.

Namun, agar siklus mesin dapat kembali ke keadaan awal, persoalan penghapusan informasi kembali muncul.

Hal tersebut membantu memperjelas mengapa informasi dan termodinamika sulit dipisahkan ketika informasi digunakan sebagai bagian dari proses fisik.

Apakah Informasi Memiliki Massa?

Pertanyaan seperti ini sering muncul ketika orang membahas informasi dan fisika.

Jawabannya tidak sesederhana mengatakan bahwa setiap bit mempunyai massa tertentu yang tetap.

Informasi sendiri tidak dapat diperlakukan begitu saja seperti sebuah benda yang memiliki massa intrinsik universal.

Yang memiliki sifat fisik adalah media dan keadaan fisik yang digunakan untuk merepresentasikan informasi.

Perubahan energi, entropi, atau keadaan fisik dalam sistem penyimpanan informasi bergantung pada bagaimana sistem tersebut diwujudkan.

Karena itu, klaim populer seperti “satu bit memiliki massa sekian gram” harus diperlakukan dengan hati-hati dan tidak boleh disamakan dengan prinsip dasar termodinamika informasi.

Entropi dalam Dunia Digital

Setiap kali kita menyimpan foto, video, dokumen, atau pesan, informasi tersebut harus direpresentasikan secara fisik.

Hard disk menggunakan perubahan keadaan magnetik.

Memori komputer menggunakan keadaan fisik tertentu pada perangkat semikonduktor.

Pusat data membutuhkan energi untuk menjalankan komputer dan sistem pendingin.

Semua ini menunjukkan bahwa dunia digital tetap tunduk pada hukum fisika.

Meskipun informasi terlihat seperti sesuatu yang abstrak pada layar, di baliknya terdapat proses fisik yang sangat nyata.

Entropi dan Kompresi Data

Entropi Shannon juga memiliki hubungan penting dengan kompresi data.

Jika suatu sumber menghasilkan simbol dengan pola yang mudah diprediksi, data tersebut berpotensi dikompresi lebih efisien.

Sebaliknya, data yang memiliki ketidakpastian tinggi dapat lebih sulit dikompresi tanpa kehilangan informasi.

Dalam teori informasi, entropi memberikan batas teoritis terhadap seberapa pendek representasi lossless suatu sumber dapat dibuat dalam kondisi tertentu.

Inilah salah satu alasan mengapa konsep entropi sangat penting dalam ilmu komputer dan komunikasi.

Contoh pada Bahasa

Bahasa manusia memberikan contoh menarik.

Jika kita membaca sebuah kalimat, kita tidak memperkirakan semua kata berikutnya memiliki probabilitas yang sama.

Setelah membaca beberapa kata, kemungkinan kata berikutnya menjadi lebih terbatas.

Misalnya, struktur tata bahasa membuat beberapa kombinasi kata jauh lebih mungkin dibandingkan kombinasi lainnya.

Redundansi dan pola tersebut dapat dimanfaatkan dalam pemrosesan dan kompresi bahasa.

Dari sudut pandang teori informasi, struktur probabilitas seperti itu berkaitan dengan entropi sumber bahasa.

Entropi dan Data Acak

Data yang benar-benar acak secara statistik cenderung tidak mempunyai pola yang mudah digunakan untuk kompresi lossless.

Jika setiap simbol muncul dengan probabilitas yang hampir sama dan tidak terdapat korelasi yang dapat dieksploitasi, peluang memperoleh representasi yang jauh lebih pendek menjadi terbatas.

Hal tersebut memberikan hubungan praktis antara konsep entropi dan kompresi data.

Namun, “acak” dalam konteks teori informasi harus dipahami berdasarkan model probabilitas yang digunakan.

Sebuah data dapat terlihat acak bagi manusia tetapi ternyata mempunyai pola yang dapat ditemukan oleh algoritma tertentu.

Entropi dalam Fisika Statistik dan Informasi

Kesamaan matematika antara entropi Gibbs dan Shannon telah membuat banyak ilmuwan tertarik untuk mempelajari hubungan keduanya.

Keduanya menggunakan bentuk umum yang melibatkan probabilitas dan logaritma.

Namun, terdapat perbedaan dalam pertanyaan yang ingin dijawab.

Mekanika statistik berusaha menghubungkan keadaan mikroskopis dengan sifat makroskopis materi.

Teori informasi berfokus pada struktur probabilistik pesan dan batas komunikasi atau pengkodean.

Hubungan matematisnya sangat berguna, tetapi interpretasi fisiknya harus tetap diperhatikan.

Entropi Sebagai Ukuran Ketidaktahuan?

Dalam beberapa konteks, entropi informasi dapat dipahami sebagai ukuran ketidakpastian yang dimiliki pengamat mengenai hasil suatu variabel.

Tetapi hal ini tidak berarti bahwa entropi fisik hanyalah ukuran “ketidaktahuan manusia”.

Perdebatan mengenai interpretasi entropi merupakan bagian penting dalam fondasi mekanika statistik.

Beberapa pendekatan mengaitkan entropi dengan sifat objektif keadaan fisik, sedangkan pendekatan lain memberikan peran tertentu pada deskripsi probabilistik dan informasi yang tersedia.

Karena itu, menyamakan entropi dengan ketidaktahuan secara mutlak juga terlalu sederhana.

Hubungan Entropi dengan Probabilitas

Probabilitas merupakan jembatan penting antara fisika statistik dan teori informasi.

Dalam sistem dengan banyak kemungkinan keadaan, kita dapat memberikan probabilitas kepada setiap keadaan.

Distribusi tersebut kemudian dapat digunakan untuk menghitung entropi.

Semakin tersebar distribusi probabilitas, biasanya semakin besar ketidakpastian yang direpresentasikan oleh entropi.

Dalam mekanika statistik, cara distribusi tersebut ditentukan berkaitan dengan kondisi fisik sistem.

Mengapa Logaritma Digunakan?

Salah satu pertanyaan menarik adalah mengapa formula entropi menggunakan logaritma.

Salah satu alasannya adalah sifat logaritma yang memungkinkan ukuran informasi dari kejadian independen dijumlahkan.

Misalnya, jika dua kejadian independen mempunyai probabilitas tertentu, informasi gabungan dapat dikaitkan dengan jumlah informasi masing-masing.

Sifat ini membuat logaritma sangat sesuai untuk mengukur informasi.

Dalam fisika statistik, bentuk logaritmik juga mempunyai hubungan dengan sifat ekstensif entropi dan jumlah kemungkinan keadaan.

Dari Atom hingga Komputer

Hubungan antara entropi dan informasi memperlihatkan sesuatu yang menarik dalam perkembangan ilmu pengetahuan.

Pada satu sisi, fisikawan berusaha memahami materi melalui atom dan keadaan mikroskopis.

Di sisi lain, ilmuwan informasi mempelajari pesan, probabilitas, dan komunikasi.

Kedua bidang tersebut ternyata bertemu pada struktur matematika yang serupa.

Perkembangan ini kemudian melahirkan bidang seperti thermodynamics of computation, information thermodynamics, dan penelitian mengenai sistem informasi kuantum.

Entropi dan Komputasi Kuantum

Dalam fisika kuantum, konsep entropi juga mempunyai bentuk tersendiri.

Salah satu contohnya adalah von Neumann entropy, yang digunakan untuk menggambarkan ketidakpastian atau campuran keadaan kuantum.

Konsep tersebut memainkan peran penting dalam teori informasi kuantum.

Walaupun pembahasannya lebih kompleks dibandingkan entropi Shannon, prinsip umumnya tetap memperlihatkan bahwa konsep informasi dapat dirumuskan secara matematis dalam sistem fisik.

Apakah Entropi Selalu Meningkat?

Pernyataan “entropi selalu meningkat” perlu diberi konteks.

Dalam hukum kedua termodinamika, pernyataan tersebut berkaitan dengan entropi total dalam kondisi yang sesuai.

Pada tingkat mikroskopis, keadaan tertentu dapat mengalami fluktuasi.

Dalam mekanika statistik juga terdapat beberapa definisi entropi, termasuk entropi Boltzmann dan Gibbs, sehingga penggunaan istilah “entropi” harus memperhatikan definisi yang digunakan.

Jadi, bukan berarti setiap ukuran entropi yang didefinisikan dalam setiap konteks pasti meningkat secara monoton.

Mengapa Topik Ini Penting?

Hubungan antara entropi, informasi, dan fisika mempunyai dampak yang luas.

Konsep tersebut membantu ilmuwan memahami:

• bagaimana informasi direpresentasikan secara fisik;

• batas efisiensi proses komputasi;

• hubungan antara probabilitas dan keadaan mikroskopis;

• prinsip kerja komunikasi dan kompresi data;

• peran informasi dalam eksperimen pemikiran termodinamika;

• serta hubungan antara teori informasi dan fisika kuantum.

Bidang ini juga memperlihatkan bahwa konsep yang awalnya dikembangkan untuk komunikasi dapat mempunyai hubungan mendalam dengan hukum-hukum fisika.

Kesimpulan

Entropi informasi dan entropi fisika adalah dua konsep yang berbeda, tetapi mempunyai hubungan matematis dan konseptual yang sangat erat.

Dalam fisika statistik, entropi membantu menghubungkan keadaan makroskopis dengan kemungkinan keadaan mikroskopis. Formula Boltzmann dan pendekatan Gibbs menjadi bagian penting dalam perkembangan pemahaman tersebut.

Sementara itu, Claude Shannon menggunakan bentuk matematis yang serupa untuk mengukur ketidakpastian dalam teori informasi. Formula tersebut kemudian menjadi dasar penting bagi ilmu komunikasi dan informasi modern.

Hubungan antara kedua bidang menjadi semakin menarik ketika informasi diproses oleh perangkat fisik. Pemikiran Rolf Landauer mengenai biaya termodinamika penghapusan informasi menunjukkan bahwa proses komputasi tidak dapat sepenuhnya dilepaskan dari hukum fisika.

Pada akhirnya, pembahasan entropi mengajarkan bahwa informasi bukan sekadar konsep abstrak. Ketika informasi disimpan, diproses, atau dihapus dalam sebuah perangkat nyata, selalu ada sistem fisik yang menjadi tempat berlangsungnya proses tersebut.

Karena itu, mempelajari entropi informasi sekaligus memberikan gambaran mengenai hubungan yang menarik antara matematika, informasi, komputer, dan hukum dasar alam.

Referensi

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal. Karya fundamental yang memperkenalkan formulasi matematis entropi informasi.
2. Boltzmann, L. — perkembangan mekanika statistik dan hubungan antara entropi dengan jumlah keadaan mikroskopis. Pembahasan historis dan filosofisnya dapat diperiksa melalui Stanford Encyclopedia of Philosophy. Ensiklopedia Filsafat Stanford
3. Gibbs, J. W. — pengembangan pendekatan statistik terhadap keadaan sistem melalui distribusi probabilitas. Ensiklopedia Filsafat Stanford
4. Landauer, R. (1961). Irreversibility and Heat Generation in the Computing Process. IBM Journal of Research and Development. Gagasan ini menjadi dasar penting dalam pembahasan termodinamika komputasi. Ensiklopedia Filsafat Stanford
5. Landauer, R. (1999). Information is a Physical Entity. Physica A: Statistical Mechanics and its Applications. IBM Research
6. Stanford Encyclopedia of Philosophy. Information Processing and Thermodynamic Entropy. Sumber pengantar akademik mengenai hubungan informasi, entropi, Maxwell's demon, mesin Szilard, dan prinsip Landauer. Ensiklopedia Filsafat Stanford
7. Stanford Encyclopedia of Philosophy. Information. Pembahasan mengenai entropi Shannon, entropi Gibbs, dan hubungan matematika antara informasi dan entropi.