Saturday, December 11, 2021

Real progress on machine learning for density functional theory

(Sorry about the slow pace of posting.  The end of the semester has been very intense, including a faculty retreat for our department last week.)

I've written before (here, here, and here) about density functional theory, arguably one of the most impactful intellectual physics results of 20th century physics.   DFT is one approach to trying to solve the quantum electronic structure problem for molecules or solids containing many electrons.  As explained in the links above, the idea is powerful.  It turns out that the ground state (lowest energy state) electronic density as a function of position \(n(\mathbf{r})\), contains all the information needed to calculate basically anything you could want to know about the ground state.  There is a functional \(E[n(\mathbf{r})]\), for example, that will give you the energy of the full-on, interacting many-electron ground state.  It's possible to do a non-interacting electron model that can get you arbitrarily close to the true, correct \(n(\mathbf{r})\), The tricky bit is, there is no exact analytical expression for the functional \(E[n(\mathbf{r})]\), which includes a particularly tricky contribution called the exchange-correlation part of the functional, \(E_{\mathrm{xc}}[n(\mathbf{r})]\).  Because we are talking about functionals rather than functions,  \(E_{\mathrm{xc}}[n(\mathbf{r})]\) might depend in a non-local way on \(n(\mathbf{r})\) and its derivatives at all points in space - there is no reason to think it will be simple to write down.  


I wrote six years ago about the idea that machine learning techniques might make it possible to get a working version of something close to the exact \(E_{\mathrm{xc}}[n(\mathbf{r})]\) , even if we can't readily write it down in some closed form.  Now it seems that real progress has been made in this direction.  Here is a blog post from the DeepMind team about their paper in Science this week where they demonstrate a new functional that they claim is very good and accurate vs exact calculations on test systems, computationally tractable, and satisfies fundamental properties that have to hold for the true exact functional.  They argue that their code is more than just a fancy look-up table and that it contains generalizable knowledge so that it's useful well beyond their specific training test cases.  

If this is so, then it could be a major step forward in (for some definitions of the term) first-principles calculations of molecular and material properties.  I'm curious about whether the new functional will actually let us gain some physical insight into why physics requires that particular underlying mathematical structure.  Still, even if we end up with a "black box" that allows greatly improved calculations, that would really be something.  I'd appreciate it if knowledgable DFT/electronic structure experts could comment here on how excited we should be about this.


Pizza Perusing Physicist said...
This comment has been removed by the author.
Michael Swift said...

The perspective by Perdew is a good read.

I would say this is a pretty big deal, but mostly as a proof-of-concept. The general approach is:
1. Identify a shortcoming of all known functionals (Figure 2: failure to describe bond-breaking)
2. Identify the source (existing functionals fail to simultaneously satisfy certain mathematical constraints)
3. Train a machine-learned functional that satisfies the constraints, using data from a method without the shortcoming (coupled-cluster methods)
4. Show that the new functional corrects the shortcoming
5. Show that the new functional can generalize beyond the training data (Figure 3: DNA base pairs, compressed hydrogen chain, and a class of reaction barriers)

This paper is exciting because (as far as I know) this is the first successful demonstration of this approach. Unfortunately DM21 itself is not going to revolutionize chemistry or materials science, because the examples in (5) can also be solved by the beyond-DFT methods in (3). The dream is for a similar approach to result in a functional that can generalize to problems beyond the reach of the method used to generate the training data. This is still likely a ways away, but the success of DM21 makes it seem a lot more plausible.

An interesting question is computational cost. The authors don't talk about this, but my guess is that there will be a modest cost savings compared to CCSD(T). Coupled-cluster is very expensive and neural networks (once trained) are very cheap, but DM21 depends on Hartree-Fock features, which I expect are somewhat expensive to calculate.

Another important note: Perdew points out that DM21 won't work for transition-metal chemistry, for solids, or for liquids, because those problems depend on physics that wasn't in the training data.

Michael Swift said...

Strongly correlated solid-state systems are a place where this approach could be really valuable. Existing functionals fail and we know (at least partially) the broken constraints behind the failure. We have some methods that work (e.g. DMRG, DMFT) but they are very limited in scope. If a machine-learned functional could be trained to describe strongly correlated systems that are beyond our current modeling capability, that would be exciting indeed!

Anonymous said...

Hi Doug, I like your blog posts, but with all due respect, can you please stop apologizing for the "slow pace of posting"? Too many posts start this way, and it's really unnecessary.

Regina zalit said...

I never saw myself doing this months ago, but because I'm happy and want others to find their peace of mind in their matrimonial homes or relationship I decided to share my encounter with Dr Osita . I've been married with three kids for 13 years and things were really great with my husband. About 3 years ago my husband started lying, cheating, womanizing outside our marriage and I wasn't comfortable with it, so I stayed one night thinking sleeplessly. I took my phone and was going online when I saw a write up which was titled. PROBLEMS THAT MOST PEOPLE COMMONLY HAVE IN MARRIAGE BEEN SOLVED BY DOCTOR Osita. I contacted him and discussed my marriage issues and he concluded that a spell was cast on my husband by another woman" whose husband is no more, so we went through the processes and some incantation was done to free my husband and this made my husband stopped his misconduct in our marriage and now my husband has been on his real self, this testimony is to advise people out there to never break up with their marriage but to look for solutions in the right places. you can contact Dr Osita on Whatsapp / Viber :+4915217824272 Or Email (

Unknown said...

Nice Post!!
Please look here at STYLISH extra-large wrap cushion for use with macrame hanging chair for bedroom.

aljani said...
Dhankesari Lottery Sambad

rocky2 said...

watch all spanish daramas here in HD quality ·comamosramen

vngng said...

Erwerb des deutschen Führerscheins: Der Führerschein in Deutschland ist ein staatliches Privileg, das jedem gewährt wird, der einen Führerschein für eine der gewünschten Klassen beantragt. Sie ist für alle motorisierten Fahrzeuge vorgeschrieben, mit Ausnahme der kleinsten Mopeds un@ter 50 ccm, die eine Geschwindigkeitsbegrenzung von 25 km/h haben, und motorisierten Fahrrädern (diese erfordern ebenfalls ein Mindestalter von 15 Jahren und eine kleine Fahrschul Pflicht). Die Arten von Führerscheinen, die erworben werden können, sind im gesamten Europäischen Wirtschaftsraum gleich. Siehe Europäischer Führerschein. Das Mindestalter für den Erwerb des Führerscheins beträgt: 16 Jahre für ein eingeschränktes Motorrad bis 125 ccm, 17 Jahre für ein Pkw mit Erziehungsberechtigter, 18 Jahre für ein unbeschränktes Pkw und 21 Jahre für Busse und Lkw.

WhatsApp: +4915214505402
E-Mail an

Führerscheine und wo man den deutschen Führerschein kaufen kann

Kaufen Sie einen deutschen Führerschein: Sie können einen deutschen Führerschein erwerben, nachdem Sie die Fahrschule abgeschlossen und eine zweistufige Prüfung, die Theorieprüfung und die Fahrprüfung, bestanden haben. Vor der Zulassung zu diesen Prüfungen müssen ein Sehtest und ein Erste-Hilfe-Kurs (in der Regel 8 Stunden) absolviert werden.

Kaufen Sie einen deutschen Führerschein

Die Ausbildung der Fahrschüler findet in der Regel in gesetzlich anerkannten und meist privaten, gemeinnützigen Fahrschulen statt. Die Fahrschule kümmert sich um alle notwendigen Formalitäten für die Fahrschüler, wie z. B. Beantragung des Führerscheins, Anmeldung zur Prüfung etc.

Kaufen Sie einen österreichischen Führerschein

Deutschen Führerschein kaufen: Zum theoretischen Teil der Ausbildung gehört der Unterricht in der Fahrschule, der meist abends von gesetzlich zugelassenen Fahrlehrern abgehalten wird. Inhalt und Anzahl der Unterrichtsstunden sind gesetzlich festgelegt, wobei sich je nach gewünschter Fahrerlaubnis des Fahrers eine unterschiedliche Anzahl an Unterrichtsstunden ergibt. Bemerkenswert ist, dass ein Fahrschüler nicht an verschiedenen Unterrichtsstunden teilnehmen muss, sondern theoretisch mehrere Unterrichtsstunden besuchen könnte, um die Kriterien zu erfüllen. Der Unterricht gliedert sich in allgemeines Wissen über Verkehrsregeln, das jeder Führerscheinanwärter besuchen kann, und Spezialunterricht für bestimmte Fahrzeugtypen. Zur Vorbereitung auf die schriftliche Theorieprüfung erhalten die Fahrschüler von der Fahrschule in der Regel ein Lernpaket, das aus Softwareprogrammen, Lehrbüchern und Probeprüfungen bestehen kann. Fahrschulen übernehmen in der Regel die Verantwortung für den Erfolg ihrer Fahrschüler, indem sie die Teilnahme am Unterricht überwachen und Musterprüfungen zum Üben verteilen. Der Theorietest ist ein Multiple-Choice-Test, der aus zufällig ausgewählten Fragen aus einem veröffentlichten Leitfaden besteht. So können die Fragen und die richtigen Antworten vorab gelernt werden. B. durch Überwachung der Anwesenheit im Unterricht und Austeilen von Musterprüfungen zum Üben. Der Theorietest ist ein Multiple-Choice-Test, der aus zufällig ausgewählten Fragen aus einem veröffentlichten Leitfaden besteht. So können die Fragen und die richtigen Antworten vorab gelernt werden. B. durch Überwachung der Anwesenheit im Unterricht und Austeilen von Musterprüfungen zum Üben. Der Theorietest ist ein Multiple-Choice-Test, der aus zufällig ausgewählten Fragen aus einem veröffentlichten Leitfaden besteht. So können die Fragen und die richtigen Antworten vorab gelernt werden.