Language Models Represent Space and Time
https://arxiv.org/abs/2310.02207
https://openreview.net/forum?id=jE8xbmvFin
We discover that LLMs learn linear representations of space and time across multiple scales. (Abstract)
In addition, we identify individual "space neurons" and "time neurons" that reliably encode spatial and temporal coordinates.
固有名詞の表現に地理情報や時間情報をエンコードしている
llama 2にprobing
Figure 1
中間表現から経度緯度座標や年をかなりうまく予測できる（のでそれらの情報を含んでいる）
地理情報や時間情報に介入できるか (Appendix B)