Im Jahr 2021 blickt Grafenberg auf seine erstmalige Erwähnung vor 775 Jahren zurück. 
  
In einem Brief von Papst Innocenz IV. an den Abt von Kloster Bebenhausen vom 21. Mai 1246 wird ein Geistlicher mit dem Namen Walter erwähnt, der "rector ecclesie de Monte" sei - Rektor der Kirche von Berg.

Mit Kirchenrektor war der Geistliche gemeint, der alle Rechte und Pflichten über Einkünfte und Einnahmen der Kirche ausübte. Dieser Kleriker Walter hatte nicht nur Zugriff auf die Einnahmen der Kirche von Grafenberg sondern noch auf weitere kirchliche Pfründe. Da eine solche Anhäufung nur unter gewissen Voraussetzungen gestattet war, musste eine Ausnahmegenehmigung des Papstes eingeholt werden. Papst Innocenz erteilte diese, so dass der Kleriker Walter Einnahmen im Gesamtwert bis 100 Mark Silber besitzen durfte. Walter habe sich für die römische Kirche verdient gemacht und dabei sein Leben riskiert, etwa im Kampf des Papstes gegen die Staufer.

Die Abschrift des Briefes hat sich in den päpstlichen Registern erhalten. Die in diesem Schreiben erstmals erwähnte Pfarrei und Ansiedlung wurde im 13. Jahrhundert nur als Berg bezeichnet.
Der heutige geläufige Name Grafenberg erscheint in einer Urkunde des Jahres 1300 als "Grawenberge", 1475 als "Grauenberg", 1494 als "Grauffenberg" und im 16. Jahrhundert als "Gravenberg" bzw. "Grafenberg".

Imagefilm anlässlich 775 Jahre Grafenberg