ChatGPT öffnen: Nachverfolgung von Offenheit, Transparenz und Verantwortlichkeit von KI-Textgeneratoren

Das Projekt "Opening up ChatGPT: tracking openness of instruction-tuned LLMs" entwickelt ein innovatives Tool zur Bewertung der Offenheit von KI-Systemen, insbesondere von großen Sprachmodellen und Chatbots. Dieses Tool zielt darauf ab, die verschiedenen Grade der Offenheit in KI-Projekten zu quantifizieren und transparent darzustellen. Die Forschenden entwickelten einen Bewertungsrahmen mit 14 Dimensionen der Offenheit und wandten diesen auf 46 KI-Systeme an. Die Ergebnisse zeigen eine große Diskrepanz zwischen behaupteter und tatsächlicher Offenheit, insbesondere bei großen Technologieunternehmen. Das Tool analysiert KI-Systeme anhand mehrerer Kriterien:

• Verfügbarkeit des Quellcodes
• Zugang zu Trainingsdaten
• Offenlegung der Modellgewichte
• Transparenz bezüglich der Feinabstimmungsdaten (RLHF)
• Art der Lizenzierung
• Qualität und Umfang der wissenschaftlichen Dokumentation
• Methoden des Zugangs zum System

Durch die systematische Bewertung dieser Aspekte ermöglicht das Tool eine differenzierte Betrachtung der Offenheit von KI-Systemen. Es geht über die oft oberflächliche Selbstbezeichnung als "Open Source" hinaus und bietet eine detaillierte Analyse der tatsächlichen Transparenz und Zugänglichkeit. Das Projekt reagiert damit auf die zunehmende Bedeutung von Offenheit in der KI-Entwicklung. Es adressiert die Herausforderungen, die sich aus der Verwendung undokumentierter oder rechtlich fragwürdiger Daten ergeben, sowie den Mangel an Transparenz bei kritischen Entwicklungsschritten wie der Befehlsabstimmung. Durch die Bereitstellung dieser objektiven Bewertungen trägt das Tool dazu bei, Fairness und Verantwortlichkeit in der KI-Entwicklung zu fördern. Es unterstützt Forscher, Entwickler und Entscheidungsträger dabei, fundierte Entscheidungen über die Nutzung und Weiterentwicklung von KI-Systemen zu treffen. Langfristig zielt das Projekt darauf ab, Standards für Offenheit in der KI-Branche zu setzen und das Bewusstsein für die Bedeutung von Transparenz in allen Phasen der KI-Entwicklung zu schärfen. opening-up-chatgpt.github.io  | zum dazugehörigen Paper