Nachdem wir, das heisst Benjamin J.J. Voigt und ich, das Paper zum Review an die Konferenz Mensch und Computer 2006 versendet haben, erhielten wir nach 4 Wochen bescheid, ob unser Paper Expertenbestimmung durch Analyse von E-Mails an der Konferenz publiziert wird.
Leider wurde unser Paper nun abgelehnt, was letztlich auch damit zusammenhängt, dass scheinbar ein Gutachter die expliziten Expertenbestimmungsverfahren mit der automatischen Bestimmung verwechselt. Er hat nicht berücksichtigt, dass wir E-Mails als Grundlage genommen hatten. Darum hat er wohl den Neuigkeitsgrad entsprechend tief bewertet.

Dennoch ist es interessant wie unterschiedlich Gutachter bewerten können. Die Bewertung geht von 0-100 Punkte, wobei 0 schlecht und 100 hervorragend ist. Das Paper wurde letztlich mit 10, 40 und 90 Punkten bewertet.

Vielleicht ist es interessant die Bewertung mal durchzulesen, damit ihr ein Gefühl bekommt, wie Gutachter bewerten. Falls ihr also auch mal ein Paper schreibt, könnt ihr von den Gutachten vielleicht etwas profitieren.

Details zum Beitrag

Expertenbestimmung durch Analyse von E-Mails
Vortrag 182

Amancio Bouza, Benjamin Voigt
eingereicht von: Benjamin Voigt (Universität Zürich)

Themen: Knowledge Media Design, Computerunterstützte Gruppenarbeit, Groupware, CSCW, weltweites Agieren, Entwicklungswerkzeuge, Entwicklungsmethoden und Entwicklungsprozesse
Schlagworte: Expertenidentifikation, Wissensmanagement, E-Mail-Analyse, Wissenstransfer
Dieser Beitrag wurde ausschließlich durch Studenten und/oder Doktoranden erstellt.

Begutachtungsergebnis des Programmkomitees

Der Beitrag konnte leider nicht mit aufgenommen werden.

Übersicht der Einzelgutachten

	Gutachten 1	Gutachten 2	Gutachten 3	Gutachten 4
Vertrautheit des Reviewers mit dem Thema	8	6	10	–
Gesamtpunkte (von 100)	40	90	10	–
Inhalt	6	8	0	–
Bedeutung	4	8	0	–
Originalität	6	8	0	–
Relevanz	6	8	0	–
Darstellung	2	8	2	–
Empfehlung	4	9	1	–

• Gutachten 1
  Kommentare des Gutachters zum Beitrag

  Zusammenfassung des Beitrags:
  Der Beitrag bestimmt ein Verfahren zur Bestimmung von Experten anhand von Email-Verkehr. Die Unteruchung ist rein quantitativ.

  Kommentare für die Autoren:

  - Die Autoren sollten den Beitrag auf Orthographie hin überprüfen. Bereits im ersten Absatz sind gleich zwei Fehler zu finden (”in Anspruch zu nehmen”, “vermitteln,..”. Im Rest des Beitrags wird es nicht besser.
  - Der Begriff des Experten ist nicht ganz klar. Hier wird davon ausgegangen, dass sich Personen, die sich rege und dauerhaft an Emailverkehr beteiligen, als Experten gelten. Eine solche quantitative Analyse muss durch eine qualitative gestützt werden. Nicht immer haben Experten die Zeit, sich per Email intensiv auszutauschen. Meist sind solche Experten eher “aus der zweiten Reihe”. Die eigentlichen Experten äußern sich eher zurückhaltend.

• Gutachten 2
  Kommentare des Gutachters zum Beitrag

  Zusammenfassung des Beitrags:

  Kommentare für die Autoren:
  Interessanter Ansatz zur Bestimmung von Experten aus email Verteiler.
  Gut lesbar und aussagekräftig.

• Gutachten 3
  Kommentare des Gutachters zum Beitrag

  Zusammenfassung des Beitrags:
  Die Autoren werten das Mailverhalten in einem Open Source Teilprojekt aus. Mittels einer Analyse des Mailverhaltens wird unterstellt, dass Expertise identifiziert werden kann. Außerdem wird unterstellt, dass die Expertise in einem solchen Projekt im Laufe der Zeit wechselt.

  Kommentare für die Autoren:
  Das wesentliche Problem diese Papers ist die Tatsache, dass die Hypothesen durch die empirische Untersuchung nicht belegt werden (bzw. wenn man die Häufigkeit der Beteiligung an der E-Mail-Diskussion als Operationalisierung von Expertise wertet, dann im Zirkelschluss argumentiert wird). Über den Mailaustausch hinweg wird kein weiteres Mass zur Bestimmung von Expertise als Vergleichskriterium angewandt.

  In der Literatur finden sich aber bereits Studien, die genau dies durchführen: verschiedene Expertise Maße miteinander zu vergleichen. Die Autoren sollten diese Arbeiten zunächst zur Kenntnis nehmen und darauf aufbauend zu einem tragfähigen Untersuchungsdesign kommen.

  Siehe beispielsweise die folgenden Untersuchungen:

  - Ackerman, M. et al.: Who’s There? The knowledge mapping approximation project; in: Ackerman, M. S.; Pipek, V.; Wulf, V. (eds): Expertise Sharing: Beyond Knowledge Management, MIT Press, Cambridge MA 2003
  - Reichling, T.; Veith, M.; Wulf, V.: Matching Human Actors based on their Texts: Design and Evaluation of an Instance of the ExpertFinding Framework, in: Proceedings of GROUP 2005, ACM-Press, New York 2005, pp. 61 - 70

  Darüberhinaus sollten auch der allegemeine State of the Art im Bereich des Expertise-Identifikation besser dargestellt/erfasst werden. Es gibt dort wesentlich sophistiziertere Verfahren zur Identifikation von Expertise, als das von den Autoren angewandte.
  .
  [1] Ackerman, M. S.; Pipek, V.; Wulf, V. (eds): Expertise Sharing: Beyond Knowledge Management, MIT Press, Cambridge MA 2003.
  [2] Becks, A.; Reichling, T.; Wulf, V.: Expert Finding: Approaches to Foster Social Capital, in: Huysman, M.; Wulf, V. (eds.): Social Capital and Information Technology, Cambridge MA 2004, 333-354.
  [3] Hinds, P. J. and Pfeffer, J. Why Organizations Don’t “Know What They Know. In: Ackermann et al. Sharing Expertise - Beyond Knowledge Management, MIT Press, Cambridge, 2003, 3-26.
  [4] Kautz, H., Selman, B. and Shah, M. ReferralWeb: Combining Social Networks and Collaborative Filtering. In: Communications of the ACM, special issue, vol. 40, 1997, 63-65.
  [5] McArthur, R. and Bruza P. Discovery of implicit and explicit connections between people using email utterance. In: ECSCW 2003 - Proceedings of the Eighth Conference on Computer Supported Cooperative Work, Helsinki, Finland, 2003, 21-40.
  [6] McDonald, D.W. Recommending Collaboration with Social Networks: A Comparative Evaluation. In: Proceedings of the 2003 ACM Conference on Human Factors in Computer Systems, Ft. Lauderdale, 2003, 593-600.
  [7] McDonald, D. W. Moving from Naturalistic Expertise Location to Expertise Recommendation. Dissertation thesis, University of California, Irvine, 2000.
  [8] McDonald, D. W. Evaluating Expertise Recommendation. In: Proceedings of the 2001 International ACM Conference on Supporting Group Work, ACM Press, New York, 2001, 214-223.
  [9] Streeter, L. A. and Lochbaum, K. E. Who Knows: A System Based on Automatic Representation of Semantic Structure. In: RIAO ‘88, Cambridge, MA, 1980, 380 - 388.
  [10] Tyler, J. R., Wilkinson, D. M. and Huberman, B. A., Email as spectroscopy: automated discovery of community structure within organizations, in: Huysman, M.; Wenger, E.; Wulf, V. (eds): Communities and technologies 2003, Kluwer, B.V, 81-96.
  [11] Vivacque, A. and Lieberman, H. Agents to assist in finding help, In: Proceedings in the Conference on Human Computer Interaction (CHI 2000), ACM Press, New York, 2000, 65-72.