The Collective Trust Game: una adaptación grupal en línea del juego Trust basado en el paradigma HoneyComb
Summary
El Juego de Confianza Colectiva es un juego de confianza multiagente basado en computadora basado en el paradigma HoneyComb, que permite a los investigadores evaluar el surgimiento de la confianza colectiva y las construcciones relacionadas, como la equidad, la reciprocidad o la señalización hacia adelante. El juego permite observaciones detalladas de los procesos grupales a través del comportamiento del movimiento en el juego.
Abstract
La necesidad de entender la confianza en los grupos de manera integral ha llevado a un aumento en los nuevos enfoques para medir la confianza colectiva. Sin embargo, esta construcción a menudo no es completamente capturada en sus cualidades emergentes por los métodos de investigación disponibles. En este artículo, se presenta el Juego de Confianza Colectiva (CTG), un juego de confianza multiagente basado en computadora basado en el paradigma HoneyComb, que permite a los investigadores evaluar el surgimiento de la confianza colectiva. El CTG se basa en investigaciones previas sobre la confianza interpersonal y adapta el ampliamente conocido Trust Game a un entorno grupal en el paradigma HoneyComb. Los participantes asumen el papel de inversionista o fideicomisario; Ambos roles pueden ser desempeñados por grupos. Inicialmente, los inversores y fideicomisarios están dotados con una suma de dinero. Luego, los inversionistas deben decidir cuánto, si alguno, de su dotación quieren enviar a los fideicomisarios. Comunican sus tendencias, así como su decisión final, moviéndose hacia adelante y hacia atrás en un campo de juego que muestra posibles cantidades de inversión. Al final de su tiempo de decisión, la cantidad que los inversores han acordado se multiplica y se envía a los fideicomisarios. Los fideicomisarios tienen que comunicar qué parte de esa inversión, si la hay, quieren devolver a los inversores. Una vez más, lo hacen moviéndose en el campo de juego. Este procedimiento se repite durante varias rondas para que la confianza colectiva pueda surgir como una construcción compartida a través de interacciones repetidas. Con este procedimiento, el CTG brinda la oportunidad de seguir el surgimiento de la confianza colectiva en tiempo real a través del registro de datos de movimiento. El CTG es altamente personalizable para preguntas de investigación específicas y se puede ejecutar como un experimento en línea con equipos pequeños y de bajo costo. Este documento muestra que el CTG combina la riqueza de los datos de interacción grupal con la alta validez interna y la efectividad temporal de los juegos económicos.
Introduction
El Juego de Confianza Colectiva (CTG) brinda la oportunidad de medir la confianza colectiva en línea dentro de un grupo de humanos. Generaliza el Trust Game original de Berg, Dickhaut y McCabe1 (BDM) a nivel grupal y puede capturar y cuantificar la confianza colectiva en sus cualidades emergentes 2,3,4, así como conceptos relacionados como equidad, reciprocidad o señalización hacia adelante.
Investigaciones anteriores conceptualizan principalmente la confianza como una construcción únicamente interpersonal, por ejemplo, entre un líder y un seguidor5,6, excluyendo niveles más altos de análisis. Especialmente en contextos organizacionales, esto podría no ser suficiente para comprender la confianza de manera integral, por lo que existe una gran necesidad de comprender los procesos por los cuales la confianza se construye (y disminuye) a nivel grupal.
Recientemente, la investigación de confianza ha incorporado más pensamiento multinivel. Fulmer y Gelfand7 revisaron una serie de estudios sobre confianza y los clasificaron de acuerdo con el nivel de análisis que se investiga en cada estudio. Los tres niveles diferentes de análisis son interpersonal (diádico), grupal y organizacional. Es importante destacar que Fulmer y Gelfand7 también distinguen entre diferentes referentes. Los referentes son aquellas entidades a las que se dirige la confianza. Esto significa que cuando “A confía B a X”, entonces A (el inversor en juegos económicos) está representado por el nivel (individual, grupal, organizacional) y B (el fideicomisario) está representado por el referente (individuo, grupo, organización). X representa un dominio específico al que se refiere la confianza. Esto significa que X puede ser cualquier cosa, como una inclinación generalmente positiva, apoyo activo, confiabilidad o intercambios financieros como en los juegos económicos1.
Aquí, la confianza colectiva se define con base en la definición de confianza interpersonal de Rousseau y colegas8, y similar a estudios previos sobre confianza colectiva 9,10,11,12,13,14; La confianza colectiva comprende la intención de un grupo de aceptar la vulnerabilidad basada en expectativas positivas de las intenciones o el comportamiento de otro individuo, grupo u organización. La confianza colectiva es un estado psicológico compartido entre un grupo de humanos y formado en la interacción entre este grupo. El aspecto crucial de la confianza colectiva es, por lo tanto, la sombra dentro de un grupo.
Esto significa que la investigación sobre la confianza colectiva necesita mirar más allá de un simple promedio de procesos individuales y conceptualizar la confianza colectiva como un fenómeno emergente 2,3,4, ya que los nuevos desarrollos en la ciencia grupal muestran que los procesos grupales son fluidos, dinámicos y emergentes 2,15. Definimos la emergencia como un “proceso por el cual los elementos del sistema de nivel inferior interactúan y a través de esas dinámicas crean fenómenos que se manifiestan en un nivel superior del sistema”16 (p. 335). Según se propone, esto también debería aplicarse a la confianza colectiva.
La investigación que refleje el enfoque en la emergencia y la dinámica de los procesos grupales debe utilizar metodologías apropiadas17 para capturar estas cualidades. Sin embargo, el estado actual de la medición de la confianza colectiva parece quedarse atrás. La mayoría de los estudios han empleado una técnica de promedio simple a través de los datos de cada individuo en el grupo 9,10,12,13,18. Podría decirse que este enfoque tiene poca validez predictiva2, ya que ignora que los grupos no son simplemente agregaciones de individuos, sino entidades de nivel superior con procesos únicos. Algunos estudios han tratado de abordar estos inconvenientes: un estudio realizado por Adams19 empleó un enfoque de variable latente, mientras que Kim y sus colegas10 utilizaron viñetas para estimar la confianza colectiva. Estos enfoques son prometedores en el sentido de que reconocen la confianza colectiva como una construcción de nivel superior. Sin embargo, como señalan Chetty y colegas20, las medidas basadas en encuestas carecen de incentivos para responder con sinceridad, por lo que la investigación sobre la confianza ha adoptado cada vez más medidas de comportamiento o compatibles con incentivos21,22.
Esta preocupación es abordada por una serie de estudios que han adaptado un método conductual, a saber, el BDM1, para ser jugado por los grupos23,24,25,26. En el BDM, dos partes actúan como inversores (A) o fideicomisarios (B). En este juego económico secuencial, tanto A como B reciben una dotación inicial (por ejemplo, 10 euros). Luego, A debe decidir cuánto, si lo hay, de su dotación le gustaría enviar a B (por ejemplo, 5 euros). Esta cantidad es triplicada por el experimentador, antes de que B pueda decidir cuánto, si alguno, del dinero recibido (por ejemplo, 15 euros) le gustaría enviar de vuelta a A (por ejemplo, 7,5 euros). La cantidad de dinero que A envía a B se operacionaliza para ser el nivel de confianza de A hacia B, mientras que la cantidad que B envía de vuelta se puede usar para medir la confiabilidad de B o el grado de equidad en la díada de A y B. Un gran cuerpo de investigación ha investigado el comportamiento en los juegos de confianza diádicos27. El BDM se puede jugar tanto como un juego llamado “one-shot”, en el que los participantes juegan el juego solo una vez con una persona específica, como en rondas repetidas, en las que aspectos como la reciprocidad28,29 y la señalización hacia adelante podrían desempeñar un papel.
En muchos estudios que han adaptado el BDM para grupos23,24,25,26, el inversor, el fideicomisario o ambos roles fueron desempeñados por grupos. Sin embargo, ninguno de estos estudios registró procesos grupales. La simple sustitución de individuos por grupos en los diseños de estudio no cumple con los estándares que Kolbe y Boos17 o Kozlowski15 establecieron para las investigaciones de fenómenos emergentes. Para llenar este vacío, se desarrolló el CTG.
El objetivo de desarrollar el CTG era crear un paradigma que combinara el ampliamente utilizado BDM1 con un enfoque que capturara la confianza colectiva como una construcción emergente basada en el comportamiento que se comparte entre un grupo.
El CTG se basa en el paradigma HoneyComb de Boos y colegas30, que también se ha publicado en el Journal of Visualized Experiments31 y ahora se ha adaptado para su uso en la investigación de confianza. Como lo describen Ritter y sus colegas32, el paradigma HoneyComb es “una plataforma de juego virtual basada en computadora multiagente que fue diseñada para eliminar todos los canales sensoriales y de comunicación, excepto la percepción de los movimientos de avatar asignados por los participantes en el campo de juego” (p. 3). El paradigma HoneyComb es especialmente adecuado para procesos de grupos de investigación, ya que permite a los investigadores registrar el movimiento de los miembros de un grupo real con datos espacio-temporales. Se podría argumentar que, junto con el análisis de interacción grupal17, HoneyComb es una de las pocas herramientas que permite a los investigadores seguir los procesos grupales con gran detalle. En contraste con el análisis de interacción grupal, el análisis cuantitativo de los datos espacio-temporales de HoneyComb requiere menos tiempo. Además, el entorno reduccionista y la posibilidad de excluir toda la comunicación interpersonal entre los participantes, excepto el movimiento en el campo de juego, permite a los investigadores limitar los factores de confusión (por ejemplo, apariencia física, voz, expresiones faciales) y crear experimentos con alta validez interna. Si bien es difícil identificar todos los aspectos influyentes de un proceso grupal en estudios que emplean diseños de discusión grupal33, el enfoque en los principios básicos de la interacción grupal en un paradigma de movimiento permite a los investigadores cuantificar todos los aspectos del proceso grupal en este experimento. Además, investigaciones anteriores han utilizado el comportamiento proxémico34 -por lo que reduce el espacio entre uno mismo y otro individuo- para investigar la confianza35,36.
Figura 1: Resumen esquemático del CTG. (A) Procedimiento esquemático de una ronda CTG. (B) Colocación inicial de avatares al comienzo de la ronda. Los tres inversores de color azul están parados en el campo inicial “0”. El fideicomisario amarillo está parado en el campo inicial “0”. (C) Captura de pantalla durante la fase de inversión que muestra a tres inversores (avatares azules) en la mitad inferior del campo de juego. Uno (gran avatar azul) está actualmente parado en “12”, dos inversores están actualmente en “24”. Dos avatares tienen colas (indicadas por flechas naranjas). Las colas indican desde qué dirección se movieron a su campo actual (por ejemplo, un inversor (gran avatar azul) acaba de pasar de “0” a “12”). El avatar sin cola ha estado parado en este campo durante al menos 4000 ms. (D) Captura de pantalla durante la fase de retorno que muestra un fideicomisario (avatar amarillo) y la mitad superior del campo de juego. El fideicomisario está actualmente de pie en “3/6” y recientemente se ha mudado allí desde “2/6” como lo indica la cola. El número azul debajo (36) indica la inversión realizada por los inversores. El número amarillo, indicado por la flecha, es el retorno actual (54) como se muestra en el centro del campo de juego. El rendimiento se calcula de la siguiente manera: (invertir (36 centavos) x 3) x fracción de rendimiento actual (3/6) = 54 centavos. (E) Ventana emergente que da retroalimentación a los participantes sobre cuánto han ganado durante la ronda, que se muestra durante 15 s después de que expire el tiempo de espera del fideicomisario. Haga clic aquí para ver una versión más grande de esta figura.
El procedimiento principal del CTG (Figura 1A) se basa estrechamente en el procedimiento del BDM1, con el fin de hacer que los resultados sean comparables a los estudios previos que utilizan este juego económico. Como el paradigma de HoneyComb se basa en el principio de movimiento, los participantes indican la cantidad que les gustaría invertir o devolver moviendo su avatar al pequeño campo hexagonal que indica una cierta cantidad de dinero o fracción a devolver (Figura 1C, D). Antes de cada ronda, tanto los inversionistas como los fideicomisarios están dotados con una cierta cantidad de dinero (por ejemplo, 72 centavos) con los inversionistas colocados en la mitad inferior del campo de juego y los fideicomisarios colocados en la mitad superior del campo de juego (Figura 1B). En la configuración predeterminada, los inversores pueden moverse primero, mientras que los fideicomisarios permanecen quietos. Los inversores se mueven a través del campo de juego para indicar cuánto, si alguno, de su dotación les gustaría enviar al fideicomisario (Figura 1C). Al moverse de un lado a otro en el campo, los participantes también pueden comunicar a otros inversores cuánto les gustaría enviar al fideicomisario. Dependiendo de la configuración, los participantes deben llegar a una decisión unánime sobre cuánto les gustaría invertir al converger en un campo de juego cuando se alcanza el tiempo de espera. Se requirieron decisiones unánimes para hacer cumplir que los inversores necesitan interactuar entre sí, en lugar de simplemente jugar unos con otros. Si los inversores no llegan a una decisión conjunta, se deduce una multa (por ejemplo, 24 centavos) de su cuenta. Esto se implementó para garantizar que los inversores estuvieran altamente motivados para alcanzar un nivel compartido de confianza colectiva. Una vez que se acaba el tiempo de los inversores, el dinero invertido se multiplica y se envía a los fideicomisarios, a quienes se les permite moverse mientras los inversores permanecen quietos. Los fideicomisarios indican a través del movimiento cuánto les gustaría devolver a los inversores (Figura 1D). Las opciones de retorno disponibles se muestran como fracciones en el campo de juego para mantener la carga cognitiva de los fideicomisarios comparativamente baja. El campo de juego en el que se encuentran los fideicomisarios una vez que se agota el tiempo asignado indica qué fracción (por ejemplo, 4/6) se devuelve a los inversores. La ronda termina con una ventana emergente (Figura 1E) que resume para cada participante cuánto ganó durante esa ronda y cuál es su saldo de cuenta corriente.
Las rondas deben repetirse varias veces. Los investigadores deben hacer que los participantes jueguen el CTG durante al menos 10 o 15 rondas en los mismos roles. Esto es necesario ya que la confianza colectiva es una construcción emergente y necesita desarrollarse durante las interacciones repetidas dentro de un grupo. Del mismo modo, otros conceptos como la señalización a futuro (es decir, los altos rendimientos recíprocos de los fideicomisarios con altas inversiones en la próxima ronda) solo surgirán en interacciones repetidas. Sin embargo, es crucial que los participantes desconozcan el número exacto de rondas a jugar, ya que se ha demostrado que el comportamiento puede cambiar drásticamente cuando los participantes son conscientes de que están jugando la última ronda (es decir, comportamiento más injusto o desviaciones en juegos económicos37,38).
De esta manera, el CTG proporciona información sobre el surgimiento de la confianza colectiva en múltiples niveles. En primer lugar, el nivel de confianza colectiva exhibido en la ronda final debe ser una representación cercana del nivel compartido de confianza que los inversores tienen hacia el fideicomisario o fideicomisarios. En segundo lugar, la cantidad invertida en cada ronda puede servir como un indicador para el surgimiento de la confianza colectiva sobre las interacciones repetidas. En tercer lugar, los datos de movimiento arrojan luz sobre el proceso grupal que determina cuánto dinero se invierte en cada ronda.
Protocol
Representative Results
Discussion
El CTG ofrece a los investigadores la oportunidad de adaptar el clásico BDM1 para grupos y observar en profundidad los procesos emergentes dentro de los grupos. Mientras que otros trabajos23,24,25,26 ya han intentado adaptar el BDM1 a entornos grupales, la única forma de acceder a los procesos grupales en estos estudios son los laboriosos análi…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
Esta investigación no recibió financiación externa.
Materials
| Data Analysis Software and Packages | R | version 4.2.1 (2022-06-23 ucrt) | R Core Team R: A Language and Environment for Statistical Computing. at [https://www.R-project.org/]. R Foundation for Statistical Computing. Vienna, Austria. (2020). |
| Data Analysis Software and Packages | R Studio | version 2022.2.3.492 "Prairie Trillium" | RStudio Team RStudio: Integrated Development Environment for R. at [http://www.rstudio.com/]. RStudio, PBC. Boston, MA. (2020). |
| Data Analysis Software and Packages | ggplot2 | version 3.3.6 | Wickham, H. ggplot2: Elegant Graphics for Data Analysis. at [https://ggplot2.tidyverse.org]. Springer-Verlag New York. (2016). |
| Data Analysis Software and Packages | cowplot | version 1.1.1 | Wilke, C.O. cowplot: Streamlined Plot Theme and Plot Annotations for “ggplot2.” at [https://CRAN.R-project.org/package=cowplot]. (2020). |
| OnlineQuestionnaireTool | LimeSurvey | Community Edition Version 3.28.16+220621 | Any preferred online questionnaire tool can be used. LimeSurvey or SoSciSurvey are recommended. |
| Notebooks or PCs | DELL | Latitude 7400 | Any laptop that is able to establish a stable Remote Desktop Connection can be used. |
| Participant Management Software | ORSEE | version 3.1.0 | It is recommended to use ORSEE (Greiner, B. [2015]. Subject pool recruitment procedures: Organizing experiments with ORSEE. Journal of the Economic Science Association, 1, 114–125. https://doi.org/10.1007/s40881-015-0004-4), but other software options might be available. |
| Program to Open RemoteDesktop Connection | Remote Desktop Connection (Program distributed with each Windows 10 installation.) | The following tools are recommended: RemoteDesktopConnection (for Windows), Remmina (for Linux), or Microsoft Remote Desktop (for Mac OS). | |
| Server to run RemoteDesktop Environment | VMware vSphere environment based on vSphere ESXi | version 6.5 | Ideally provided by IT department of university/institution. |
| VideoConference Platform | BigBlueButton | Version 2.3 | It is recommend to use a platform such as BigBlueButton or other free software that does not record participant data on an external server. The platform should provide the following functions: 1) possibility to restrict access to microphone and camera for participants, 2) hide participant names from other participants, 3) possibility to send private chat message to participants. |
| Virtual Machine running Linux-Installation | Xubuntu | version 20.04 "Focal Fossa" | Other Linux-based systems will also be possible. |
Riferimenti
- Berg, J., Dickhaut, J., McCabe, K. Trust, reciprocity, and social history. Games and Economic Behavior. 10 (1), 122-142 (1995).
- Costa, A. C., Fulmer, C. A., Anderson, N. R. Trust in work teams: An integrative review, multilevel model, and future directions. Journal of Organizational Behavior. 39 (2), 169-184 (2018).
- Kiffin-Petersen, S. Trust: A neglected variable in team effectiveness research. Journal of the Australian and New Zealand Academy of Management. 10 (1), 38-53 (2004).
- Grossman, R., Feitosa, J. Team trust over time: Modeling reciprocal and contextual influences in action teams. Human Resource Management Review. 28 (4), 395-410 (2018).
- Schoorman, F. D., Mayer, R. C., Davis, J. H. An integrative model of organizational trust: Past, present, and future. Academy of Management Review. 32 (2), 344-354 (2007).
- Shamir, B., Lapidot, Y. Trust in organizational superiors: Systemic and collective considerations. Organization Studies. 24 (3), 463-491 (2003).
- Fulmer, C. A., Gelfand, M. J. At what level (and in whom) we trust: Trust across multiple organizational levels. Journal of Management. 38 (4), 1167-1230 (2012).
- Rousseau, D. M., Sitkin, S. B., Burt, R. S., Camerer, C. Not so different after all: A cross-discipline view of trust. Academy of Management Review. 23 (3), 393-404 (1998).
- Dirks, K. T. Trust in leadership and team performance: Evidence from NCAA basketball. Journal of Applied Psychology. 85 (6), 1004-1012 (2000).
- Kim, P. H., Cooper, C. D., Dirks, K. T., Ferrin, D. L. Repairing trust with individuals vs. groups. Organizational Behavior and Human Decision Processes. 120 (1), 1-14 (2013).
- Forsyth, P. B., Barnes, L. L. B., Adams, C. M. Trust-effectiveness patterns in schools. Journal of Educational Administration. 44 (2), 122-141 (2006).
- Gray, J. Investigating the role of collective trust, collective efficacy, and enabling school structures on overall school effectiveness. Education Leadership Review. 17 (1), 114-128 (2016).
- Kramer, R. M. Collective trust within organizations: Conceptual foundations and empirical insights. Corporate Reputation Review. 13 (2), 82-97 (2010).
- Kramer, R. M. The sinister attribution error: Paranoid cognition and collective distrust in organizations. Motivation and Emotion. 18 (2), 199-230 (1994).
- Kozlowski, S. W. J. Advancing research on team process dynamics: Theoretical, methodological, and measurement considerations. Organizational Psychology Review. 5 (4), 270-299 (2015).
- Kozlowski, S. W. J., Chao, G. T. The dynamics of emergence: Cognition and cohesion in work teams. Managerial and Decision Economics. 33 (5-6), 335-354 (2012).
- Kolbe, M., Boos, M. Laborious but elaborate: The benefits of really studying team dynamics. Frontiers in Psychology. 10, 1478 (2019).
- McEvily, B. J., Weber, R. A., Bicchieri, C., Ho, V. Can groups be trusted? An experimental study of collective trust. Handbook of Trust Research. , 52-67 (2002).
- Adams, C. M. Collective trust: A social indicator of instructional capacity. Journal of Educational Administration. 51 (3), 363-382 (2013).
- Chetty, R., Hofmeyr, A., Kincaid, H., Monroe, B. The trust game does not (only) measure trust: The risk-trust confound revisited. Journal of Behavioral and Experimental Economics. 90, 101520 (2021).
- Harrison, G. W. Hypothetical bias over uncertain outcomes. Using Experimental Methods in Environmental and Resource Economics. , 41-69 (2006).
- Harrison, G. W. Real choices and hypothetical choices. Handbook of Choice Modelling. , 236-254 (2014).
- Holm, H. J., Nystedt, P. Collective trust behavior. The Scandinavian Journal of Economics. 112 (1), 25-53 (2010).
- Kugler, T., Kausel, E. E., Kocher, M. G. Are groups more rational than individuals? A review of interactive decision making in groups. WIREs Cognitive Science. 3 (4), 471-482 (2012).
- Cox, J. C., Zwick, R., Rapoport, A. Trust, reciprocity, and other-regarding preferences: Groups vs. individuals and males vs. females. Experimental Business Research. , 331-350 (2002).
- Song, F. Intergroup trust and reciprocity in strategic interactions: Effects of group decision-making mechanisms. Organizational Behavior and Human Decision Processes. 108 (1), 164-173 (2009).
- Johnson, N. D., Mislin, A. A. Trust games: A meta-analysis. Journal of Economic Psychology. 32 (5), 865-889 (2011).
- Rosanas, J. M., Velilla, M. Loyalty and trust as the ethical bases of organizations. Journal of Business Ethics. 44, 49-59 (2003).
- Dunn, J. R., Schweitzer, M. E. Feeling and believing: The influence of emotion on trust. Journal of Personality and Social Psychology. 88 (5), 736-748 (2005).
- Boos, M., Pritz, J., Lange, S., Belz, M. Leadership in moving human groups. PLOS Computational Biology. 10 (4), 1003541 (2014).
- Boos, M., Pritz, J., Belz, M. The HoneyComb paradigm for research on collective human behavior. Journal of Visualized Experiments. (143), e58719 (2019).
- Ritter, M., Wang, M., Pritz, J., Menssen, O., Boos, M. How collective reward structure impedes group decision making: An experimental study using the HoneyComb paradigm. PLOS One. 16 (11), 0259963 (2021).
- Kocher, M., Sutter, M. Individual versus group behavior and the role of the decision making process in gift-exchange experiments. Empirica. 34 (1), 63-88 (2007).
- Ickinger, W. J. . A behavioral game methodology for the study of proxemic behavior. , (1985).
- Deligianis, C., Stanton, C. J., McGarty, C., Stevens, C. J. The impact of intergroup bias on trust and approach behaviour towards a humanoid robot. Journal of Human-Robot Interaction. 6 (3), 4-20 (2017).
- Haring, K. S., Matsumoto, Y., Watanabe, K. How do people perceive and trust a lifelike robot. Proceedings of the World Congress on Engineering and Computer Science. 1, 425-430 (2013).
- Gintis, H. Behavioral game theory and contemporary economic theory. Analyse & Kritik. 27 (1), 48-72 (2005).
- Weimann, J. Individual behaviour in a free riding experiment. Journal of Public Economics. 54 (2), 185-200 (1994).
- How to install Xrdp server (remote desktop) on Ubuntu 20.04. Linuxize Available from: https://linuxize.com/post/how-to-install-xrdp-on-ubuntu-20-04/ (2020)
- How to create users in Linux (useradd Command). Linuxize Available from: https://linuxize.com/post/how-to-create-users-in-linux-using-the-useradd-command/ (2018)
- How to create a shared folder between two local user in Linux. GeeksforGeeks Available from: https://www.geeksforgeeks.org/how-to-create-a-shared-folder-between-two-local-user-in-linux/ (2019)
- Johanson, G. A., Brooks, G. P. Initial scale development: Sample size for pilot studies. Educational and Psychological Measurement. 70 (3), 394-400 (2010).
- Glaeser, E. L., Laibson, D. I., Scheinkman, J. A., Soutter, C. L. Measuring trust. The Quarterly Journal of Economics. 115 (3), 811-846 (2000).
- Mayring, P., Kikner-Ahsbahs, A., Knipping, C., Presmed, N. Qualitative Content Analysis: Theoretical Background and Procedures. Approaches to Qualitative Research in Mathematics Education: Examples of Methodology and Advances in Mathematics Education. , 365-380 (2015).
- Chandler, J., Paolacci, G., Peer, E., Mueller, P., Ratliff, K. A. Using nonnaive participants can reduce effect sizes. Psychological Science. 26 (7), 1131-1139 (2015).
- Belz, M., Pyritz, L. W., Boos, M. Spontaneous flocking in human groups. Behavioural Processes. 92, 6-14 (2013).
- Boos, M., Franiel, X., Belz, M. Competition in human groups-Impact on group cohesion, perceived stress and outcome satisfaction. Behavioural Processes. 120, 64-68 (2015).
