Open Science Guidelines

Open Science Policies / Política de Ciencia Abierta / Políticas de Ciência Aberta

Author / Autora / Autora: Christina von Flach (UFBA, Brazil) - Set/2022
Modified by / Modificado por / Modificador por: Edson OliveiraJr (UEM, Brazil) - Nov/2022
License / Licencia / Licença de uso: Creative Commons 4.0 CC BY-NC

(These open science policies were adapted from ICSE 2022 open policies, which were based on open science policies by Daniel Graziotin, licensed under CC0 1.0)

Openness in science is key to fostering progress via transparency and availability of all outputs produced at each investigative step. Transparency and availability of research outputs allow better reproducibility, replicability of quantitative studies, and recoverability of qualitative studies. Open science builds the core for excellence in evidence-based research.

As the premier Software Engineering symposium in Latin America, CIbSE 2023 adheres to open science policies (as adopted by SIGSOFT and ACM-related venues, e.g., the ICSE 2022 initiative) and actively supports setting standards for how we conduct this kind of research. To this end, we have explicitly committed ourselves to foster openness to our research outcomes. In particular, to support the adoption of open data and open source principles, we provide this guideline to CIbSE 2023 authors and reviewers and introduce the role of the Open Science Chair.

We encourage all contributing authors to disclose the (anonymized and curated) data to increase the reproducibility, replicability, and/or recoverability of the studies.

(Esta política de ciencia abierta se adaptó de la política de ciencia abierta abierta de ICSE 2022, que se basó en la política de ciencia abierta de Daniel Graziotin, con licencia CC0 1.0)

La ciencia abierta es clave para fomentar el progreso a través de la transparencia y la disponibilidad de todos los resultados obtenidos en cada paso de un proceso de investigación. La transparencia y la disponibilidad de los resultados de investigación permiten una mejor reproducibilidad, replicabilidad de los estudios cuantitativos y recuperabilidad de los estudios cualitativos. La ciencia abierta es central para la excelencia en investigación basada en evidencia.

Como el principal simposio de ingeniería de software en América Latina, CIbSE 2023 se adhiere a la política de ciencia abierta (adoptada por SIGSOFT y eventos relacionados con ACM, por ejemplo, ICSE 2022), apoyando activamente el establecimiento de estándares sobre cómo llevamos a cabo este tipo de investigación. Con este fin, nos hemos comprometido explícitamente a fomentar la apertura a los resultados de nuestra investigación. En particular, para respaldar la adopción de datos abiertos y principios de código abierto, proporcionamos esta guía a los autores y revisores de CIbSE 2023 y presentamos el artíclo Cátedra de Ciencia Abierta.

Alentamos a todos los autores a divulgar los datos (anonimizados y seleccionados) para aumentar la reproducibilidad, replicabilidad y/o recuperabilidad de los estudios.

(As políticas apresentadas aqui foram adaptadas a partir das políticas abertas do ICSE 2022, que têm com base as políticas de ciência aberta de Daniel Graziotin, sob a licença CC0 1.0.)

A abertura na ciência é fundamental para promover o progresso por meio da transparência e disponibilidade dos resultados produzidos em cada etapa da investigação, promovendo a reprodutibilidade, replicabilidade em estudos quantitativos e recuperabilidade em estudos qualitativos. A ciência aberta é a base para a excelência na pesquisa baseada em evidências.

Como o principal simpósio de Engenharia de Software na América Latina, o CIbSE 2023 adere às políticas de ciência aberta (como as recentemente adotadas em eventos da SIGSOFT e ACM, por exemplo, a iniciativa do ICSE 2022) e apoia ativamente a definição de padrões para guiar o uso de práticas de ciência aberta na pesquisa em engenharia de software. Nesse contexto, o CIbSE 2023 empenha-se explicitamente em promover a abertura aos resultados de nossas pesquisas. Em particular, para apoiar a adoção de dados abertos e princípios de código aberto, fornecemos este guia para autores e revisores do CIbSE 2023 e definimos o papel de “Coordenador de Práticas de Ciência Aberta”.

Encorajamos todos os autores a divulgar os dados (anonimizados e com curadoria) para aumentar a reprodutibilidade, replicabilidade e/ou recuperabilidade dos estudos.

Principles / Principios / Princípios

Research output should be publicly and freely accessible by anyone, permanently. Artifacts related to a study (which include, but are not limited to, raw and transformed data, appendices, analysis scripts, software, virtual machines and containers, and qualitative codebooks) and the paper itself should, in principle, be made available on the Internet:

without any barrier (e.g., paywalls, registration forms, request mechanisms),
under a proper open license that specifies purposes for re-use and repurposing, properly archived and preserved,
provided that there are no ethical, legal, technical, economic, or sensible barriers preventing the disclosure.

According to 3, there are circumstances in which following open principles is not possible or advisable in practice.

El resultado de la investigación debe ser de acceso público y gratuito para cualquier persona, de forma permanente. Los artefactos relacionados con un estudio (que incluyen, entre otros, datos sin procesar y transformados, apéndices, scripts de análisis, software, máquinas virtuales y contenedores, y libros de códigos cualitativos) y el documento en sí deben, en principio, estar disponibles en Internet:

sin ninguna barrera (por ejemplo, paywalls, formularios de registro, mecanismos de solicitud),
bajo una licencia abierta adecuada que especifique los propósitos de reutilización y readaptación, debidamente archivados y conservados,
siempre que no existan barreras éticas, legales, técnicas, económicas o sensibles que impidan la divulgación.

De acuerdo con el ítem 3, existen circunstancias en las que no es posible o aconsejable seguir principios abiertos en la práctica.

Os resultados da pesquisa científica devem estar acessíveis, publica e livremente, para qualquer pessoa, de forma permanente. Artefatos relacionados a um estudo (que incluem, mas não se limitam a, dados brutos e transformados, apêndices, scripts de análise, software, máquinas virtuais e contêineres, e códigos qualitativos) e o próprio artigo devem ser, em princípio, disponibilizados na Internet:

sem qualquer barreira (por exemplo, paywalls e formulários de registro),
sob uma licença aberta apropriada que especifica propósitos para reutilização e reaproveitamento, devidamente arquivados e preservados,
desde que não haja barreiras éticas, legais, técnicas, econômicas ou sensíveis que impeçam a divulgação.

De acordo com 3, há circunstâncias em que adotar e seguir princípios abertos não é possível ou aconselhável na prática.

Open Artifacts / Artefactos Abiertos / Artefatos Abertos

Fostering artifacts as open data and open source should be done as follows:

Archived on preserved digital repositories such as zenodo.org, figshare.com, www.softwareheritage.org, osf.io, or institutional repositories. GitHub, GitLab, and similar services for version control systems do not offer properly archived and preserved data. Personal or institutional websites, consumer cloud storage such as Dropbox, or services such as Academia.edu and Researchgate.net do not provide properly archived and preserved data.
Released under a proper open data license such as the CC0 dedication or the CC-BY 4.0 license when publishing the data.
Software can be released under an open-source license.
Different open licenses, if mandated by institutions or regulations, are also permitted.
We encourage authors to make artifacts available upon submission (either privately or publicly) and upon acceptance (publicly).

El fomento de artefactos como datos abiertos y código abierto debe hacerse de la siguiente manera:

Archivado en repositorios digitales como zenodo.org, figshare.com, www.softwareheritage.org, osf.io o repositorios institucionales. Hay que considerar que GitHub, GitLab y servicios similares para sistemas de control de versiones no ofrecen datos archivados y conservados correctamente. Además, los sitios web personales o institucionales, el almacenamiento en la nube como Dropbox, o los servicios como Academia.edu y Researchgate.net, no brindan datos archivados y preservados adecuadamente.
Publicado bajo una licencia de datos abiertos adecuada, como la dedicación CC0 o la licencia CC-BY 4.0 al publicar los datos.
El software se puede publicar bajo una licencia de código abierto.
También se permiten diferentes licencias abiertas, si así lo exigen las instituciones o los reglamentos.
Alentamos a los autores a que pongan a disposición los artefactos al enviarlos (ya sea de forma privada o pública) y al aceptarlos (públicamente).

O fomento de artefatos como dados abertos e código aberto deve ser:

Arquivado em repositórios digitais preservados, como zenodo.org, figshare.com, www.softwareheritage.org, osf.io ou repositórios institucionais. GitHub, GitLab e serviços semelhantes para controle de versão não oferecem dados arquivados e preservados adequadamente. Websites pessoais ou institucionais, serviços de armazenamento em nuvem como Dropbox, ou serviços como Academia.edu e Researchgate.net não fornecem dados devidamente arquivados e preservados.
Lançado sob uma licença de dados aberta adequada, como a dedicação CC0 ou a licença CC-BY 4.0 ao publicar os dados.
O software pode ser lançado sob uma licença de código aberto.
Diferentes licenças abertas, se exigidas por instituições ou regulamentos, também são permitidas.
Incentivamos os autores a disponibilizar os artefatos durante a submissão (de forma privada ou pública) e se o artigo for aceito (publicamente).

Supporting Statement / Declaración de Respaldo / Declaração de Apoio

We ask authors to provide a supporting statement on the artifact availability (or lack thereof) in their submitted papers in a section named “Artifact Availability” after the “Conclusion” section.

Authors who make open data and/or open software available should indicate the links from which they can be found. Authors who cannot disclose data for the reasons stated in the principles should provide a short statement and articulate why. Disclosure makes explicit the conditions under which other ethical concerns supersede the ethic of openness; for example, sharing some human participant data could violate confidentiality.

Please note that the success of the open science initiative depends on the willingness (and possibilities) of authors to disclose their data and that all submissions will undergo the same review process independent of whether they disclose their analysis code or data.

Solicitamos a los autores que proporcionen una declaración de respaldo sobre la disponibilidad de artefactos (o la falta de ellos) en sus documentos enviados en una sección denominada “Disponibilidad de Artefactos” después de la sección “Conclusión”.

Los autores que ponen a disposición datos abiertos y/o software abierto deben indicar los enlaces desde los que se pueden acfeder a ellos. Los autores que no pueden divulgar datos por las razones establecidas en los principios señalados previamente, deben proporcionar una declaración breve y articular por qué. Esta declaración también debe hacer explícita condiciones éticas adicionales; por ejemplo, compartir datos de de personas podría violar la confidencialidad.

Tenga en cuenta que el éxito de la iniciativa de ciencia abierta depende de la disposición (y posibilidad) de los autores para divulgar sus datos y que todos los artículos enviados se someterán al mismo proceso de revisión, independientemente de si divulgan su código o datos.

Solicitamos aos autores que forneçam uma declaração sobre a disponibilidade de artefatos (ou falta dela) em seus artigos submetidos em uma seção não numerada denominada “Disponibilidade de Artefatos” após a seção “Conclusão”.

Os autores que disponibilizam dados abertos e/ou software aberto devem indicar os links a partir dos quais estes podem ser encontrados. Os autores que não puderem divulgar dados pelas razões indicadas nos “Princípios” devem fornecer uma breve justificativa. A disponibilização torna explícitas as condições sob as quais a ética da abertura de dados é substituída por outras preocupações éticas, por exemplo, o compartilhamento de dados de participantes humanos pode violar a confidencialidade.

O sucesso da iniciativa de ciência aberta depende da vontade (e possibilidades) dos autores em divulgar seus dados. Observe que **todas as submissões passarão pelo mesmo processo de revisão, independentemente de divulgarem seus dados e código de análise ou não. **

HOW-TOs

A step-by-step approach to automatically archive a GitHub repository to Zenodo.org is available online.
A step-by-step approach to automatically archive a GitHub repository to figshare.com is available online.
A proposal for artifact evaluation by SIGSOFT is available online.
A proposal for open science in software engineering, including explanations for structuring an open artifact, is available at https://arxiv.org/abs/1904.06499.
A step-by-step approach to disclosing artifacts for (doubly-anonymous) peer review and making it open data upon acceptance is available online. Although CIbSE does not adopt double-blind reviews, this tutorial has useful tips.

Un enfoque paso a paso para archivar automáticamente un repositorio de GitHub en Zenodo.org está disponible online.
Un enfoque paso a paso para archivar automáticamente un repositorio de GitHub en figshare.com está disponible online.
Una propuesta para la evaluación de artefactos por SIGSOFT está disponible online.
Una propuesta de ciencia abierta en ingeniería de software, que incluye explicaciones para estructurar un artefacto abierto, está disponible en https://arxiv.org/abs/1904.06499.
Un enfoque paso a paso para divulgar artefactos para revisión por pares (double-blind review) y convertirlos en datos abiertos una vez aceptados está disponible online. Aunque CIbSE no adopta revisiones doble ciego, este tutorial tiene consejos útiles.

Uma descrição detalhada para arquivar automaticamente um repositório GitHub no Zenodo.org está disponível online.
Uma descrição detalhada para arquivar automaticamente um repositório GitHub em figshare.com está disponível online.
Uma proposta de avaliação de artefatos feita pela SIGSOFT está disponível online.
Uma proposta de ciência aberta em engenharia de software, incluindo explicações para estruturar um artefato aberto, está disponível em https://arxiv.org/abs/1904.06499.
Uma descrição detalhada para divulgar artefatos para revisão por pares (duplamente anônima) e torná-los dados abertos após a aceitação está disponível online. Embora o CIbSE não adote revisões duplo-cegas, este tutorial contém dicas úteis.

Open Access / Acceso Abierto / Acesso Aberto

We encourage CIbSE 2023 authors to self-archive their pre- and post-prints in open and preserved repositories. Self-archiving is legal and allowed by most publishers (granted in the copyright transfer agreement), and it will enable anybody in the world to reach papers barrier-free.

Upon acceptance to CIbSE 2023, we encourage authors to revise their paper according to their peers’ comments, generate a PDF version of it (post-print), and submit it to their institutional repository. Authors should avoid a Creative Commons license for their preprints in any repository if the published papers are not open access. More information is available online.

Note: Authors are not allowed to self-archive the PDF of the published article as typeset by the publisher (a.k.a. “publisher proof,” “published paper,” “the digital library version”).

A comprehensive FAQ for open access and self-archiving is available at https://avandeursen.com/2016/11/06/green-open-access-faq/.

Alentamos a los autores de CIbSE 2023 a autoarchivar sus pre y post-prints en repositorios abiertos y preservados. El autoarchivo es legal y está permitido por la mayoría de los editores (otorgado en el acuerdo de transferencia de derechos de autor), y permitirá que cualquier persona en el mundo acceda a los documentos sin barreras.

Una vez aceptados en CIbSE 2023, alentamos a los autores a revisar su artículo de acuerdo con los comentarios de sus pares, generar una versión en PDF (post-print) y enviarlo a su repositorio institucional. Los autores deben evitar una licencia Creative Commons para sus preprints en cualquier repositorio si los artículos publicados no son de acceso abierto. Mas información disponible online.

Nota: los autores no pueden autoarchivar el PDF del artículo publicado una vez modificado por el editor (también conocido como “prueba del editor”, “artículo publicado”, “versión de biblioteca digital”).

Una FAQ completa sobre el acceso abierto y el autoarchivo está disponible en https://avandeursen.com/2016/11/06/green-open-access-faq/.

Incentivamos os autores do CIbSE 2023 a autoarquivar seus preprints e posprints em repositórios abertos e preservados. O autoarquivamento é legal e permitido pela maioria dos editores (concedido no contrato de transferência de direitos autorais) e permitirá que qualquer pessoa no mundo alcance documentos sem barreiras.

Os autores devem evitar uma licença Creative Commons para os seus preprints, em qualquer repositório, se os artigos publicados não forem de acesso aberto. Informações complementares estão disponíveis online.

Após a aceitação do artigo no CIbSE 2023, incentivamos os autores a revisar seu artigo de acordo com os comentários dos pares, gerar uma versão em PDF (posprint) e enviá-lo para o seu repositório institutional.

Observação: os autores não estão autorizados a auto-arquivar o PDF do artigo publicado no formato do editor (também conhecido como “prova do editor”, “artigo publicado”, “versão da biblioteca digital”).

Um FAQ abrangente para acesso aberto e autoarquivamento está disponível online.

Open Science Chair / Cátedra de Ciencias Abiertas / Coordenação de Ciência Aberta

In case of questions, please approach the Open Science Chair via email (see CFP) at any time. Contacting the Open Science Chair does not violate the doubly anonymous submissions.

En caso de preguntas, comuníquese con la Cátedra de Ciencia Abierta por correo electrónico (ver CFP) en cualquier momento. Ponerse en contacto con la Cátedra de Ciencia Abierta no infringe los envíos doblemente anónimos.

Em caso de dúvidas durante a preparação do artigo, os autores podem entrar em contato com a coordenação de Ciência Aberta por email (ver CFP) a qualquer momento. O contato com a coordenação de Ciência Aberta não viola o duplo anonimato das submissões.

Instructions for Reviewers / Instrucciones para Revisores / Instruções para Revisores

CIbSE 2023 has adopted an open science stance and introduced these guidelines for authors. The open science policies invite authors to provide all research artifacts for peer review, self-archive their pre- and post-prints, and archive artifacts as open data upon acceptance. We kindly ask you to pay attention to the following while reviewing:

All open science steps are optional for authors and reviewers. You are invited but not required to inspect the provided artifacts as part of your review efforts.
All reasons for partial disclosure of data (or lack thereof) stated in the Artifact Availability section should be trusted.
Submissions have to undergo the same review process independent of whether they disclose their analysis code or data. You are invited to complain in your review of any absence of data, but please do not let it influence your review of submissions. You are free to welcome the disclosure of data with the support of the open science chairs.
Open science is challenging for qualitative studies. Please be welcoming of qualitative studies which open their artifacts even in a limited way. Furthermore, concepts such as replicability and reproducibility might apply partially or not apply at all with qualitative studies.

(These open science policies were adapted from ICSE 2022 open policies, which were based on open science policies by Daniel Graziotin, licensed under CC0 1.0)

CIbSE 2023 adoptó una postura de ciencia abierta e introdujo estas pautas para los autores. Las políticas de ciencia abierta invitan a los autores a proporcionar todos los artefactos de investigación para revisión por pares, autoarchivar sus pre y post-prints, y archivar artefactos como datos abiertos una vez aceptados. Le pedimos amablemente que preste atención a lo siguiente mientras revisa:

Todos los pasos de ciencia abierta son opcionales para autores y revisores. Está invitado pero no obligado a inspeccionar los artefactos proporcionados como parte de sus esfuerzos de revisión.
Se debe confiar en todos los motivos para la divulgación parcial de datos (o la falta de los mismos) establecidos en la sección Disponibilidad de artefactos.
Las presentaciones deben someterse al mismo proceso de revisión, independientemente de si revelan su código de análisis o datos. Le invitamos a informar en su revisión de cualquier falta de datos, pero *no permita que esto influya en la revisión de los envíos. Usted es libre de aceptar la divulgación de datos con el apoyo de las cátedras de ciencia abierta.
La ciencia abierta es un desafío para los estudios cualitativos. Son bienvenidos los estudios cualitativos que abren sus artefactos incluso de manera limitada. Además, conceptos como la replicabilidad y la reproducibilidad pueden aplicarse parcialmente o no aplicarse en absoluto a los estudios cualitativos.

(Esta política de ciencia abierta se adaptó de la política de ciencia abierta abierta de ICSE 2022, que se basó en la política de ciencia abierta de Daniel Graziotin, con licencia CC0 1.0)

Em sua edição de 2023, o CIbSE adotou uma postura de ciência aberta e traz diretrizes para guiar os autores e revisores. As políticas de ciência aberta estimulam os autores a fornecer todos os artefatos de pesquisa para revisão por pares, auto-arquivar seus preprints e posprints e arquivar artefatos como dados abertos após a aceitação do artigo. Pedimos gentilmente aos revisores que fiquem atentos às seguintes observações:

Todas as etapas relacionadas a ciência aberta são opcionais para autores e revisores. A inspeção de artefatos fornecidos pelos autores como parte de sua tarefa de revisão é desejável mas não é obrigatória.
Todos os motivos para divulgação parcial de dados (ou falta deles) declarados na seção Disponibilidade de Artefatos devem ser considerados confiáveis.
Os artigos submetidos devem passar pelo mesmo processo de revisão, com base nos mesmos critérios de avaliação, independentemente da abertura ou não de código ou dados de análise. Os revisores podem comentar sobre ausência de dados ou artefatos de pesquisa, mas sem influenciar em sua revisão final. Os revisores podem estimular os autores a divulgar dados com o suporte dos coordenadores de ciência aberta do CIbSE.
A ciência aberta é um desafio para estudos qualitativos. Os revisores devem acolher estudos qualitativos que disponibilizam seus artefatos mesmo de forma limitada. Além disso, por favor, considere que conceitos como replicabilidade e reprodutibilidade podem se aplicar parcialmente ou não se aplicar a estudos qualitativos.

(As políticas apresentadas aqui foram adaptadas a partir das políticas abertas do ICSE 2022, que têm com base as políticas de ciência aberta de Daniel Graziotin, sob a licença CC0 1.0.)